Die "International Conference on Machine Learning (ICML)" ist die weltweit führende akademische Fachkonferenz zu Machine Learning. Ihre Programmkommission spricht sich jetzt gegen KI-generierte Texte in der Wissenschaft aus.
Im "Call for Papers" für die ICML 2023 war der folgende Satz Anstoß für Diskussionen in der Fachgemeinschaft: "Arbeiten, die Text enthalten, der von einem groß angelegten Sprachmodell (LLM) wie ChatGPT generiert wurde, sind verboten, es sei denn, der produzierte Text wird als Teil der experimentellen Analyse der Arbeit präsentiert."
Die schnellen Fortschritte bei großen Sprachmodellen könnten zu unvorhersehbaren Konsequenzen führen und würden viele Fragen aufwerfen, so die ICML, etwa nach dem Copyright der generierten Inhalte und Plagiaten.
"Wem gehören sie [die Inhalte], dem Nutzer des generativen Modells, dem Entwickler, der das Modell trainiert hat, oder den Urhebern von Inhalten, die die Trainingsbeispiele produziert haben?", schreiben die Programmverantwortlichen.
ICML will konservativ agieren
Zwar würden diese Fragen im Laufe der Zeit beantwortet, wenn generative KI im Alltag ankäme, doch derzeit sei die Situation nicht eindeutig. Die Antworten auf diese Fragen würden sich jedoch unmittelbar auf den Überprüfungsprozess und damit auf die Forschungsgemeinschaft und Karrieren auswirken. Deshalb müsse die ICML zum aktuellen Zeitpunkt "vorsichtig und etwas zurückhaltend" agieren.
Leider hatten wir noch nicht genug Zeit, um die Auswirkungen auf unseren Überprüfungs- und Veröffentlichungsprozess zu beobachten, zu untersuchen und zu berücksichtigen. Daher haben wir beschlossen, in diesem Jahr (2023) die Produktion/Generierung von ICML-Papiertexten unter Verwendung von groß angelegten Sprachmodellen zu verbieten.
ICML, Program Chairs
Das Verbot betrifft die diesjährige Konferenz. Die Veranstalter erwarten, dass sich die Regeln mit dem besseren Verständnis für große Sprachmodelle und deren mögliche Auswirkungen verändern wird.
KI als Schreibhilfe ist weiter gestattet - aber es ist eine feine Linie
Gestattet ist weiter der Einsatz von KI-Werkzeugen, und damit (L)LMs, etwa für die Rechtschreibkorrektur oder Übersetzungen. Diese semi-automatischen KI-Werkzeuge seien erlaubt, solange damit selbsterstellte Texte ("author-written text") verbessert würden. Der Einsatz von etwa ChatGPT als kreative Schreibhilfe dürfte bei dieser Definition schon herausfallen, sofern man den von ChatGPT generierten Text übernimmt und lediglich editiert.
Die ICML räumt ein, dass es schwierig sein, herauszufinden, ob ein Text per KI generiert wurde. Die Konferenz möchte daher in diesem Jahr kein Erkennungswerkzeug einführen, um eingereichte wissenschaftliche Papiere im großen Stil auf mögliche Verstöße zu überprüfen. Einem konkreten Verdacht würde die Konferenz jedoch nachgehen.
"Jede Einreichung, die als potenzieller Verstoß gegen die LLM-Richtlinie gekennzeichnet ist, wird denselben Prozess durchlaufen wie jede andere Einreichung, die als Plagiat gekennzeichnet ist", schreiben die Programmverantwortlichen.
Der Einsatz von LLMs wird gerade im wissenschaftlichen Kontext kontrovers diskutiert, da hier falsche Informationen und Zitationen sowie Plagiate besonders schwer wiegen könnten, sozusagen menschliches Wissen bereits an der Quelle vergiften.
Wie kontrovers das Thema ist, zeigte sich bei der Veröffentlichung von Metas wissenschaftlichem Sprachmodell Galactica, das von Teilen der wissenschaftlichen Gemeinschaft ob seiner Halluzinationen harsch kritisiert, als Gefahr eingestuft und innerhalb kürzester Zeit von Meta wieder offline genommen wurde.