- Die Galactica-Demo ist offline, Statements ergänzt
Update vom 18. November 2022:
Meta AI und "Papers with Code" melden sich zu Galactica: Die Demo bleibt offline, die Modelle sind weiter für Forschende verfügbar, die sich für die Arbeit interessieren und Ergebnisse aus dem Paper wiederholen wollen.
Meta-AI-Chef Yann LeCun verteidigt das Projekt bei Twitter: Galactica sei als Demo gedacht gewesen, nicht als fertiges Produkt, und zudem kein Ersatz für wissenschaftliches Arbeiten und eigenes Denken, sondern eine Erleichterung - ähnlich wie ein Fahrassistent im Auto.
"Echte Artikel werden neue und interessante wissenschaftliche Erkenntnisse enthalten.
Dazu gehören auch Artikel, deren Autoren Galactica als Hilfe beim Verfassen dieser Artikel benutzt haben", schreibt LeCun.
Debatte um den menschlichen Umgang mit KI
Letztlich dreht sich die Debatte weniger um die mangelnde Fähigkeit von Galactica, jederzeit korrekten Output zu generieren. Es geht eher um das Missbrauchsrisiko, wenn Menschen den Output von Galactica ungefragt übernehmen, etwa aus Bequemlichkeit, und somit bewusst oder unbewusst die Quantität und Qualität von falschen Informationen im wissenschaftlichen Prozess erhöhen.
Ähnliche Debatten um Missbrauchsrisiko gab es beim Start von GPT-3, etwa im Kontext einer möglichen Fake-News-Schwemme. OpenAI veröffentlichte GPT-3 daher nur schrittweise und setzt heute zahlreiche Methoden ein, um Missbrauchsrisiko zu reduzieren.
Allerdings sind ähnlich leistungsfähige große Sprachmodelle mittlerweile als Open Source verfügbar. In jedem Fall: Die Befürchtung einer KI-gestützten Fake-News-Schwemme scheint sich bislang nicht bewahrheitet zu haben.
Gegner von Galactica könnten entgegenhalten, dass die Wissenschafts-KI im akademischen Kontext eingesetzt wird, in dem Akkuratheit einen besonders hohen Stellenwert hat. Allerdings könnten Forschende zukünftig auch gewöhnliche Sprachmodelle als Arbeitserleichterung verwenden, die dann wiederum weniger akkurater sein könnten als Galactica.
Ursprünglicher Artikel vom 17. November 2022:
Kürzlich stellte Meta das mit Wissenschaftsdaten trainierte große Sprachmodell (LLM) "Galactica" vor. Es soll die wissenschaftliche Recherche vereinfachen und Routineaufgaben beschleunigen. Einige Wissenschaftler:innen warnen vor dem Modell.
Gemeinsam mit der Plattform „Papers with Code“ trainierte Meta AI das große Sprachmodell Galactica mit 48 Millionen wissenschaftlichen Inhalten, darunter etwa Paper, Lehrbücher und Referenzmaterial.
In Benchmarks zu Schlussfolgerungen oder mathematischen Aufgaben erzielte Galatica bessere Ergebnisse als andere zum Teil größere Sprachmodelle. Doch die Relevanz steckt - gerade in der Wissenschaft - im Detail.
Ist Galactica eine Gefahr für die Wissenschaft?
Bei Twitter melden sich Wissenschaftler und Wissenschaftlerinnen zu Wort und üben harsche Kritik an Galactica und Metas Kommunikation zum Sprachmodell, das dieses unter anderem als ersten Schritt hin zu einer neuen Schnittstelle für die Wissenschaft beschreibt.
Der Kern der Kritik: Wie alle großen Sprachmodelle kann Galactica auf überzeugende Art und Weise falsche Informationen generieren. Diese können grob falsch sein oder nur subtil abweichen, etwa durch ein falsches Datum oder eine falsche Referenz.
PROBLEM: "Researchers are buried under a mass of papers, increasingly unable to distinguish between the meaningful and the inconsequential."
SOLUTION: build a model that generates limitless reams of text that sounds plausible but may contain serious mistakes@PapersWithCode pic.twitter.com/m88BsSMjTU
— Dan Elton (@moreisdifferent) November 16, 2022
Der bekannte Deep-Learning-Kritiker Gary Marcus bezeichnet Galactica daher als Gefahr für die Wissenschaft. Würde man dem Sprachmodell keinen Einhalt gebieten, sei es der "Wendepunkt in einem gigantischen Anstieg an Fehlinformationen", schreibt Marcus und spricht von einem "epochalen Ereignis".
Ein mit Galactica generierter Wikipedia-Text über Marcus enthielt laut des Forschers zu 85 Prozent falsche Informationen, die jedoch plausibel formuliert seien. Ein "brauchbares KI-System" könne solche Informationen online verifizieren. Galactica biete diese Funktion nicht, so Marcus.
"Das ist kein Scherz. Galactica ist spaßig, aber die Verwendungszwecke, für die es eingesetzt werden wird, sind es nicht."
Fake-Reviews für Fake-Paper
Michael Black, Direktor am Max-Planck-Institut für Intelligente Systeme, führte eigene Tests durch, bei denen Galactica unter anderem nicht existierende Paper zitierte. Galactica sei ein interessantes Forschungsprojekt, aber für wissenschaftliches Arbeiten nicht brauchbar und noch dazu gefährlich.
"Galactica erzeugt Text, der grammatikalisch korrekt ist und sich echt anfühlt. Dieser Text wird in echten wissenschaftlichen Beiträgen vorkommen. Er wird realistisch, aber falsch oder voreingenommen sein. Er wird schwer zu erkennen sein. Er wird die Denkweise der Menschen beeinflussen", schreibt Black.
Dies könne in eine neue "deep scientific fakes"-Ära führen, in der Forschende Zitate erhalten für Paper, die sie nie geschrieben haben. Diese falschen Zitationen würden dann in weitere Paper übernommen. "Das wird ein riesiges Durcheinander", schreibt Black.
Allein der begleitende Hinweis zum Modell auf fehlerhafte Texte sei nicht genug: "Die Büchse der Pandora ist offen, und wir werden den Text nicht wieder hineinstopfen können."
Galactica sei keine Beschleunigung für die Wissenschaft und nicht einmal als Schreibhilfe brauchbar. Im Gegenteil, es verzerre die Forschung und sei eine Gefahr.
Wenn wir schon gefälschte wissenschaftliche Arbeiten haben wollen, dann können wir auch gefälschte Rezensionen von gefälschten Arbeiten haben. Und dann können wir auch gefälschte Empfehlungsschreiben für gefälschte Akademiker haben, die an gefälschten Universitäten zu Professoren befördert werden. Dann kann ich mich zur Ruhe setzen, denn es gibt für mich nichts mehr zu tun.
Michael Black
Grundlegende Kritik an Sprachmodell-Suche
Besonders deutliche Worte findet die Sprachforscherin Emily Bender von der Universität Washington. Sie bezeichnet die Veröffentlichung von Galactica als Müll und Pseudo-Wissenschaft.
"Sprachmodelle haben keinen Zugang zur ‚Wahrheit‘ oder zu irgendeiner Art von ‚Information‘, abgesehen von Informationen über die Verteilung von Wortformen in ihren Trainingsdaten. Und dennoch geht es erneut los, mal wieder", kommentiert Bender die Vorstellung von Galactica.
Bender und ihr Kollege Chirag Shah kritisierten zuvor in einem wissenschaftlichen Aufsatz aus dem März 2022 den Einsatz großer Sprachmodelle für die Informationssuche, insbesondere seitens Google.
Sprachmodell-Suche könne zu einer weiteren Verbreitung von Falschnachrichten und zu einer stärkeren Polarisierung führen, da ein Suchsystem mehr können müsse als "nur den Abgleich oder die Generierung einer Antwort."
Es müsse den Nutzer:innen verschiedene Möglichkeiten bieten, mit den Informationen zu interagieren und sie sinnvoll zu nutzen, anstatt sie "nur auf der Grundlage einprogrammierter Vorstellungen von Relevanz und Nützlichkeit abzurufen", heißt es im Papier.
Die Informationssuche sei "eine sozial und kontextuell bedingte Aktivität mit verschiedenen Zielen und Unterstützungsbedürfnissen." Sie dürfe nicht auf eine Kombination von Textabgleichs- und Texterzeugungsalgorithmen reduziert werden.
Ähnliche Kritiken an Galactica häufen sich derzeit bei Twitter. Meta AI und Papers with Code haben sich bislang nicht zu ihnen geäußert, aber die Demo-Funktion der Galactica-Webseite deaktiviert.
