ChatGPT begeistert die Öffentlichkeit, doch die Fachwelt hält sich mit Lob zurück. Jetzt äußert sich der KI-Chefforscher von Meta Yann LeCun zum neuen KI-Hype.
Seit Ende November erobert ChatGPT den KI-Mainstream: Große Medien berichten mehrfach, kaum ein Artikel zum Thema kommt ohne die Passage „diesen Teil hat ChatGPT geschrieben“ aus. Menschen, die bisher keinen bewussten Kontakt mit KI-Technologie hatten, sind bass erstaunt über die Textfähigkeiten des neuesten KI-Modells von OpenAI, das den Eindruck erweckt, jede Anweisung zu verstehen.
ChatGPT bietet keine Innovation
Im Gegensatz zu GPT-3 hat ChatGPT die Fachwelt jedoch nicht abgeholt. Der Grund: ChatGPT kombiniert zwar erfolgreich bestehende Technologien und Methoden in einer neuen Oberfläche. Technisch bietet das System aber nichts Neues.
Große Transformer-Modelle für Sprache sind seit Jahren verbreitet, sie wurden 2017 von Google erfunden, und auch das für ChatGPT angewandte Feintuning mit menschlichem Feedback ist eine etablierte Methode, die OpenAI schon vor ChatGPT eingesetzt hat.
"Was die zugrundeliegenden Techniken betrifft, ist ChatGPT nicht besonders innovativ", sagt Yann LeCun im Rahmen einer Fachveranstaltung. Die Technologie werde zwar als revolutionär wahrgenommen, sei es aber nicht. ChatGPT sei lediglich "gut gemacht".
Im Vergleich zu anderen Unternehmen in diesem Bereich sei OpenAI nicht besonders fortschrittlich. Google, Meta und ein "halbes Dutzend" anderer Start-ups hätten gleichwertige Technologien. Die für ChatGPT verwendete Technologie sei in der Branche bekannt, es gebe kein besonderes Geheimnis.
LeCun kritisiert den Hype - nicht OpenAI
Nach der Veranstaltung legt LeCun auf Twitter nach: Er kritisiere weder OpenAI noch die Behauptungen des Start-ups. Stattdessen wolle er die öffentliche und mediale Wahrnehmung "korrigieren", die ChatGPT als "unglaublich neue, innovative und einzigartige" Technologie sehe, die alle Angebote anderer Unternehmen übertreffe. "Das ist einfach nicht der Fall", sagt LeCun.
Google und Meta würden die auf Transformer basierende KI-Technologie "absolut überall" einsetzen, unter anderem für die Moderation von Inhalten, für Inhaltsempfehlungen und für Übersetzungen. Auch die Infrastruktur von OpenAI beeindruckt LeCun nicht, dessen Arbeitgeber Meta seit Jahren große KI-Sprachmodelle für mehr als drei Milliarden Menschen betreibt.
Dass Meta und Google keine ChatGPT-ähnlichen Produkte auf den Markt bringen, liege an "erheblichen Mängeln" der Systeme. Etablierte Unternehmen hätten mehr zu verlieren als "kapitalhungrige Start-ups". Gerüchten zufolge plant zumindest Google für dieses Jahr eine Chatbot-Suche.
Galactica schreibt nicht mehr Unsinn als ChatGTP
Das wissenschaftliche KI-Modell Galactica, das von LeCun mitbetreut wird, würde weniger falsche Informationen generieren als ChatGPT, sagt LeCun.
Das mit wissenschaftlichen Daten trainierte Sprachmodell war Mitte November für kurze Zeit als Demo öffentlich verfügbar. Es verärgerte mit falsch generierten Informationen und Zitationen die wissenschaftliche Gemeinschaft jedoch so sehr, dass das Galactica-Team beschloss, die Demo offline zu nehmen.
Die Entscheidung, Galactica vom Netz zu nehmen, sei allein die Entscheidung des Teams gewesen, um die eigene psychische Gesundheit zu schützen. PR und Management hätten sich nicht eingemischt, so LeCun.
"Wir erlebten über Twitter vermittelte Gegenreaktionen und voreilige Prophezeiungen des bevorstehenden Untergangs, die durch Anti-Meta-Vorurteile geschürt wurden", schreibt LeCun.
Wenn ChatGPT jetzt besser sei als Galactica, dann liege das an den Feedback-Daten, die OpenAI in den vergangenen zwei Monaten von Millionen Nutzern gesammelt und von angeheuerten Billiglöhnern hat auswerten lassen.
