Obwohl KI-Modellen wie GPT-3 keine Grammatik beigebracht wurde, produzieren sie in den meisten Fällen grammatikalisch korrekte Sätze. Warum?
KI verändert das Verständnis der Wissenschaft vom Sprachenlernen - und wirft Fragen nach einer angeborenen Grammatik auf
Im Gegensatz zu den sorgfältig geschriebenen Dialogen in den meisten Büchern und Filmen ist die Sprache der alltäglichen Interaktion oft chaotisch und unvollständig, voller Fehlanfänge, Unterbrechungen und Menschen, die übereinander reden. Von zwanglosen Gesprächen unter Freund:innen über Streit unter Geschwistern bis zu formellen Diskussionen in einem Sitzungssaal - echte Gespräche sind chaotisch. Es scheint ein Wunder zu sein, dass überhaupt jemand eine Sprache lernen kann, wenn man bedenkt, wie chaotisch die sprachliche Erfahrung ist.
Daher sind viele Sprachwissenschaftler:innen - darunter Noam Chomsky, einer der Begründer der modernen Linguistik - der Meinung, dass Sprachlernende eine Art Klebstoff benötigen, um die unberechenbare Natur der Alltagssprache zu zügeln. Und dieser Klebstoff ist die Grammatik: ein System von Regeln zur Erzeugung grammatikalischer Sätze.
Kinder müssen eine Grammatikvorlage im Gehirn haben, die ihnen hilft, die Grenzen ihrer Spracherfahrung zu überwinden - so die Annahme.
Diese Schablone könnte zum Beispiel eine "Superregel" enthalten, die vorschreibt, wie neue Teile zu bestehenden Sätzen hinzugefügt werden. Kinder müssen dann nur noch lernen, ob ihre Muttersprache eine Sprache wie das Englische ist, in der das Verb vor dem Objekt steht (wie in "Ich esse Sushi"), oder eine Sprache wie das Japanische, in der das Verb nach dem Objekt steht (im Japanischen ist der gleiche Satz als "Ich Sushi esse" aufgebaut).
Neue Erkenntnisse über das Sprachenlernen kommen jedoch aus einer unwahrscheinlichen Quelle: der künstlichen Intelligenz. Eine neue Art von großen KI-Sprachmodellen kann Zeitungsartikel, Gedichte und Computercode schreiben und Fragen wahrheitsgemäß beantworten, nachdem sie mit riesigen Mengen an Sprachinput konfrontiert wurden. Und, was noch erstaunlicher ist, sie tun dies alles ohne die Hilfe von Grammatik.
Grammatikalische Sprache ohne Grammatik
Auch wenn ihre Wortwahl manchmal seltsam oder unsinnig ist oder rassistische, sexistische und andere schädliche Vorurteile enthält, ist eines ganz klar: Die überwältigende Mehrheit der Ausgaben dieser KI-Sprachmodelle ist grammatikalisch korrekt. Und dennoch sind ihnen keine Grammatikvorlagen oder -regeln fest eingebaut - sie verlassen sich allein auf ihre sprachliche Erfahrung, so chaotisch diese auch sein mag.
GPT-3, das wohl bekannteste dieser Modelle, ist ein gigantisches neuronales Deep-Learning-Netzwerk mit 175 Milliarden Parametern. Es wurde darauf trainiert, das nächste Wort in einem Satz vorherzusagen, und zwar anhand von Hunderten von Milliarden Wörtern aus dem Internet, Büchern und Wikipedia. Wenn es eine falsche Vorhersage machte, wurden seine Parameter mithilfe eines automatischen Lernalgorithmus angepasst.
Bemerkenswert ist, dass GPT-3 glaubwürdige Texte erzeugen kann, die auf Aufforderungen wie "Eine Zusammenfassung des letzten 'Fast and Furious'-Films ist ..." oder "Schreibe ein Gedicht im Stil von Emily Dickinson" reagieren. Ferner kann GPT-3 auf Analogien auf SAT-Niveau reagieren, Fragen zum Leseverständnis beantworten und sogar einfache Rechenaufgaben lösen - und das alles, indem es lernte, das nächste Wort vorherzusagen.
KI-Modelle und menschliche Gehirne im Vergleich
Die Ähnlichkeit mit der menschlichen Sprache hört hier jedoch nicht auf. In der Zeitschrift Nature Neuroscience veröffentlichte Forschungsergebnisse zeigen, dass diese künstlichen Deep-Learning-Netzwerke offenbar die gleichen Berechnungsprinzipien wie das menschliche Gehirn verwenden. Die Forschungsgruppe unter der Leitung des Neurowissenschaftlers Uri Hasson verglich zunächst, wie gut GPT-2 - ein "kleiner Bruder" von GPT-3 - und Menschen das nächste Wort in einer Geschichte aus dem Podcast "This American Life" vorhersagen konnten: Menschen und die KI sagten in fast 50 Prozent der Fälle genau das gleiche Wort voraus.
Die Forscher:innen zeichneten die Gehirnaktivität der Freiwilligen auf, während sie die Geschichte hörten. Die beste Erklärung für die beobachteten Aktivierungsmuster war, dass die Gehirne der Probanden - wie GPT-2 - bei ihren Vorhersagen nicht nur die vorangegangenen ein oder zwei Wörter heranzogen, sondern sich auf den kumulierten Kontext von bis zu 100 vorangegangenen Wörtern stützten. Insgesamt kommen die Autor:innen zu dem Schluss: "Unsere Entdeckung spontaner prädiktiver neuronaler Signale beim Hören natürlicher Sprache deutet darauf hin, dass die aktive Vorhersage dem lebenslangen Spracherwerb des Menschen zugrunde liegen könnte."
Ein mögliches Problem ist, dass diese neuen KI-Sprachmodelle mit sehr viel Input gefüttert werden: GPT-3 wurde mit einer Spracherfahrung trainiert, die 20.000 menschlichen Jahren entspricht. Eine vorläufige, noch nicht begutachtete Studie ergab jedoch, dass GPT-2 auch dann noch menschliche Wortvorhersagen und Gehirnaktivierungen modellieren kann, wenn es mit nur 100 Millionen Wörtern trainiert wurde. Das entspricht der Menge an sprachlichem Input, die ein durchschnittliches Kind in den ersten zehn Lebensjahren hören könnte.
Wir wollen damit nicht sagen, dass GPT-3 oder GPT-2 Sprache genau so lernen wie Kinder. In der Tat scheinen diese KI-Modelle nicht viel, wenn überhaupt, von dem zu verstehen, was sie sagen, während das Verstehen für den menschlichen Sprachgebrauch grundlegend ist. Was diese Modelle jedoch beweisen, ist, dass ein Lerner - wenn auch ein Siliziumlerner - eine Sprache so gründlich lernen kann, dass er durch bloßes Ausprobieren perfekt grammatikalische Sätze produzieren kann, und zwar auf eine Weise, die der menschlichen Gehirnverarbeitung ähnelt.
Sprachenlernen neu denken
Viele Linguist:innen haben jahrelang geglaubt, dass das Erlernen einer Sprache ohne eine eingebaute Grammatikvorlage unmöglich ist. Die neuen KI-Modelle beweisen das Gegenteil. Sie zeigen, dass die Fähigkeit, grammatikalische Sprache zu produzieren, allein durch sprachliche Erfahrung erlernt werden kann. Ebenso legen wir nahe, dass Kinder keine angeborene Grammatik benötigen, um Sprache zu lernen.
"Kinder sollte man sehen, nicht hören", sagt ein altes Sprichwort, aber die neuesten KI-Sprachmodelle legen nahe, dass nichts weiter von der Wahrheit entfernt sein könnte. Stattdessen müssen Kinder so oft wie möglich in ein Gespräch verwickelt werden, damit sie ihre Sprachkenntnisse entwickeln können. Sprachliche Erfahrung - nicht Grammatik - ist der Schlüssel zu einem kompetenten Sprachnutzenden.
