Können Sprachmodelle wie GPT-4 Bedeutung lernen oder sind sie stochastische Papageien? Eine neue Forschungsarbeit zeigt, dass die Modelle wohl mehr lernen, als Kritiker:innen ihnen zugestehen.
Forschende des CSAIL am Massachusetts Institute of Technology (MIT) zeigen in einer neuen Studie, dass Sprachmodelle Bedeutung lernen können, auch wenn sie nur darauf trainiert wurden, das nächste Token in einem Text - oder in diesem Fall in einem Programm - vorherzusagen. Dies widerspricht der Ansicht, dass große Sprachmodelle "stochastische Papageien" sind, also nur oberflächliche Statistiken der Syntax lernen und keine Bedeutung oder Semantik.
Mit der Arbeit will das Team zwei Hypothesen widerlegen:
Sprachmodelle, die nur für die Vorhersage des nächsten Tokens auf Text trainiert wurden, sind
- (H1) im Wesentlichen darauf beschränkt, oberflächliche statistische Korrelationen in ihren Trainingskorpora zu reproduzieren, und sind
- (H2) nicht in der Lage, dem Text, den sie konsumieren und generieren, Bedeutung zuzuweisen.
Stochastischer Code-Papagei oder Semantik in neuronalen Netzen?
Um den Begriff der Bedeutung klar zu definieren, verwendete das Team die Programmsynthese, da die Bedeutung (und Korrektheit) eines Programms "genau durch die Semantik der Programmiersprache gegeben ist". Konkret lernt ein Sprachmodell mit der Programmiersprache Karel, die eher für pädagogische Zwecke entwickelt wurde, einen digitalen "Roboter" durch eine Gitterwelt mit Hindernissen zu steuern. Wie bei Transformer-Modellen üblich, lernt das KI-System lediglich, das nächste Token in korrektem Programmcode vorherzusagen, das den namensgebenden Roboter Karel erfolgreich durch die Grid-Welten führt.
Nach dem Training verwendete das Team daher ein einfaches KI-Modell, um die internen Zustände des Sprachmodells abzubilden, während ein Keras-Programm vervollständigt wurde. Das Team stellte fest, dass es Abstraktionen der aktuellen und zukünftigen Zustände des Programms aus dem Modell extrahieren konnte, obwohl es nur für die Tokenvorhersage und nicht für das Erlernen der Semantik von Keras trainiert worden war. Diese semantischen Repräsentationen entwickelten sich parallel zur Fähigkeit des Sprachmodells, korrekte Programme zu generieren.
Um sicherzustellen, dass diese Semantik nicht eine Syntax-Interpretation des einfachen KI-Modells ist, veränderte das Team gezielt interne Zustände im Sprachmodell. Es konnte zeigen, dass es eine starke, statistisch signifikante Korrelation zwischen der Genauigkeit der Probe und der Fähigkeit des Modells, ein korrektes Programm zu erzeugen, gibt.
Das Team sieht beide Hypothesen widerlegt - und ist nicht alleine
Das Sprachmodell lernt auch, Programme zu schreiben, die im Durchschnitt kürzer sind als die im Trainingssatz verwendeten. Das deute darauf hin, dass der Output des Sprachmodells von der Verteilung des Trainingssatzes in semantisch sinnvoller Weise abweichen kann. Die Perplexität des Modells (ein Maß für die Unsicherheit bei der Vorhersage des nächsten Tokens) blieb für die Programme im Trainingssatz zudem immer hoch - auch wenn sich die Fähigkeit des Modells, korrekte Programme zu erzeugen, verbesserte. Nach Ansicht der Forschenden widerlegt dies die Hypothese (H1).
Insgesamt zeigten die Ergebnisse, "dass die Sprachmodellrepräsentationen tatsächlich mit der ursprünglichen Semantik übereinstimmen (und nicht nur lexikalische und syntaktische Inhalte kodieren)." Damit sei Hypothese (H2) widerlegt, schreibt das Team.
"Die Frage, ob Semantik aus Texten gelernt werden kann, hat in den letzten Jahren großes Interesse hervorgerufen. In diesem Beitrag wird die Position, dass Bedeutung aus der Form gelernt werden kann, empirisch untermauert", heißt es in dem Papier. Die angewandte Methode könne in Zukunft auch dazu dienen, die Bedeutung von Sprachmodellen weiter zu untersuchen - eine Frage, die sowohl von praktischer als auch von philosophischer Bedeutung sei.
Diese Arbeit ist Teil einer Reihe von Studien, die versuchen, die Prozesse in Sprachmodellen zu verstehen. So hat OthelloGPT gezeigt, dass ein Sprachmodell ein internes Modell eines Spielbretts erlernen und zur Vorhersage weiterer Spielzüge verwenden kann. Auch wenn nicht klar ist, inwieweit diese Ergebnisse auf große Sprachmodelle wie OpenAIs GPT-4 übertragbar sind, so untergraben sie doch deutlich das Narrativ der stochastischen Papageien.
