Forscher zeigen, dass es zwischen menschlichem Gehirn und OpenAIs Sprach-KI GPT-2 einige Gemeinsamkeiten in der Sprachverarbeitung gibt.
Sprach-KIs wie GPT-2 oder jüngst GPT-3 erzeugen glaubwürdige Texte, ohne dass sie jemals die vielfältigen und noch immer unvollständigen Regeln gelernt haben, die menschliche Linguisten über Dekaden entwickelten.
Die Sprach-KI lernt stattdessen Wortvervollständigung: Sie sagt möglichst präzise das nächste Wort in einem Paragraphen vorher, indem es den Kontext der umliegenden Wörter erfasst. Das gelingt durch das Training mit riesigen Textmengen.
Diese Kontext-basierten Sprach-KIs lassen bisherige von Hand programmierte Sprachsysteme und vektorbasierte Systeme ohne Kontextauswertung (word2vec) weit hinter sich.
In einem neuen Experiment konnten Neurowissenschaftler jetzt zeigen, dass auch das menschliche Gehirn durchgehend eine Wortvorhersage ausführt. Basierend auf dieser Erkenntnis spekulieren die Forscher, dass der Mensch Sprache ähnlich lernt wie die Maschine.
GPT-2 hört Podcast
In einem Experiment hatten 50 Versuchspersonen die Aufgabe, einen 30-minütigen Podcast zu hören. Währenddessen sollten sie jedes der knapp 5.000 gesprochenen Wörter vorhersagen.
Die Genauigkeit der Teilnehmer bei dieser Vorhersage lag im Schnitt bei knapp 28 Prozent – das ist angesichts der unzähligen Möglichkeiten ein gutes Ergebnis. Bei etwa 600 Wörtern lag die Trefferquote sogar bei über 70 Prozent. Laut den Forschern ist es das erste Mal, dass die menschliche Vorhersagefähigkeit in einem solchen Experiment gemessen wurde.
In einem vergleichenden Test mit OpenAIs GPT-2 zeigte sich, dass die Vorhersagefähigkeit des neuronalen Netzes auf dem Niveau der menschlichen Teilnehmer lag.
Dabei gilt: Je mehr Kontext GPT-2 gleichzeitig verarbeiten kann, desto besser wird die Vorhersage. Die Forscher veränderten dafür die Anzahl an Transformer-Bausteinen (Erklärung) im neuronalen Netz. Transformer sind für den Aufmerksamkeitsmechanismus der KI und somit für den Kontext verantwortlich.
Gehirnmessung beweist menschliche Vorhersage-Routine
Ein weiteres Experiment der Forscher zeigt, dass die gute Vorhersageleistung der menschlichen Teilnehmer kein Zufall ist.
In dem zweiten Experiment wurde Epilepsie-Patienten derselbe Podcast vorgespielt. Die Teilnehmer sollten den Podcast nur hören. Sie erhielten keine Anweisung, das nächste Wort vorherzusagen.
Die Forscher sammelten während des Hörens Elektrokortikographie-Daten (EKoG) von über 1.000 Elektroden und modellierten die neuronale Aktivität mit Hilfe verschiedener Algorithmen, darunter auch ein GPT-2-basierte Variante.
Anhand der Daten konnten die Forscher zeigen, dass das Gehirn ohne explizite Aufgabenstellung kommende Wörter vorhersagt, bevor sie vom Teilnehmer wahrgenommen werden. Die Vorhersage-Signale traten bis zu 1.000 Millisekunden früher auf.
Die Messungen zeigten außerdem, dass sich die neuronalen Reaktionen auf Wörter mit Modellen wie GPT-2 deutlich besser vorhersagen lassen als mit älteren Modellen, die nicht kontextbasiert lernen.
Ein Zeichen für lebenslanges Lernen?
Die Existenz dieser spontanen Vorhersagesignale könne ein Zeichen sein, dass die Vorhersage des nächsten Wortes das lebenslange Lernen des Menschen unterstütze, schreiben die Forscher.
Dafür sprächen auch entwicklungspsychologische Studien, die suggerieren, dass Kinder jeden Tag zehntausenden Wörtern in kontextualisierter Sprache ausgesetzt seien und so über eine große Datenmenge für das Lernen verfügen.
Es brauche jedoch noch weitere Studien, um zu zeigen, dass die neu gefundenen Vorhersagesignale schon in jungen Jahren verfügbar und damit tatsächlich am kindlichen Spracherwerb beteiligt seien. Weitere Lernziele abseits der Vorhersage des nächsten Wortes seien außerdem ebenfalls zu erwarten.
Sprachliche Kompetenz reicht nicht aus
Zusammengenommen zeigten die Ergebnisse, dass sich das menschliche Gehirn und Sprach-KIs wie GPT-2 gewisse Prinzipien der Datenverarbeitung teilen, zum Beispiel die kontextbasierte Wortvorhersage.
Diese Prinzipien seien jedoch in radikal unterschiedlichen neuronalen Architekturen implementiert, so die Forscher. Diese Gemeinsamkeit von GPT-2 und dem menschlichen Gehirn sei außerdem kein Beweis, dass GPT-2 denken könne.
„Obwohl die Sprache eine zentrale organisierende Rolle in unserer Kognition spielen mag, reicht sprachliche Kompetenz nicht aus, um das Denken zu erfassen“, schreiben die Forscher.
Sprach-KIs wie GPT-2 könnten nicht denken, verstehen oder neue sinnvolle Ideen durch die Integration von Vorwissen generieren – sie würden lediglich die Statistik ihrer Eingabe wiedergeben.
Es sei daher eine Kernfrage der kognitiven Neurowissenschaft und der KI-Forschung, wie das Gehirn seine durch Vorhersageübungen gelernten kontextualisierten sprachlichen Repräsentationen als „Substrat für die Generierung und Artikulation neuer Gedanken“ nutze.
Via: Biorxiv
