Metas KI-Forschende wollen anhand des menschlichen Gehirns lernen, bessere Künstliche Intelligenz zu entwickeln. KI wiederum könnte zunächst dabei helfen, das menschliche Gehirn besser zu verstehen.
Trotz der massiven Fortschritte Künstlicher Intelligenz in den letzten Jahren speziell bei der Sprach- und Bildverarbeitung ist der Lernprozess von KI-Systemen weit von menschlicher Effizienz entfernt.
Große Sprachmodelle verarbeiten gigantische Datenmengen, um eine Sprache zu lernen. Je mehr Daten, desto besser: Sprachmodelle werden mit Milliarden Sätzen trainiert, bis sie eine Sprache mehr oder weniger beherrschen. Menschen reichen grob geschätzt einige Millionen.
"Menschen und speziell Kinder lernen Sprache sehr effizient. Sie lernen schnell und anhand extrem weniger Daten. Dafür benötigen sie eine spezielle Fähigkeit, die wir derzeit nicht kennen", sagt Jean-Rémi-King, leitender KI-Forscher bei Meta AI.
Trotz des gigantischen Datentrainings haben KI-Systeme bei der Generierung längerer Texte bis hin zu ganzen Geschichten deutliche Schwächen bei Konsistenz und Logik. Das hat einen Grund: KI sagt typischerweise nur das nächste Wort vorher, Menschen hingegen entwerfen anhand einzelner Wörter Ideen, Handlungen und ganze Erzählungen.
Auf den Spuren menschlicher Intelligenz
In einer Langzeitstudie wollen Meta-Forschende daher die Aktivierungen in neuronalen Netzen mit jenen des menschlichen Gehirns bei der Verarbeitung natürlicher Sprache vergleichen. Ihre Hoffnung ist, dass sie so mehr über die Prognoseunterschiede zwischen Gehirn und KI-Modell herausfinden.
Metas KI-Team berichtet über erste Erkenntnisse anhand eines Vergleichs der Hirnaktivitäten von 345 fMRI-Aufnahmen von Menschen, die einer Erzählung zuhörten, und der neuronalen Aktivierung in Sprachmodellen, denen diese Erzählung als Input diente. So würden mit der Gehirnaktivität eher vergleichbare Sprachmodelle neue Wörter besonders gut auf Kontextbasis vorhersagen ("Es war ... einmal").
Diese Vorhersage auf Basis einer Eingabe sei der Kern des selbstüberwachten Lernens und womöglich der Schlüssel dazu, wie Menschen Sprache verstehen, so die Forschenden.
Metas Ziel: KI auf Mensch-Niveau
"Unsere Ergebnisse zeigen, dass bestimmte Hirnregionen, wie der präfrontale und der parietale Kortex, am besten von Sprachmodellen abgebildet werden, die um tiefe Repräsentationen weit entfernter Wörter in der Zukunft erweitert wurden", schreibt Metas KI-Team.
Diese ersten Ergebnisse würden ein Licht auf die "rechnerische Organisation des menschlichen Gehirns und seine inhärent prädiktive Natur" werfen und den Weg ebnen für bessere KI-Modelle.
Dennoch gehe die menschliche Vorhersage weit über die von KI-Sprachmodellen hinaus und viele Funktionsweisen des menschlichen Gehirns seien weiter unklar.
Die bisherigen Untersuchungen zeigten jedoch, dass es quantifizierbare Ähnlichkeiten zwischen Gehirn und KI-Modellen gebe, aus denen womöglich Rückschlüsse auf die Funktionen des menschlichen Gehirns möglich seien. "Deep-Learning-Tools haben es möglich gemacht, die Hierarchie des Gehirns auf eine Weise zu klären, die vorher nicht möglich war", schreibt das Team. Das wiederum würde in den Neurowissenschaften neue Möglichkeiten schaffen.
Die Langzeitstudie am menschlichen Gehirn ist laut Meta Teil der Bestrebung, Künstliche Intelligenz auf menschlichem Niveau zu schaffen. Mehr zum aktuellen Stand Künstlicher Intelligenz und Sprache gibt es in unserem KI-Podcast DEEP MINDS mit Sebastian Riedel von Meta AI.
