Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Forschende zeigen ein KI-System, das aus fMRT-Daten semantische Inhalte in Form von Text rekonstruieren kann.

Ein Gehirn-Computer-Interface, das Sprache rekonstruiert, hätte zahlreiche Anwendungen in der Wissenschaft, Medizin und Industrie. Dass eine solche Rekonstruktion und simple Gedankensteuerung möglich ist, zeigen invasive Methoden, die Aufnahmen aus chirurgisch implantierten Elektroden verwenden.

Doch solche Eingriffe sind noch immer gefährlich, auch wenn Unternehmen wie Elon Musks Neuralink an Methoden arbeiten, solche Eingriffe möglichst harmlos und ohne Folgeschäden zu gestalten. Nicht-invasive Sprach-Decoder könnten jedoch auf breiter Basis eingesetzt werden und in Zukunft etwa Menschen helfen, technische Geräte per Gedanken zu steuern.

Forschende trainieren KI-System mit 16 Stunden fMRT-Aufnahmen pro Person

Erste Versuche, Sprach-Decoder für nicht invasive Methoden zu trainieren, gibt es etwa von einem Team um Jean-Remi King, CNRS-Forscher an der Ecole Normale Supérieure und Forscher bei Meta AI.

Anzeige
Anzeige

Sein Team zeigte Ende 2021, dass Reaktionen des menschlichen Gehirns auf Sprache anhand der Aktivierungen eines GPT-Sprachmodells vorhersagbar sind. Im Juni 2022 zeigte das Team Korrelationen zwischen einem mit Sprachaufnahmen trainierten KI-Modell und fMRT-Aufnahmen von mehr als 400 Personen, die Hörbücher hören.

Kürzlich zeigte Kings Team dann ein KI-System, das aus MEG- und EEG-Daten vorhersagen kann, welche Wörter ein Mensch gehört hat. Eine neue Arbeit von Forschenden der University of Texas at Austin reproduziert dieses Ergebnis jetzt für fMRT-Aufnahmen. In ihrer Arbeit zeigt das Team um Autor Jerry Tang einen fMRT-Decoder, der verständliche Wortfolgen von wahrgenommener Sprache rekonstruiert.

Das KI-System erfasst zentrale semantische Inhalte und trifft in einigen Fällen den exakten Wortlaut der wahrgenommenen Sprache. | Bild: Tang et al.

Für das Training des KI-Systems zeichnete das Team fMRT-Daten dreier Personen auf, die 16 Stunden lang Erzählungen zuhörten. Für jede Person wurde anhand der Daten ein Encoding-Modell erstellt, um die Hirnreaktionen anhand der semantischen Merkmale von Stimuluswörtern vorherzusagen.

Um Sprache aus den Gehirndaten zu rekonstruieren, sagt der Decoder eine Reihe von möglichen Wortsequenzen zu einem Dateninput vor. Werden neue Wörter in den darauffolgenden Dateneingaben erkannt, schlägt ein Sprachmodell Fortsetzungen für jede Sequenz vor. Das Encoding-Modell bewertet die Wahrscheinlichkeit der Vorhersagen. Die wahrscheinlichsten Fortsetzungen werden beibehalten.

KI-System kann semantische Inhalte von Stummfilmen rekonstruieren

Die Forschenden testeten ihr System neben der Rekonstruktion von wahrgenommener Sprache auch mit der Rekonstruktion interner Sprache: Die Versuchspersonen erzählten sich selbst im Kopfe eine kurze Geschichte, die das KI-System rekonstruieren sollte. In beiden Tests lag die Qualität der Vorhersagen deutlich über Zufall.

Empfehlung
Das System des Teams aus Austin kann auch Geschichten rekonstruieren, die sich die Versuchspersonen selbst erzählen. | Bild: Tang et al.

"Die Ergebnisse zeigen, dass die dekodierten Wortfolgen nicht nur die Bedeutung der Stimuli wiedergeben, sondern oft sogar die exakten Wörter und Phrasen wiederherstellen", so das Team.

Die Qualität der Vorhersage blieb auch über verschiedene gemessene Hirnareale stabil. Laut den Forschenden ist das ein Hinweis, dass das Gehirn die semantischen Informationen an mehreren Stellen verarbeitet.

Um die Grenzen des Ansatzes zu testen, zeigte das Team den Versuchspersonen einen Film ohne Audio und ließ das KI-System die gemessene Aktivität in Sprache übersetzen. Die so vom System wiedergegebenen semantischen Inhalte weisen eine hohe Übereinstimmung mit den auf dem Bildschirm sichtbaren Ereignissen auf.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Respektiert ein Gehirnlese-System Privatsphäre?

Von einer perfekten Rekonstruktion der semantischen Inhalte oder gar der Sprache ist das KI-System des Teams noch weit entfernt. Die Forschenden spekulieren, dass in der Zukunft bessere Decoder die Ungenauigkeiten auflösen könnten. Sie könnten etwa durch eine Kombination aus semantischen Merkmalen und Merkmalen auf niedrigerer Ebene wie Phonemen oder Akustik Sprachstimuli modellieren.

Ein Kandidat für eine bessere Decoder-Leistung sei zudem Subjekt-Feedback: "In früheren invasiven Studien wurde ein Dekodierungsparadigma mit geschlossenem Regelkreis verwendet, bei dem die Dekodierungsvorhersagen der Versuchsperson in Echtzeit angezeigt werden", heißt es im Paper. "Dieses Feedback ermöglicht es der Versuchsperson, sich an den Decoder anzupassen, und gibt ihr mehr Kontrolle über die Decoderausgabe."

In einem Teil der Arbeit setzt sich das Team zudem mit Gefahren der Technologie auseinander. In ihren Experimenten konnten sie zeigen, dass die gezeigte Methode die Kooperation der Testpersonen für Training und auch Nutzung des Decoders benötigt.

Zukünftige Entwicklungen könnten es jedoch Decodern ermöglichen, diese Anforderungen zu umgehen, warnen die Forschenden. Zusätzlich könnten auch ungenaue Ergebnisse absichtlich für böswillige Zwecke fehlinterpretiert werden.

Es sei daher von entscheidender Bedeutung, das Bewusstsein für die Risiken solcher Dekodierungstechnologien für das menschliche Gehirn zu schärfen und Maßnahmen zu ergreifen, die die mentale Privatsphäre jedes Einzelnen schützen.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forschende der University of Texas zeigen ein KI-System, das semantische Inhalte und Sprache aus fMRT-Daten rekonstruieren kann.
  • Das System verarbeitet wahrgenommene Sprache, Selbstgespräche sowie Stummfilme.
  • Die dekodierten Wortfolgen geben häufig die Bedeutung der Stimuli und sogar die exakten Wörter und Phrasen wieder.
  • Das Team warnt vor den Gefahren von Hirn-Decodern, wenn sie zukünftig etwa ohne Einwilligung verwendet werden könnten.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!