Nicht-invasive Hirn-zu-Text-KI von Meta nähert sich der Leistung von Implantaten

Für die Studie zeichneten die Forschenden die Hirnaktivität von neun gesunden Freiwilligen mittels Magnetoenzephalographie (MEG) auf, einem Verfahren, das magnetische Felder außerhalb des Kopfes misst. Jede Person wurde zehn Stunden lang aufgenommen, alle zusammen tippten insgesamt 22.000 Sätze. Der Ablauf: Die Probanden hörten einen Satz, warteten kurz und tippten ihn dann auf einer Tastatur, ohne den Text auf einem Bildschirm zu sehen. Aus den Hirnsignalen während dieser Tippphase rekonstruiert das Modell den Satz. Laut Paper stammt die messbare Aktivität vor allem aus dem motorischen Kortex, der die Fingerbewegungen steuert.

Zehnmal mehr Daten machen den Verzicht aufs Tastentiming möglich

Der direkte Vorgänger, Brain2Qwerty v1, benötigte noch den exakten Zeitpunkt jedes einzelnen Tastenanschlags, um die Signale zuzuordnen. Version 2 arbeitet stattdessen mit einem durchgehenden Signalfenster und ordnet die Zeichen selbst zu, ohne das Timing zu kennen. Dieser asynchrone Ansatz beseitigt damit eine zentrale Hürde auf dem Weg zur Echtzeit-Nutzung, auch wenn das System diese Schwelle noch nicht erreicht. Die schwierigere Aufgabe gelingt laut den Forschenden nur, weil der neue Datensatz zehnmal mehr Aufnahmen pro Person und deutlich vielfältigere Sätze enthält als beim Vorgänger.

Nach eigenen Angaben stützt sich das Modell auf drei KI-Bausteine. Deep Learning ersetzte die früher von Hand gebauten Erkennungsschritte, das System verarbeitet die Signale auf drei Ebenen (Zeichen, Wörter und ganze Sätze), und das Team setzte auf KI-Agenten, die den Optimierungscode selbst schreiben. Für die Satzebene wird ein Sprachmodell (Qwen3) feinjustiert, das aus den verrauschten Hirnsignalen einen sinnvollen Satz formt.

Brain2Qwerty v2 erreicht so eine durchschnittliche Wortfehlerrate von 39 Prozent, gegenüber 55 Prozent für den reinen Encoder ohne Sprachmodell. Beim besten Probanden werden 28 Prozent der Sätze fehlerfrei und 47 Prozent mit höchstens einem falschen Wort dekodiert.

Bessere Wörter, aber mehr falsche Zeichen

Das Team vergleicht Brain2Qwerty v2 mit zwei einfacheren Verfahren. Das erste ist der reine Encoder, der die Zeichen direkt aus dem Hirnsignal abliest, ohne dass ein Sprachmodell die Ausgabe nachträglich glättet. Das zweite ist der Ansatz aus Brain2Qwerty v1: Hier korrigiert ein sogenanntes N-gramm-Modell die Encoder-Ausgabe. Ein solches Modell kennt aus großen Textmengen die statistische Wahrscheinlichkeit von Buchstabenfolgen und flickt so lokal einzelne Zeichenketten zurecht, bildet aber keine ganzen Sätze.

Gemessen wird auf drei Ebenen: die Zeichenfehlerrate (CER) zählt falsche Buchstaben, die Wortfehlerrate (WER) falsche Wörter, und die semantische Fehlerrate erfasst, wie weit die Bedeutung vom Zielsatz abweicht. Bei Wörtern und Bedeutung liegt Brain2Qwerty v2 vorn: Die Wortfehlerrate sinkt auf 39 Prozent, gegenüber 55 Prozent beim reinen Encoder und 43 Prozent beim N-gramm-Modell aus v1.

Auf Zeichenebene dreht sich das Bild jedoch um. Hier kommt v2 auf 31 Prozent Fehler und schneidet damit schlechter ab als der reine Encoder (28 Prozent) und das N-gramm-Modell (26 Prozent). Der Grund liegt in der Arbeitsweise des Sprachmodells: Es ist darauf trainiert, flüssige Sätze zu erzeugen, auch wenn das Hirnsignal dafür eigentlich nicht ausreicht. Im Zweifel erfindet es dann einen grammatikalisch sauberen, aber inhaltlich völlig anderen Satz.

So dekodierte das Modell beim schlechtesten Probanden statt des Zielsatzes "cars are not allowed on this road" den Satz "had she not fallen down the stairs" - ein kompletter Fehlgriff, der die Zeichenfehlerrate in die Höhe treibt. Das N-gramm-Modell korrigiert dagegen nur lokal und bleibt näher an den einzelnen Buchstaben, produziert dafür aber selten ein lexikalisch korrektes Wort. Da erfolgreiche Kommunikation auf Bedeutung beruht und nicht auf exakter Zeichenübereinstimmung, wertet das Team die besseren Wort- und Bedeutungswerte als den relevanteren Fortschritt. Eine frühere fMRT-basierte Studie kam zudem auf 92 bis 94 Prozent Wortfehler.

Wenn KI die KI-Forschung optimiert

Interessant ist auch der Auto-Research-Teil: Drei unabhängige Agenten auf Basis von Claude Opus 4.6 sollten die Fehlerrate selbstständig senken, indem sie den Code verändern und Experimente starten. Sie fanden dabei Techniken wie "label smoothing", "modality dropout" und knappere Prompts, die sich über alle Probanden hinweg bewährten, und schlugen ein klassisches Optimierungsverfahren deutlich. Bei einer offen gestellten Aufgabe scheiterten dieselben Agenten jedoch: Ihre umfangreichen Code-Änderungen ließen die meisten Rechenjobs abstürzen. Menschliche Forschung bleibe vorerst ein kritischer Teil des Prozesses, so das Fazit.

Der Abstand zu implantierten Systemen bleibt zudem weiter groß. Invasive Schnittstellen erreichen beim Tippen unter zwei Prozent Wortfehler. Da die Genauigkeit von Brain2Qwerty v2 mit mehr Daten aber stetig weiter steigt und noch kein Limit erreicht ist, sehen die Forschenden im Sammeln weiterer Aufnahmen einen einfachen Hebel. Offene Fragen bleiben: große Unterschiede zwischen den Probanden, die Beschränkung auf gesunde Freiwillige mit echten Tippbewegungen und die fehlende Echtzeitfähigkeit. Als Weg in die Klinik nennt das Team tragbare MEG-Sensoren, die bei Raumtemperatur arbeiten.Tests zeigten, dass schon die Hälfte der Sensoren fast die volle Leistung liefert.

Ein Fenster auf das Gehirn, nicht nur ein Medizinwerkzeug

Die Arbeit knüpft an eine längere Forschungslinie von FAIR unter dem Neurowissenschaftler Jean-Rémi King an. Dessen Team dekodierte bereits 2022 wahrgenommene Sprache aus MEG- und EEG-Daten und generierte 2023 in Millisekunden Bilder aus Gehirnaktivität. Zuletzt zeigte das Team mit TRIBE v2 ein Modell, das Hirnaktivität vorhersagt, statt sie zu messen. Der direkte Vorgänger Brain2Qwerty v1, der getippte Sätze mit bis zu 80 Prozent Genauigkeit auf Zeichenebene rekonstruierte und mit 35 Probanden eine Zeichenfehlerrate von 29 Prozent bei MEG sowie 65 Prozent bei EEG erzielte, wurde inzwischen im Fachjournal Nature Neuroscience veröffentlicht.

Hinter Brain2Qwerty steht ein größeres Forschungsprogramm, das King selbst weniger als reine Ingenieursaufgabe versteht. Neurowissenschaft und KI seien von Anfang an eng verflochten gewesen, sagte er in einem Interview mit The Decoder: "Viele Begriffe, von denen wir dachten, wir hätten ein gutes intuitives Verständnis – wie etwa 'Vernunft' oder 'Denken' – müssen wir vielleicht ganz neu bewerten, wenn wir sehen, was heutige KI-Systeme leisten können." Modelle, die Hirnaktivität in Text übersetzen, sind für ihn damit nicht nur ein medizinisches Werkzeug, sondern auch ein Fenster auf die Funktionsweise des Gehirns selbst.