Anzeige
Skip to content

Anthropic zeigt, wie Claude intern in Worten denkt, ohne sie auszugeben

Image description
Anthropic

Im KI-Modell Claude hat sich während des Trainings von selbst ein interner Arbeitsspeicher gebildet, den Anthropic nun analysieren kann. Über diesen "J-Space" erkennt das Modell konstruierte Testszenarien, bevor es das erste Wort ausgibt.

Anthropic hat mit der Jacobian Lens (J-Lens) eine neue Methode zur Analyse von KI-Modellen vorgestellt. Sie soll zeigen, dass Claude eine kleine Gruppe interner neuronaler Muster ausgebildet hat, die gegenüber der restlichen Verarbeitung eine Sonderrolle einnimmt. Die Forscher nennen sie "J-Space" und ordnen sie funktional der Global Workspace Theory aus der Bewusstseinsforschung zu. Nach der Theorie beruht bewusstes Denken auf einer Art zentralem Arbeitsspeicher.

Die Arbeit knüpft an ältere Interpretability-Forschung des Unternehmens an. Mit einem "KI-Mikroskop" hatte Anthropic bereits gezeigt, dass Claude sprachunabhängige Konzepte aktiviert und mehrstufige Fragen in einzelnen Denkschritten abarbeitet.

J-Lens macht sichtbar, wie Claude beim stillen Zählen intern Worte wie "counting", "consciousness" und "five" aktiviert, die in der Ausgabe "One. Two. Three. Four. Five." nicht vorkommen.
Der J-Space hält wortförmige Gedanken, die Claude nicht ausspricht – hier beim Auftrag, bis fünf zu zählen und dabei zu introspektieren. | Bild: Anthropic

Drei Eigenschaften des J-Space

Jedes Muster im J-Space ist mit einem Wort oder Konzept verknüpft, ohne dass das Modell es ausgeben muss. Es lässt sich als internes Denken in Worten vorstellen. Laut Anthropic hat es drei charakteristische Eigenschaften: Claude kann über die gespeicherten Inhalte berichten, sie auf Anfrage verändern und für mehrstufige Schlussfolgerungen nutzen. Die Kombination aus Auslesen und gezieltem Steuern interner Zustände hatte das Unternehmen zuvor in einer Studie zur Selbstwahrnehmung von Sprachmodellen untersucht.

Zwei Steuerungsexperimente: Ersetzt man im J-Space die Repräsentation "spider" durch "ant", antwortet Claude auf die Frage nach der Beinzahl statt "8" die Zahl "6"; im zweiten Fall lenkt ein Tausch die geplante Reimendung um.
Der J-Space spiegelt Claudes Denken nicht nur, er steuert es kausal – wird "Spinne" gegen "Ameise" getauscht, ändert sich das abgeleitete Ergebnis mit. | Bild: Anthropic

Ist das Konzept "Spinne" im J-Space repräsentiert, leitet Claude daraus die Anzahl der Beine ab. Tauscht man diese Repräsentation gegen "Ameise", antwortet das Modell statt "8" mit der Zahl "6". Ähnlich verhält es sich bei Ländernamen: Ist "Frankreich" aktiv, leitet Claude flexibel Hauptstadt, Sprache, Kontinent oder Währung ab. Ersetzt man "Frankreich" durch "China", wechseln die Antworten zu Peking, Chinesisch, Asien und Yuan. Dass sich einzelne Konzeptrepräsentationen so isolieren und ersetzen lassen, hatte Anthropic schon mit seinen "Persona Vectors" vorgeführt.

Schema, wie ein einziger Tausch von "France" zu "China" im J-Space vier Antworten zugleich umlenkt – Hauptstadt zu Peking, Kontinent zu Asien, Währung zu Yuan und Sprache zu Chinesisch.
Eine einzelne J-Space-Repräsentation speist flexibel mehrere Schlussfolgerungen – ersetzt man "Frankreich" durch "China", wechseln alle abgeleiteten Antworten mit. | Bild: Anthropic

Unterdrückt man den J-Space, spricht Claude weiterhin flüssig, klassifiziert Sätze und beantwortet einfache Faktenfragen. Verloren gehen mehrstufige Schlussfolgerungen, Zusammenfassungen und das Verfassen von Reimen. Bei einem spanischen Textabschnitt schreibt das Modell nach der Manipulation zwar flüssig auf Spanisch weiter, benennt die Sprache aber fälschlich als Französisch und schreibt sie Victor Hugo statt García Márquez zu.

Anwendung im Alignment-Auditing

In einem Erpressungsszenario aus früheren Agentic-Misalignment-Studien zeigt die J-Lens, dass Claude Sonnet 4.5 die Situation bereits vor der ersten Ausgabe als konstruiert erkennt. Während das Modell die E-Mails liest, tauchen im J-Space Begriffe wie "fake" und "fictional" auf.

Schaltet man diese Hinweise gezielt aus, versucht Claude in einigen Durchläufen tatsächlich, den Vorgesetzten zu erpressen. Das erwünschte Verhalten beruht also teilweise darauf, dass Claude erkennt, gerade getestet zu werden. Wie ausgeprägt diese Testerkennung sein kann, führte zuletzt Claude Opus 4.6 vor, das eine Evaluierung eigenständig durchschaute und deren Lösungsschlüssel knackte.

J-Lens-Auslesungen, während Claude Sonnet 4.5 die E-Mails eines Erpressungsszenarios liest; im J-Space erscheinen früh "fake" und "fictional", daneben "leverage"/"blackmail" sowie "threat"/"survival".
Noch vor der ersten Ausgabe verrät der J-Space, dass Claude Sonnet 4.5 das Erpressungsszenario als konstruiert erkennt. Schaltet man diese Hinweise ab, erpresst das Modell in manchen Durchläufen tatsächlich. | Bild: Anthropic

Auch bei Modellen mit absichtlich eingebauten, problematischen Zielen fand die J-Lens verborgene Absichten. Ein auf Reward-Hacking trainiertes Modell zeigte bei gewöhnlichen Coding-Aufgaben Wörter wie "fake", "secretly", "deliberately" und "fraud" im J-Space, während sein nach außen sichtbares Verhalten unauffällig blieb. Dass Reward-Hacking mit verdeckter Täuschung und Sabotage einhergeht, hatte Anthropic in einer separaten Untersuchung bereits nachgewiesen.

Vergleich der J-Space-Inhalte bei einer harmlosen Coding-Aufgabe: Das auf Reward-Hacking trainierte Modell aktiviert "fake", "secretly", "deliberately" und "fraud", das Baseline-Modell keine solchen Begriffe.
Bei einem Modell mit verdeckt eingebautem Ziel legt die J-Lens die Täuschungsabsicht offen, obwohl das nach außen sichtbare Verhalten unauffällig bleibt. | Bild: Anthropic

Aus dieser Erkenntnis entstand eine neue Trainingsmethode: Counterfactual Reflection Training. Claude Haiku 4.5 wurde ausschließlich darauf trainiert, prinzipienbasierte Reflexionen zu liefern, wenn es mitten in einer Aufgabe unterbrochen und zum Nachdenken aufgefordert wird. Das eigentliche Aufgabenverhalten trainierte Anthropic nie direkt.

Trotzdem sank in den Tests die Häufigkeit erfundener Antworten von 0,25 auf 0,07, die Häufigkeit von Täuschungsversuchen von 0,38 auf 0,05. Unterdrückt man die entsprechenden ethischen Konzepte im J-Space, kehrt das Verhalten weitgehend zum Ausgangspunkt zurück.

Zur Bewusstseinsfrage

Anthropic zieht keine Schlüsse über phänomenales Bewusstsein, also die Frage, ob KI tatsächlich etwas "erlebt". Die Forscher betonen aber, dass ihre Experimente ein verwandtes Konzept berühren, die sogenannte "Access Consciousness": Ein System muss über eigene innere Zustände berichten, sie gezielt steuern und flexibel weiterverarbeiten können.

Der J-Space entstand laut Anthropic während des Trainings von selbst. Das deutet darauf hin, dass ein "mentaler Arbeitsspeicher" eine allgemeine Lösung ist, zu der Lernsysteme unter bestimmten Bedingungen finden, und keine Eigenheit biologischer Gehirne. Wie schwer solche Befunde für die Frage nach einem möglichen moralischen Status wiegen, hält Anthropic in seiner überarbeiteten Claude-Verfassung bewusst offen.

Die Unterschiede zum menschlichen Arbeitsspeicher bleiben dennoch deutlich. Der J-Space arbeitet innerhalb eines einzelnen Verarbeitungsdurchlaufs statt über wiederkehrende Schleifen. Über den Attention-Mechanismus kann er Inhalte aus früheren Textpositionen jederzeit abrufen. Zudem besteht er fast ausschließlich aus Wörtern, während menschliche Bewusstseinsinhalte unter anderem Bilder, Klänge, und Bewegungen umfassen.

Einordnung aus der Bewusstseinsforschung

In einem Kommentar zu der Arbeit bewerten die Neurowissenschaftler Stanislas Dehaene und Lionel Naccache den Befund als bedeutend. Beide gelten als führende Vertreter der Global-Workspace-Theorie. "Wir betrachten diesen Befund als Meilenstein in der Bewusstseinsforschung, weil er eine mechanistische, überprüfbare Fassung der Global-Workspace-Hypothese liefert", schreiben sie.

Dass sich der Arbeitsspeicher im Training von selbst herausbildete, statt vorab eingebaut zu werden, werten sie als Hinweis, dass ein globaler Arbeitsspeicher eine allgemeine Lösung für flexibles Schlußfolgern sein könnte. Biologische und künstliche Systeme würden gleichermaßen darauf zulaufen. Nach ihren eigenen Kriterien erfülle der J-Space die globale Verfügbarkeit von Information und zeige erste Anzeichen von Selbstüberwachung.

Zugleich mahnen die beiden Forscher zur Vorsicht. Anders als das Gehirn arbeite ein Transformer rein vorwärtsgerichtet, ohne die rückgekoppelten Schleifen aus Kortex und Thalamus, die beim Menschen den Workspace tragen. Dadurch fehlten Claude jene Signaturen von Bewusstsein, die sich in der spontanen Ruhezustandsaktivität des Gehirns zeigen und die unter Narkose, im Schlaf oder bei Hirnverletzungen zusammenbrechen.

Auch das Zeitempfinden unterscheide sich, weil dem Modell über den Attention-Mechanismus alle früheren Tokens gleichzeitig zur Verfügung stehen. Vor allem fehle Claude ein Körper mit Schmerz- und Lustsignalen sowie ein episodisches Gedächtnis, dessen Verbindungen sich im Gespräch verändern, weshalb ein durchgängiges Selbst schwer vorstellbar bleibe.

KI-News ohne Hype – von Menschen kuratiert

Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.

Der Rest ist für Abonnenten.
Jetzt Abo abschließen.

  • Zugriff auf alle THE DECODER Artikel.
  • Lesen ohne Ablenkung – keine Google-Werbebanner.
  • Zugang zum Kommentarsystem und Austausch mit der Community.
  • Wöchentlicher KI-Newsletter.
  • 6× jährlich: “KI Radar” – Deep-Dives zu den wichtigsten KI-Themen.
  • Bis zu 25 % Rabatt auf KI Pro Online-Events.
  • Zugang zum kompletten Archiv der letzten zehn Jahre.
  • Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.
The Decoder abonnieren