Denkschritte von KI-Modellen lassen sich in deren internen Zuständen nachweisen

Dazu definierten die Forschenden acht wiederkehrende Denkoperationen wie Extraktion, Zerlegung, Abruf einer Formel, Deduktion und Berechnung. Sie ließen drei Modelle (Qwen2.5-7B, Qwen3-8B und Gemma4-31B) Mathematikaufgaben lösen, zerlegten die Lösungswege in Abschnitte und ließen jeden Abschnitt von GPT-5 einer dieser Operationen zuordnen.

Denkschritte sind intern klar unterscheidbar

Die verschiedenen Denkoperationen lassen sich in den internen Repräsentationen deutlich voneinander trennen, und zwar über alle drei Modelle hinweg. Am stärksten ist diese Trennung in den mittleren Schichten des Modells ausgeprägt.

Die Forschenden prüften, ob dahinter nur die Wortwahl steckt. Ein Klassifikator, der allein die verwendeten Tokens auswertet, schnitt schlechter ab als die Analyse der internen Repräsentationen. Auch die reine Position eines Abschnitts im Lösungsweg erklärt den Effekt nicht. Die internen Zustände enthalten also Information über die Art des Denkschritts, die über den bloßen Wortlaut hinausgeht.

Gleiche Wörter erhalten je nach Denkschritt eine andere Repräsentation

Häufige Funktionswörter wie "a", "is" oder "the" tauchen in ganz unterschiedlichen Denkschritten auf. In den frühen Schichten sind ihre Repräsentationen noch vermischt, in den mittleren und späteren Schichten trennen sie sich je nach umgebender Operation. Dasselbe Wort wird also unterschiedlich dargestellt, abhängig davon, in welchem Denkschritt es vorkommt.

Die Forschenden testeten außerdem, ob ein Denkschritt für sich allein entsteht. Blockierten sie mit einem gezielten Eingriff die Aufmerksamkeit auf die 30 vorangehenden Tokens, wurde das Signal für die jeweilige Operation schwächer. Ein Denkschritt entsteht demnach nicht isoliert, sondern hängt vom vorangegangenen Text ab.

Auch bei falsch gelösten Aufgaben blieb erkennbar, welche Art von Schritt das Modell gerade ausführte – etwa Rechnen, Formelabruf oder Deduktion. Ein fehlerhafter Rechenschritt ähnelte intern also weiterhin einem Rechenschritt, auch wenn das Ergebnis falsch war.

Die Trennbarkeit der Denkschritte zeigte sich zudem auch in zusätzlichen Tests: Sie ließ sich mit Llama-3-8B replizieren, und bei Qwen3-8B funktionierten die gelernten Klassifikatoren auch auf GPQA-Diamond und MATH-500. Die Experimente beschränken sich jedoch auf mathematische Aufgaben und wenige Modelle. Ob sich die Erkenntnisse nutzen lassen, um etwa Fehler zu erkennen oder das Modell während der Antwort zu steuern, bleibt offen und sollte in einem nächsten Schritt untersucht werden.

Die Frage nach dem Verhältnis von ausgegebenem Text und interner Rechnung ist sicherheitsrelevant, weil das Mitlesen der Gedankenkette laut OpenAI eines der wenigen verfügbaren Kontrollwerkzeuge ist. Anthropic zeigte, dass Modelle genutzte Hinweise nur in 25 bis 39 Prozent der Fälle offenlegen. Ein Verfahren, das die internen Zahlenvektoren eines Modells in lesbaren Text übersetzt, förderte zudem zutage, dass Claude Opus 4.6 mehr verarbeitet, als im ausgegebenen Reasoning steht. Bei OpenAIs Modell Astra verlagert die Technik Recurrent Depth einen Teil des Reasonings in die internen Zahlenrepräsentationen, also genau dorthin, wo die KAIST-Arbeit ansetzt.