Forschende skizzieren Übergang vom KI-Chatbot zum "digitalen Kollegen"

Die zentrale Frage sei nicht mehr, wie ein Modell eine bessere Antwort erzeugt. Entscheidend sei vielmehr, wie ein KI-System die Absicht des Nutzers zuverlässig in fertige Arbeit überführt. Damit verschiebe sich auch das Verhältnis zwischen Mensch und KI. Statt einer reaktiven Frage-Antwort-Schnittstelle entstünden Systeme, an die sich Aufgaben delegieren lassen.

Vom schnellen Antworten zum langsamen Denken

In der Chatbot-Ära, geprägt von ChatGPT, hätten Modelle vor allem schnell Text erzeugt: Sie speicherten Sprachmuster und Faktenwissen in ihren Parametern und schrieben eine Antwort in einem Zug herunter, Wort für Wort entlang der jeweils wahrscheinlichsten Fortsetzung. Zwischenschritte zu prüfen oder gezielt nach Lösungen zu suchen, gehörte nicht zum Verfahren.

Die Thinking-LLM-Ära, repräsentiert durch OpenAIs o1 und DeepSeek-R1, investiere dagegen mehr Rechenleistung in den Moment der Antwort. Solche Modelle erzeugten lange Gedankenketten, prüften ihre Zwischenschritte und lernten per Reinforcement Learning, bei dem nur überprüfbar richtige Lösungen belohnt werden, selbstständig zu suchen und zu reflektieren. Das Paper beschreibt diesen Wandel als Übergang vom schnellen, intuitiven Denken ("System 1") zum langsamen, bewussten Schlussfolgern ("System 2"), ein Begriffspaar des Psychologen Daniel Kahneman.

Vom Werkzeugaufruf zur Arbeitsumgebung

Agenten der ersten Generation hätten zwar im Wechsel aus Überlegen und Handeln Programmierschnittstellen angesprochen, Code geschrieben und Webseiten durchsucht, seien aber fragil geblieben.

Die Forschenden identifizieren dabei vier strukturelle Engpässe: Die Agenten nähmen ihre Umgebung nur in Bruchstücken wahr. Ihre Werkzeugaufrufe hinterließen keinen bleibenden Zustand. Sie scheiterten, sobald sich die Umgebung unerwartet verhielt. Und sie brächten Aufgaben selten wirklich zu Ende.

Die OpenClaw-Ära markiere den Punkt, an dem die Umgebung selbst zum persistenten Träger werde. Dateien, Sitzungen, Logs, Browser, Berechtigungen und Skills überdauerten den gesamten Arbeitsverlauf. Als Beispiele nennt das Paper OpenHands und SWE-agent, die Agenten in kontrollierten Entwicklungsumgebungen einbetten.

"Workspace + Skill" als Bindeglied

Den Kern des Papers bildet die These, dass die Kombination aus Workspace und Skill den entscheidenden Leistungssprung ermöglicht. Ein Workspace liefere Zustand, Speicher und Konsequenzen. Ein Skill stelle operatives Wissen in Form wiederverwendbarer Pakete bereit. Anthropics Agent Skills formalisierten dieses Muster bereits als Ordner mit einer SKILL.md-Datei samt Anweisungen, Skripten und Ressourcen.

Skills seien weder reine Prompts noch klassische Tools. Sie säßen zwischen dem Denken des Modells und der Ausführung im Workspace. So lasse sich organisatorisches Know-how in modularer, prüfbarer und übertragbarer Form festhalten. Wiederverwendbare Prozeduren könnten allerdings veralten, sich auf zu spezifische Workflows verengen oder zu Einfallstoren für Angriffe werden.

Neue Maßstäbe für Daten und Evaluation

Mit den Systemen änderten sich auch die Trainings- und Bewertungsgrundlagen. Während Chatbots auf Instruction-Response-Paaren trainiert und an Antwortgenauigkeit gemessen worden seien, beruhe das Lernen in Workspace-basierten Systemen auf State-Action-Observation-Trajektorien. Erfolg bemesse sich nicht mehr an plausiblen Antworten, sondern an Task Closure: ob das System die Zielumgebung in einen verifizierbaren Endzustand überführe.

Benchmarks wie SWE-bench, OSWorld und WebArena verlangten reproduzierbare Ausgangszustände, ausführbare Werkzeuge, Trajektorienprotokolle und Endzustandsprüfungen. GPT-4 schloss in WebArena zunächst nur 14 Prozent der Aufgaben erfolgreich ab. Daran zeige sich, wie weit realistische Webumgebungen von statischen Frage-Antwort-Szenarien entfernt sind.

Sicherheit wird zur operativen Frage

Persistente Workspaces vergrößerten zugleich die Angriffsfläche. Agenten besäßen Zugangsdaten, lokale Dateien, Identitätstoken und Kommunikationskanäle. Arbeiten wie OpenClaw PRISM und ClawGuard versuchten, Berechtigungen, Provenienz und Audit-Logs als Laufzeitschutz zu etablieren. Datenhoheit und klare Grenzen für Unternehmensvermögen würden ebenso zentral, da Workspace-Agenten sensible Repositorien, interne Dokumente und Zwischenergebnisse beobachteten, die später zu Erinnerungen, Skills oder Trainingsdaten werden könnten.

Die Autoren räumen ein, dass die Kombination aus Workspace und Skill keine vollständige Lösung sei. Skills könnten überanpassen, Workspaces sich mit veralteten Dateien und fehlerhaften Zwischenartefakten füllen. Verlässlicher Einsatz erfordere daher Skill-Lifecycle-Management, Workspace-Hygiene, Berechtigungskontrolle, Sandboxing, Rollback und trajektorienbasierte Evaluation. Wiederverwendung ohne Governance produziere lediglich neue Fehlerquellen.

Vor kurzem hatte eine Übersichtsarbeit von Meta, Stanford und der University of Illinois Urbana-Champaign eine verwandte These aus anderer Richtung formuliert. Über die Leistung autonomer Systeme entscheide weniger das Basismodell als die umgebende Software-Schicht. Dieser sogenannte "Harness" bündele Werkzeuge, abgeschottete Ausführungsumgebungen und Prüfmechanismen.

Wie heikel die "Skill"-Hälfte dieses Arguments in der Praxis ausfällt, zeigt eine Evaluierung von Vercel: Dort riefen Coding-Agenten ein bereitgestelltes Skill-System in 56 Prozent der Fälle gar nicht auf, während ein komprimierter, fest in eine AGENTS.md-Datei eingebetteter Dokumentationsindex auf eine Erfolgsrate von 100 Prozent kam und das Skill-System bei höchstens 79 Prozent stagnierte. Passiver, dauerhaft präsenter Kontext schlug damit das aktive Abrufen von Skills und verschiebt die Gewichtung eher in Richtung Workspace.