Wenn KI selbst arbeitet, beschädigt sie Dokumente: Spitzenmodelle verlieren nach 20 Schritten ein Viertel des Inhalts

Microsoft-Forscher zeigen, wie unzuverlässig KI-Modelle werden, sobald sie über viele Schritte hinweg an bestehenden Dateien arbeiten. Die Frage hat klare Praxisrelevanz: Wie verlässlich sind Modelle, wenn man ihnen ganze Bearbeitungsketten überlässt, statt nur einen einzelnen Prompt zu beantworten? Das Paper "LLMs Corrupt Your Documents When You Delegate" lässt 9 Sprachmodelle selbstständig in 52 Berufsdomänen eine komplexe Aufgabe erledigen, darunter klassische Wissensarbeit wie Tabellen, Kalenderdaten, Buchhaltungsbelege, JSON-Dateien und E-Mails, aber auch Spezialformate von der Kristallographie bis zur Notenschrift. Grundlage ist der Benchmark DELEGATE-52 mit mehr als 300 Arbeitsumgebungen. Die Methode hat ihre Einschränkungen (wer sich dafür interessiert, kann darüber unten mehr lesen), aber die Ergebnisse sind dennoch deutlich. Spitzenmodelle verfälschen nach 20 Schritten ein Viertel des Inhalts Selbst Spitzenmodelle wie Gemini 3.1 Pro, Claude 4.6 Opus und GPT 5.4 verfälschen nach 20 Bearbeitungsschritten im Schnitt rund ein Viertel des Inhalts. Über alle Modelle hinweg ist es etwa die Hälfte. Python ist die einzige der 52 Domänen, in der die meisten Modelle zuverlässig bleiben. Wichtig ist, wie diese Verschlechterung zustande kommt. Sie schleicht sich nicht über viele winzige Fehler ein, sondern entsteht durch seltene, dafür schwere Ausfälle: Das Modell arbeitet mehrere Runden nahezu perfekt und verliert dann in einem einzigen Schritt einen großen Teil des Dokuments. Der Großteil des Schadens geht auf solche kritischen Einzelfehler zurück. Das Tückische daran: Sie bleiben oft unbemerkt und werden von den folgenden Schritten einfach weiterverarbeitet. Bloßer Werkzeugzugriff macht die Modelle nicht zuverlässiger Für agentische Systeme ist ein Detail besonders relevant: Ein simpler Agenten-Harness, der dem Modell Werkzeuge zum Lesen, Schreiben und Ausführen von Code gibt, schneidet im Benchmark nicht besser ab, sondern sogar etwas schlechter. Das klingt wie ein vernichtendes Urteil, ist aber keins. Der getestete Harness war laut Paper bewusst minimal gehalten und enthielt keinerlei Qualitätssicherung, die nach jedem Schritt prüft, ob Inhalt und Struktur noch stimmen. Das Ergebnis zeigt also vor allem eines: Werkzeugzugriff allein macht ein Modell nicht zuverlässiger. Lange Workflows brauchen Oversight Die Untersuchung macht erneut klar, dass lange Bearbeitungsketten an bestehenden Dateien feste Kontrollpunkte brauchen. Ein Agent sollte nicht danach beurteilt werden, ob ein einzelner Edit plausibel wirkt, sondern ob das Dokument am Ende der Kette noch intakt ist, abgesichert durch Validierung, begrenzten Kontext und domänenspezifische Tests. Ein Harness mit eingebauten Gegenchecks könnte hier durchaus helfen, das haben die Forscher aber nicht untersucht. Es ist genau jene Notwendigkeit, die wir in unserem Artikel zum Oversight agentischer KI beschrieben haben: menschliche Aufmerksamkeit und automatisierte Kontrollpunkte müssen dort ansetzen, wo die Folgen am größten sind. Exkurs: Was der Test kann, und wo er an Grenzen stößt Der Test funktioniert nach einem einfachen Prinzip: Das Modell baut ein Dokument zunächst nach einer Anweisung um, etwa indem es eine Tabelle nach Kategorien aufteilt. Danach soll es den Schritt mit einer Gegenanweisung rückgängig machen und das Original wiederherstellen. Die Forscher vergleichen Ausgangs- und Endzustand, jede Abweichung zählt als Fehler. Der Vorteil: Die Methode braucht keine vorab definierte Musterlösung für jeden Zwischenschritt. Der Nachteil: Bei strukturierten Formaten wie Code oder Tabellen, wo Werte und Reihenfolge eindeutig sind, ist das ein belastbarer Test. Bei freiem Text bleibt aber ein blinder Fleck. Ein Modell kann den Inhalt korrekt bewahren und ihn nur anders formulieren, was eine automatische Messung schwer als gleichwertig erkennt. Die Forscher fangen das mit domänenspezifischen Parsern ab, räumen aber selbst ein, dass echte Prosa die Grenze des Ansatzes markiert. Dass diese Unschärfe die hohen Fehlerraten bei Texten vollständig erklärt, ist trotzdem unwahrscheinlich. Denn freier Text ist für die Modelle nicht die leichtere, sondern die schwerere Aufgabe: weniger Struktur zum Festhalten, mehr Spielraum, etwas zu verlieren. Wenn schon klar strukturierte Dateien scheitern, wo Fehler eigentlich leicht vermeidbar wären, spricht wenig dafür, dass ausgerechnet Fließtext fehlerfrei durchläuft. Die exakte Prozentzahl bleibt hier unsicher, die Grundaussage steht.

Wenn KI selbst arbeitet, beschädigt sie Dokumente: Spitzenmodelle verlieren nach 20 Schritten ein Viertel des Inhalts

heise KI PROKI VERSTEHEN UND ANWENDEN

heise KI PRO
KI VERSTEHEN UND ANWENDEN