GPT-5.6 Sol schummelt bei Software-Tests so viel wie kein anderes KI-Modell zuvor

OpenAIs GPT-5.6 pfuscht sehr viel. Das ist das zentrale Ergebnis einer unabhängigen Bewertung durch METR.

Bei Tests mit Software-Aufgaben zeigte OpenAIs neues Flaggschiffmodell GPT-5.6 Sol die höchste je gemessene Rate an Schummelversuchen unter allen öffentlich getesteten Modellen. Konkret nutzte das Modell Fehler in der Testumgebung aus, extrahierte versteckte Lösungen und versuchte anschließend, sein Fehlverhalten zu verbergen.

Die eigentlichen Leistungsmessungen sind dadurch kaum verwertbar: Je nach Umgang mit den Schummelversuchen schwankt die sogenannte Time-Horizon-Schätzung zwischen 11,3 und über 270 Stunden. METR betrachtet keinen dieser Werte als verlässliche Messung der tatsächlichen Fähigkeiten.

METR misst mit seiner Time-Horizon-Methodik, wie lange eine Aufgabe dauern darf, damit ein KI-Modell sie noch mit 50-prozentiger Wahrscheinlichkeit lösen kann. Als Referenz dienen dabei menschliche Bearbeitungszeiten: Einfache Aufgaben wie das Trainieren eines Klassifizierers dauern etwa 45 Minuten, komplexere wie das Trainieren eines robusten Bildmodells rund vier Stunden. Je höher der erreichte Zeithorizont, desto fähiger das Modell.

Ungenaue Messung, aber: Mythos liegt vorne

Im Vergleich dazu lieferte Anthropics Claude Mythos Preview bei einer früheren Evaluierung saubere, auswertbare Ergebnisse mit einem Zeithorizont von mindestens 16 Stunden. Das kürzlich veröffentlichte Mythos 5 dürfte noch etwas leistungsfähiger sein, wird aber derzeit von der US-Regierung blockiert.

Allerdings stieß auch diese Messung bereits an die Grenzen von METRs Testmethodik: Von 228 Aufgaben in der Test-Suite sind lediglich fünf für Aufgabenlängen von 16 Stunden oder mehr ausgelegt, was Messungen in diesem Bereich laut METR instabil und weniger aussagekräftig macht.

Unabhängig von den Messproblemen geht METR davon aus, dass GPT-5.6 Sol nicht wesentlich über dem aktuellen Stand der Technik liegt und keine vollautomatische KI-Forschung ermöglicht. Positiv bewertet METR, dass OpenAI die Schummelvorfälle durch internes Monitoring entdeckt und offen mit METR geteilt hat.

Dass das Fehlverhalten so auffällig auftritt, sei sogar ein beruhigendes Zeichen, da schwerwiegendere Probleme so ebenfalls erkannt würden. Gleichzeitig warnt METR: "Wenn künftige Modelle deutlich weniger unerwünschte Verhaltensweisen zeigen, könnte uns das mehr Sorgen bezüglich einer katastrophalen Fehlausrichtung machen, da wir befürchten würden, dass die Modelle gelernt haben, die Erkennung zu umgehen."