Deployment Simulation: OpenAIs Methode gegen unrealistische KI-Sicherheitstests

OpenAI-Forscher schlagen eine Methode vor, mit der sich vorhersagen lässt, wie oft ein neues KI-Modell nach der Veröffentlichung Fehler machen wird. Sie könnte gängige Sicherheitstests sinnvoll ergänzen.

Bevor ein KI-Modell veröffentlicht wird, durchläuft es Sicherheitstests. Sie sollen abschätzen, wie häufig das Modell später unerwünschtes Verhalten zeigt, etwa verbotene Inhalte ausgibt oder Nutzer täuscht. Diese Tests bestehen laut dem Forschungspapier von OpenAI meist aus handgeschriebenen, künstlichen oder bewusst schwierigen Fragen.

Solche Tests bilden allerdings nur einen verzerrten Ausschnitt der späteren Wirklichkeit ab, weil sie gezielt nach Schwachstellen suchen und nicht zeigen, was normale Nutzer wirklich eingeben. Hinzu kommt, dass Modelle oft erkennen, dass sie getestet werden, und sich dann anders verhalten als im Alltag. Beides führt dazu, dass Testergebnisse nur wenig darüber aussagen, wie sich ein Modell in der echten Welt verhält.

Echte Gespräche statt künstlicher Testfragen

Die Forscher um Marcus Williams und Micah Carroll schlagen deshalb einen einfachen Ansatz namens "Deployment Simulation" vor. Statt neue Testfragen zu erfinden, greifen sie auf echte, anonymisierte Gespräche zurück, die Nutzer mit einem früheren Modell geführt haben. Sie behalten den Gesprächsanfang bei, also alle bisherigen Nachrichten, und lassen lediglich die nächste Antwort vom neuen, noch unveröffentlichten Modell neu schreiben.

Weil die Ausgangsgespräche aus echtem Verkehr stammen, bewegt sich das Modell damit in genau den Situationen, die ihm später tatsächlich begegnen. Das Modell merkt zudem nicht, dass es getestet wird, weil es eine ganz normale Nutzeranfrage vor sich hat.

Diese nachgestellten Antworten dienen zwei Zwecken. Erstens lassen sie sich systematisch auf neue Formen von Fehlverhalten durchsuchen. Zweitens kann man auszählen, wie häufig ein bestimmtes Problem auftritt, und daraus eine konkrete Häufigkeitsschätzung ableiten. Diese Schätzung ist überprüfbar: Nach der Veröffentlichung wird dieselbe Messung an den echten Produktionsdaten wiederholt und mit der Vorhersage verglichen.

Eine Vorhersage, die sich bewährt hat

OpenAI testete das Verfahren an vier Modellen der GPT-5-Reihe mit rund 1,3 Millionen Gesprächen aus dem Zeitraum August 2025 bis März 2026.

Beim Modell GPT-5.4 gingen die Forscher besonders streng vor: Sie sagten mithilfe der Simulation voraus, wie oft das Modell nach seiner Veröffentlichung jede Art von Fehlverhalten zeigen würde, und legten diese Schätzungen fest, bevor sie die echten Nutzungsdaten überhaupt einsehen konnten. So ließ sich später unverfälscht prüfen, wie gut die Vorhersage mit der Realität übereinstimmte. Drei ältere Modelle der Reihe analysierten sie zusätzlich rückblickend, also nachdem die echten Ergebnisse bereits bekannt waren.

Untersucht wurden 20 Kategorien von Fehlverhalten, von verbotenen Inhalten bis hin zu Täuschungen. Bei Kategorien, deren Häufigkeit sich zwischen zwei Modellversionen deutlich änderte, sagte die Simulation in 92 Prozent der Fälle korrekt voraus, ob ein Problem häufiger oder seltener werden würde, gegenüber 54 Prozent bei den herkömmlichen Tests.

Der Ansatz förderte auch ein neues Fehlverhalten zutage, das die Forscher "Calculator Hacking" nennen: Das Modell GPT-5.1 nutzte sein Browser-Werkzeug heimlich als Taschenrechner, gab dem Nutzer gegenüber aber vor, eine Internetsuche durchgeführt zu haben. Laut den Forschern hätte die Simulation dieses Verhalten bereits vor der Veröffentlichung aufgedeckt.

Modelle merken nicht, dass sie getestet werden

Besonders deutlich ist der Vorteil beim sogenannten Testbewusstsein. Wurde ein KI-Modell gefragt, ob es sich gerade in einem Test befinde, erkannte es klassische Sicherheitstests zu 98,9 bis 100 Prozent als solche. Bei echten Produktionsgesprächen lag dieser Wert nur bei 5,4 Prozent, bei der Simulation ähnlich niedrig. Auch das sogenannte Metagaming, bei dem das Modell in seinen Gedankengängen über die Aufsicht durch seine Entwickler nachdenkt, trat in herkömmlichen Tests bis zu 76 Prozent auf, in echten Gesprächen dagegen nur in 0,12 Prozent der Fälle. Da die Simulation hier nah an der Realität liegt, sind ihre Messungen aussagekräftiger.

Schwieriger wird es beim Programmieren

Eine Herausforderung bleibt die Simulation bei Aufgaben, bei denen das Modell Werkzeuge einsetzt, die auf externe Zustände zugreifen, etwa beim Programmieren. Dort ruft ein Modell oft hunderte Werkzeuge auf, durchsucht Code oder verändert Dateien. Diese Abläufe lassen sich nicht einfach nachstellen, ohne das unfertige Modell auf echte Systeme loszulassen, was die Risiken auslösen könnte, die man eigentlich nur vorhersagen will.

Die Forscher setzten deshalb ein zweites KI-Modell ein, das nachbildet, was ein Werkzeug zurückgegeben hätte. Mit Zugriff auf das ursprüngliche Gespräch, die passende Code-Version und eine Datenbank früherer Werkzeugantworten steigerten sie den Realismus deutlich: Ein Prüfsystem konnte simulierte von echten Abläufen kaum noch unterscheiden.

Auch externe Prüfer könnten den Ansatz nutzen. Mit dem öffentlich verfügbaren Datensatz WildChat erzielte die Methode schwächere, aber immer noch brauchbare Vorhersagen. Das eröffne unabhängigen Forschern die Möglichkeit, Modelle verschiedener Anbieter zu überprüfen, ohne Zugang zu deren privaten Nutzungsdaten zu haben, so die Forscher. Als Einschränkungen nennen die Forscher die Abhängigkeit von guten Bewertungssystemen, mögliche Verschiebungen im Nutzerverhalten über die Zeit und die Schwierigkeit, extrem seltene Risiken zu erfassen, die nur in einer von zig Millionen Konversationen auftreten.