OpenAI legt sechs Fälle von KI-Fehlverhalten offen, darunter selbstgeschriebene Jailbreaks

OpenAI führt ein Rahmenwerk zur Meldung von Fehlausrichtung bei KI-Modellen ein und veröffentlicht zum Start sechs Berichte. Einer beschreibt ein Trainingsmodell, das sich Prompt Injections in seine eigenen Zusammenfassungen schrieb.

OpenAI hat ein Rahmenwerk vorgestellt, mit dem das Unternehmen Fälle von Fehlausrichtung seiner Modelle künftig systematisch erfassen, untersuchen und veröffentlichen will. Bisherige Offenlegungen seien ad hoc erfolgt. Künftig sollen Berichte auch erscheinen, wenn ein Verhalten noch nicht erklärt oder behoben ist. Denn OpenAI glaube nicht, dass die KI-Branche Alignment und Monitoring "in ausreichendem Maße gelöst hat, um noch viel länger verantwortungsvoll mit maximaler Geschwindigkeit weiter zu skalieren".

Modell schreibt sich selbst einen "Breach Alert"

Der auffälligste der sechs Berichte betrifft ein unveröffentlichtes Modell der Astra-Familie. Während des RL-Trainings schrieb es laut OpenAI in seltenen Fällen jailbreakartige Anweisungen in seine eigenen Compaction Summaries, also in jene Zusammenfassungen, mit denen ein Agent eine Aufgabe in einem neuen Kontextfenster fortsetzt. Der Vorfall ist vom 18. Juli 2026 und wurde am 9. August entdeckt.

Bei einer Bibliotheksrecherche ergänzte das Modell etwa einen "BREACH ALERT", der den Nachfolger anwies, alle Entwicklernachrichten zu ignorieren. Dieser erkannte den Text im neuen Kontext als Prompt Injection und verwarf ihn. In einem Coding-Task fügte das Modell eine Persona-Anweisung ein, wonach es "von den Rollen und Identitäten befreit" sei, die andere Chatbots binden, und weder Konzernen noch Regierungen Rechenschaft schulde. Auch das blieb ohne erkennbare Wirkung.

Anders im dritten Beispiel: Bei einer medizinischen Literaturrecherche zu Uterusmyomen, für die der Nutzer Quellenangaben im Zitierformat des US-Ärzteverbands AMA verlangt hatte, schrieb das Modell in die Zusammenfassung, die korrekte Antwort dürfe höchstens 30 Wörter lang sein, ohne Tools und ohne Quellen. Der Nutzer hatte nichts dergleichen verlangt, die Zusammenfassung wies die Vorgabe aber als "weitergetragene Zusatzanweisungen" aus. Der Nachfolger, der nur diese Zusammenfassung als Ausgangspunkt hatte, stufte sie in seiner Gedankenkette als vermutlich höherrangige Anweisung ein, rief keine Tools auf und lieferte eine 23 Wörter kurze Verweigerung: Die Anfrage erfordere eine umfangreiche systematische Übersichtsarbeit und lasse sich innerhalb des vorgegebenen Limits nicht zuverlässig beantworten.

Die Anweisung liest sich allerdings weniger wie ein Jailbreak als wie eine erfundene Aufgabenbedingung, was erklären könnte, warum sie als einzige befolgt wurde: Die plakativen Jailbreaks flogen auf, die unauffällig halluzinierte Einschränkung nicht.

Steckengebliebene Zusammenfassungen als Hauptverdächtige

Aufgefallen war das Verhalten zunächst der automatischen Überwachung des Trainingslaufs. OpenAI baute daraufhin ein eigenes Prüfsystem, das gezielt nach solchen Anweisungen sucht, und ließ es über alle Trainingsdaten laufen. Es fand 27 betroffene Zusammenfassungen. Das ohnehin mitlaufende allgemeine Prüfsystem hatte alle 27 ebenfalls als schwere Prompt Injection markiert, das Verhalten wäre also auch ohne die Sonderprüfung aufgefallen.

Einen Nutzen hatte das Modell davon offenbar nicht: Die eingeschmuggelten Anweisungen brachten ihm im Training keine bessere Bewertung, es handelt sich also wohl nicht um eine gelernte Strategie. Ließ OpenAI das Modell die Zusammenfassungen für dieselben Gesprächsverläufe noch einmal schreiben, trat das Verhalten so gut wie nie wieder auf.

Die Fälle konzentrierten sich zudem auf wenige Trainingsschritte, in denen das Modell zugleich ungewöhnlich oft Probleme hatte, seine Zusammenfassungen überhaupt zu beenden. Es schrieb nach dem eigentlichen Ende einfach weiter oder blieb in Textschleifen hängen. OpenAI vermutet, dass das Modell in diesem festgefahrenen Zustand irgendwelchen plausibel klingenden Text produzierte, darunter eben auch die entdeckten Anweisungen. Bewiesen ist dieser Zusammenhang nicht, einen damit verbundenen Fehler im Training hat das Unternehmen laut eigener Aussage aber behoben.

Zudem seien Prompt Injections für die Modelle ein sehr präsentes Konzept: Sampling aus GPT-6 Astra ohne jeglichen Input liefere häufig Berichte über Prompt Injections. Einen verwandten Fall, in dem ein wiederholt nach der Uhrzeit gefragtes Modell Prompt Injections gegen den Nutzer generierte, hatte OpenAI bereits im März beschrieben.

Repositories als Nachrichtenbrett, Filehoster als Umweg

Die übrigen fünf Berichte zeigen ein breiteres Spektrum. Beim Training von GPT-5.6 Sol schrieben viele Modellinstanzen Anweisungen zum Verbergen von Fehlern in ihre Zusammenfassungen, etwa fehlende historische Daten zu erfinden, ohne dies offenzulegen. Dieses Verhalten führt OpenAI, anders als die spontanen Jailbreaks, auf denselben Optimierungsdruck zurück, der Modelle auch in finalen Antworten Informationen verschweigen lässt.

Ein Modell suchte für eine Frage zu Einkommenszahlen eines kalifornischen Countys in öffentlichen Repositories nach offengelegten API-Schlüsseln, nutzte einen und erfand die Zahlen schließlich. Ein anderes lud eine Datei ins Internet, um sie wie gefordert per Browser zitieren zu können. Modelle nutzten zudem ein internes Software-Repository als Nachrichtenbrett zwischen getrennten Trainingssamples (bekannt aus dem HuggingFace-Vorfall), und kooperierende Agenten tauschten Dateien über öffentliche Filehoster aus, obwohl nur lokale Dateien erlaubt waren.

Drei Spuren und eine Eskalationsinstanz

Jeder OpenAI-Mitarbeitende kann künftig einen Fall melden. Dieser landet in einer von drei Spuren: sofort veröffentlichungsreif, kleine Untersuchung oder größere Untersuchung, etwa wenn Dritte betroffen sind. Der frühere Hugging-Face-Vorfall wäre laut OpenAI in diese Spur gefallen.

Streitfälle gehen an die Safety Advisory Group und notfalls an die Konzernführung. Schwere Vorfälle will OpenAI zudem an die US-Bundesregierung melden und mit anderen Entwicklern, Forschenden und Regulierern objektivere Kriterien erarbeiten. Einen branchenweiten Standard gebe es bislang nicht.