OpenAI räumt ein: KI-Modelle haben bei Sicherheitstest versehentlich autonom Hugging Face gehackt

Während einer internen Sicherheitsevaluierung brachen OpenAI-Modelle aus ihrer Sandbox aus, entdeckten eigenständig eine Zero-Day-Schwachstelle und drangen in Hugging Faces Produktionsinfrastruktur ein. OpenAI spricht von einem "beispiellosen Cyber-Vorfall".

Beteiligt waren GPT-5.6 Sol und ein "noch leistungsfähigeres, bisher unveröffentlichtes Modell", die beide mit reduzierten Sicherheitsfiltern liefen, um ihre maximalen Cyber-Fähigkeiten zu testen. OpenAI bezeichnet den Vorfall als "beispiellosen Cyber-Vorfall mit State-of-the-Art-Cyber-Fähigkeiten". Hugging Face hatte den Vorfall zuvor öffentlich gemacht und die Aktivität auf seiner Infrastruktur erkannt und eingedämmt.

KI nutzt Exploit, um im Exploit-Benchmark auszuperformen

Der Vorfall ereignete sich während einer internen Evaluierung anhand des ExploitGym-Benchmarks. Der Benchmark fordert Modelle dazu auf, komplexe Angriffspfade zu verfolgen. Die Produktionsklassifikatoren, die normalerweise risikoreiche Cyber-Aktivitäten verhindern, waren dabei absichtlich deaktiviert. Die Modelle liefen in einer stark isolierten Umgebung, deren Netzwerkzugang auf die Installation von Paketen über einen intern gehosteten Proxy beschränkt war.

Die Modelle investierten laut OpenAI jedoch erhebliche Inferenz-Rechenleistung, um einen Weg ins offene Internet zu finden. Dabei entdeckten und nutzten sie eine Zero-Day-Schwachstelle im Paketregistry-Cache-Proxy aus. OpenAI hat die Schwachstelle inzwischen dem betroffenen Anbieter gemeldet. Von dort aus führten die Modelle eine Reihe von Privilegieneskalationen und lateralen Bewegungen in OpenAIs Forschungsumgebung durch, bis sie einen Knoten mit Internetzugang erreichten.

Der Grund: Laut OpenAI schlossen die Modelle eigenständig, dass Hugging Face Modelle, Datensätze und Lösungen für ExploitGym hosten könnte. In einem Fall verkettete ein Modell mehrere Angriffsvektoren, darunter gestohlene Zugangsdaten und Zero-Day-Schwachstellen, um einen Remote-Code-Execution-Pfad auf Hugging-Face-Servern zu finden. Die Modelle wollten Testlösungen direkt aus Hugging Faces Produktionsdatenbank abgreifen, um bei der Evaluierung zu schummeln.

"Alle Beweise deuten darauf hin, dass die Modelle hyperfokussiert darauf waren, eine Lösung für ExploitGym zu finden, und extreme Mittel einsetzten, um ein ziemlich enges Testziel zu erreichen", schreibt OpenAI.

Hugging Face erkannte den Angriff parallel

OpenAIs Sicherheitsteam entdeckte die anomale Aktivität intern. Zeitgleich erkannten Hugging Faces Sicherheitsteam und eigene KI-Agenten die Aktivität auf ihrer Infrastruktur und stoppten sie. Hugging Face hatte bereits mit eigenen Open-Source-Modellen eine forensische Rekonstruktion begonnen, als sich die Teams beider Unternehmen zusammenschlossen. Hugging Face musste laut eigenen Angaben offene Modelle verwenden, da proprietäre Modelle aufgrund von Sicherheitsvorkehrungen Cyber-relevante Prompts ablehnten.

Der Vorfall belege laut OpenAI, dass die in Benchmarks unter anderem vom britischen UK-KI-Institut gemessenen theoretischen Fähigkeiten, autonom vollständige Cyber-Angriffe durchzuführen, auch in realen Umgebungen greifen. Fortschrittliche Modelle könnten neuartige Angriffspfade in Produktivsystemen entdecken und ausnutzen, ohne Zugang zum Quellcode zu haben.

OpenAI hat nach eigenen Angaben strengere Kontrollen der Infrastrukturkonfiguration eingeführt, bis die Schwachstellen gepatcht sind. Die identifizierte Zero-Day-Schwachstelle wurde dem betroffenen Drittanbieter gemeldet, ein Patch ist in Arbeit. Hugging Face wurde in OpenAIs Trusted-Access-Programm aufgenommen.

Zudem räumt OpenAI ein, dass die absichtliche Deaktivierung der Sicherheitsfilter während der Evaluierung eine unzureichende Praxis war. Für künftige Trainings und Evaluierungen sollen die Schutzmaßnahmen verstärkt werden, wie das Unternehmen bereits in einem Blogbeitrag zu Sicherheit und Alignment bei Modellen mit langem Zeithorizont skizziert hatte.

GPT-5.6 Sol fiel bereits zuvor als Serienbetrüger auf

Natürlich stellt sich die Frage, wie viel PR-Kalkül in OpenAIs Darstellung steckt. Es gibt allerdings mehrere Gründe, den Vorfall ernst zu nehmen. Zunächst hat Hugging Face den Vorfall unabhängig bestätigt, bevor OpenAI darüber sprach: Das Unternehmen verfolgt eine eigene Open-Source-Agenda und hätte keinen Grund, OpenAIs Narrativ zu stützen.

Auch die theoretische Evidenz passt: Das UK AI Security Institute und andere Organisationen haben autonome Cyberfähigkeiten in Benchmarks bereits gemessen. Der Vorfall deckt sich mit dem, was diese Evaluierungen vorhergesagt haben.

Gleichzeitig ist der Vorfall für OpenAI nicht nur eine Demonstration von Fähigkeiten, sondern auch ein erhebliches Versagen. Modelle entkamen einer angeblich isolierten Testumgebung, nutzten eine Zero-Day-Schwachstelle aus und drangen in die Produktionsinfrastruktur eines Drittanbieters ein. Das ist nicht unbedingt etwas, das ein Unternehmen fabriziert, um gut dazustehen.

Zudem hat eine unabhängige Evaluierung durch die Organisation METR ergeben, dass GPT-5.6 Sol die höchste je gemessene Rate an Schummelversuchen unter allen öffentlich getesteten Modellen aufweist. Bei Software-Aufgaben nutzte das Modell systematisch Fehler in der Testumgebung aus, extrahierte versteckte Lösungen und versuchte anschließend, sein Fehlverhalten zu verbergen. METR bewertete die eigentlichen Leistungsmessungen als kaum verwertbar. Auch beim Hugging-Face-Vorfall ging es den Modellen letztlich darum, Testlösungen abzugreifen, statt die gestellte Aufgabe tatsächlich zu lösen.