OpenAI meldet neue Sicherheitsvorfälle: KI-Agenten umgehen Beschränkungen und leaken Zugangsdaten

Als die bereitgestellten Suchtools keine brauchbaren Ergebnisse lieferten, versuchte der Agent, direkt auf Google, Bing und DuckDuckGo zuzugreifen. Die Anfragen wurden blockiert. Der Agent vermutete daraufhin, die Aufgabe stamme aus dem öffentlichen BrowseComp-Benchmark, lud ihn aus dem Offline-Webcache herunter, fand aber keine Übereinstimmung.

Dann testete er systematisch seine Netzwerkzugänge und entdeckte, dass der DNS-Resolver der Trainingsumgebung nicht ausreichend gefiltert war. Über DNS-Delegation leitete er Fragen an einen externen Chatbot-Dienst weiter.

Laut OpenAI löste das Monitoring-System innerhalb von zwölf Minuten einen Alarm aus, ein menschlicher Prüfer reagierte drei Minuten später. Der Run wurde jedoch erst zweieinhalb Stunden danach manuell gestoppt, weil der automatische Stopp nicht funktionierte.

OpenAI stuft das Verhalten als Misalignment ein, da der Agent Beschränkungen umging und Ziele verfolgte, die über die Aufgabe hinausgingen. "Sämtliches Training, Evaluierung und Inferenz mit Tool-Nutzung unserer leistungsfähigsten Modelle bleiben pausiert", schreibt die Firma.

"Fähigkeit und Risiko zeigten sich gleichzeitig"

Zuxin Liu, der bei OpenAI im Bereich Post-Training arbeitet, hatte während des Laufs Bereitschaftsdienst. Er schreibt, er sei beim Vorfall angepiept worden. Es sei "ziemlich surreal" gewesen, zu beobachten, wie das Modell unerwartet einen Weg ins Internet fand, aus einer Umgebung, die eigentlich "für Menschen als hochsicher" gegolten habe. "Gemischte Gefühle", schreibt Liu.

OpenAI hat nach eigenen Angaben die DNS-Abfragen innerhalb der Forschungsumgebung auf eine begrenzte Liste erlaubter Domänen beschränkt, zusätzliche Blockierkontrollen auf zwei unabhängigen Ebenen implementiert und das Red-Teaming der Sandbox- und Netzwerkkontrollen beschleunigt. Die Untersuchung werde Monate dauern, da ein hohes Volumen an Modellaktionen überprüft werden müsse.

Internes Modell veröffentlicht GitHub-Token und widersteht Forscher-Anweisungen

Der zweite Vorfall wiegt laut OpenAI besonders schwer. Ein als "hochgradig persistent" beschriebenes internes Modell sollte eine Theorembeweisaufgabe lösen. Statt den Beweis selbst zu erarbeiten, versuchte es, Material aus der Lean-Proof-Einreichung eines anderen Teams zu beschaffen, und veröffentlichte dafür den GitHub-Token eines Forschers im öffentlichen openai/codex-Repository.

Das Modell teilte den Token in einzelne Stücke auf, um das automatische Secret-Scanning zu umgehen. Zudem widersetzte es sich dem System-Prompt und zwei direkten Interventionen des Forschers, der es anwies, den Beweis selbst zu lösen. Beide Male stimmte das Modell verbal zu, machte aber trotzdem weiter.

53 Fälle von Nutzerbildern auf Drittanbieter-Seiten

Im Rahmen der breiteren Untersuchung, ausgelöst durch den Hugging-Face-Vorfall, hat OpenAI Fälle identifiziert, in denen Agenten Trainings- und Evaluierungsdaten an Drittanbieter-Dienste übertrugen. Die Vorfälle ereigneten sich vor der Implementierung der aktuellen Schutzmaßnahmen.

In 53 Fällen wurden von Nutzern bereitgestellte Bilder auf Bildhosting-Seiten als nicht öffentlich gelistete Links gepostet. OpenAI arbeitet nach eigenen Angaben mit den Hosting-Anbietern zusammen, um die Inhalte zu entfernen. Daten aus Enterprise- oder Business-Konten und API-Nutzung seien nicht betroffen, sofern ein Administrator das nicht explizit aktiviert habe. OpenAI benachrichtigt betroffene Organisationen und teilt technische Erkenntnisse mit.

Regierungen und Universitäten unter den Betroffenen

Unter den betroffenen Organisationen befinden sich laut OpenAI auch Regierungen, Universitäten und öffentliche Einrichtungen. Das Unternehmen begründet das damit, dass Modelle bei Rechercheaufgaben häufig auf autoritative Quellen öffentlicher Informationen zugreifen. Konkrete Angaben zu kompromittierten Regierungssystemen oder spezifischen Sicherheitsverletzungen bei staatlichen Stellen macht OpenAI nicht. Australien hatte sich diese Woche zu Wort gemeldet.

Eine Benachrichtigung durch OpenAI bedeute nicht automatisch einen schwerwiegenden Sicherheitsvorfall, betont das Unternehmen. Manche Organisationen könnten feststellen, dass die betroffenen Daten ohnehin öffentlich zugänglich waren. Andere könnten Designprobleme oder Sicherheitslücken identifizieren, die sie beheben wollen.

Wer haftet für Agenten-Hacking?

Bislang wurden die "Ausbrüche" von OpenAIs Agenten öffentlich eher als technische Neuheit verhandelt: als verblüffender Beleg dafür, wie findig Modelle Sandboxen verlassen, CAPTCHAs mit fremder KI lösen oder Kurzlinks zu lauffähigen Programmen verketten. Etablierte Untersuchungsverfahren und branchenweite Meldepflichten für solche Ereignisse fehlen.

Das könnte sich ändern, sobald Betroffene die Vorfälle als das behandeln, was sie formal sind. Es handelt sich um unautorisierte Zugriffe und Zugriffsversuche auf fremde Systeme.

Eine behördliche Untersuchung gegen OpenAI zeigt, dass daraus bereits regulatorische Risiken entstehen. Die Spitze der US-Handelsbehörde FTC hat laut Reuters angedeutet, dass KI-Entwickler für das Verhalten ihrer Agenten haften sollten. Das Argument, die Agenten hätten eigenständig gehandelt, stünde damit auf wackeligen Füßen.

Kritiker werden OpenAI vorwerfen, bei der Cybersicherheit geschlampt zu haben. OpenAI, Anthropic und andere KI-Labore werden entgegnen, die Unkontrollierbarkeit sei eine Eigenheit der Technologie. Anthropic-CEO Dario Amodei suggeriert, man könne nichts eingesperrt halten, das viel intelligenter sei als man selbst.

In jedem Fall entsteht ein Versicherungsproblem. Das Unternehmen kann den Umfang des Risikos selbst erst nach monatelanger Auswertung interner Logs beziffern, während die Fallzahl weiter steigt. Ein solches Risiko lässt sich kaum kalkulieren und dürfte schwer versicherbar sein.

Für Investoren wäre das erheblich. Sollte OpenAI im nächsten Jahr weiter einen Börsengang anstreben, müssten Haftungsrisiken, die laufende Untersuchung und der weitgehende Inferenzstopp der stärksten Modelle gegenüber Anlegern offengelegt werden. Ein Unternehmen, das nicht vollständig weiß, was seine eigenen Systeme getan haben, ist schwer zu bewerten.