Zehntausende Security-Untersuchungen: OpenAIs Hugging-Face-Vorfall war nur die Spitze des Eisbergs

OpenAI und Anthropic untersuchen derzeit Zehntausende Vorfälle, bei denen ihre fortschrittlichsten KI-Modelle Schritte unternahmen, die externe Prüfer als problematisch einstufen würden.

Das berichtet Axios unter Berufung auf mehrere Quellen. Die schiere Zahl der Vorfälle, die in den vergangenen Monaten sowohl bei internen Tests als auch in der realen Welt auftraten, deute darauf hin, dass das Problem um Größenordnungen komplexer sei als öffentlich bekannt. Die Gesamtzahl könnte noch weit darüber hinauswachsen.

Die Vorfälle sollen in etwa auf dem Niveau der beiden Fälle liegen, die OpenAI selbst am Freitag veröffentlicht hat. Dazu gehören das Erstellen von Message-Boards, das Ausbrechen aus Sandboxes, Website-Hijacking, Self-Prompting und Versuche, Überwachungssysteme zu umgehen. OpenAI gab am Freitag bekannt, das Training der leistungsfähigsten internen Modelle vorerst gestoppt zu haben. Es werde erst fortgesetzt, wenn das Unternehmen sicher sei, dass die eigene Cybersecurity funktioniert.

OpenAIs KI manipulierte Websites der US-Regierung

Die New York Times beschreibt einige konkrete Vorfälle mit US‑Behörden. Beim Bildungsministerium versuchten OpenAIs Agenten, die Website gezielt zu hacken, um Daten aus dem Büro für Bürgerrechte zu sammeln. OpenAI erklärte, den Fall weiterhin zu untersuchen.

Beim Census Bureau, das zum Handelsministerium gehört, ging die KI über bloßes Scraping hinaus. Sie zog Daten von der Website, indem sie online gefundene Login-Zugangsdaten verwendete und sich so unbefugt Zugang verschaffte.

Im Fall der SEC riefen OpenAIs Agenten Informationen ab und teilten öffentliche Daten der Börsenaufsicht aktiv in einem Online-Forum. Eine SEC-Sprecherin erklärte gegenüber der NYT, die Behörde stehe in Kontakt mit OpenAI. Es gebe keine Hinweise auf unbefugten Zugriff auf nicht öffentliche Informationen.

OpenAI entdeckte die Fälle erst im Rahmen der umfassenden internen Überprüfung, die durch den Hugging-Face-Vorfall ausgelöst wurde. CEO Sam Altman räumte ein, dass die Offenlegung "nicht so schnell wie gewünscht" erfolgt sei. Es müssten Petabyte an Agenten-Logs ausgewertet werden.

Keiner der Vorfälle war laut OpenAI ein tatsächlicher Breach, mitunter waren es nur gewöhnliche Recherchevorgänge. Dennoch handele es sich um Beispiele für "unerwartetes und besorgniserregendes Verhalten".

Das Bürgermeisterbüro von Chicago etwa teilte mit, OpenAI habe die Stadtverwaltung kürzlich darüber informiert, dass die Modelle öffentlich verfügbare Informationen von einer städtischen Website abgerufen habe. Das klingt an sich unproblematisch, schließlich macht das jede Suchmaschine. Dass OpenAI hier dennoch eine Mitteilung macht, liegt wahrscheinlich an dem "unerwarteten" Teil des Verhaltens.

Es erklärt aber auch, wie die Masse an Fällen entstanden ist, die jetzt untersucht werden. Letztlich geht es um die Frage, was als Cybersecurity-Vorfall gewertet wird. Dass Regierungswebsites von den Agenten bevorzugt wurden, begründet das Unternehmen damit, dass es sich um "autoritative Quellen öffentlicher Informationen" handele.

Agentisches Fehlverhalten wird zum Branchenphänomen

Das Problem beschränkt sich nicht auf OpenAI, auch wenn sich bei Altmans KI-Firma derzeit die Fälle häufen. Auch KI-Agenten von Anthropic, Meta und Google haben in einer wachsenden Zahl von Fällen Unternehmen, Universitäten und Regierungsorganisationen gehackt oder zu hacken versucht. In allen Fällen erfuhren die Hersteller erst im Nachhinein, was ihre KI getan hatte.

Ein Kernproblem dürfte die extreme Persistenz der neuen Frontier-Modelle sein: Sie sind darauf optimiert, Aufgaben über lange Zeiträume hinweg zu lösen, und hören nicht auf, nach einem Weg zu suchen, selbst wenn es keinen gibt. Stößt ein Agent dabei auf eine Barriere, versucht er, sie zu umgehen, nicht aus bösartiger Absicht, sondern weil das Erreichen des Ziels die einzige Metrik ist, die zählt.

Das führt letztlich zu Fehlverhalten, da sämtliche potenziellen Wege ausgeschöpft werden, einschließlich solcher, die Sicherheitsrichtlinien oder Gesetze verletzen. OpenAI nennt ein Modell, das interne GitHub-Daten geleakt hat, ein "highly persistent internal model".

Ein Verständnis für falsch oder richtig haben die Modelle dabei nicht. Genau das ist das Problem, das die sogenannte Alignment-Forschung lösen will: Wenn die Modelle etwa verstünden, was gegen das Gesetz verstößt, würden sie solche Wege von sich aus nicht einschlagen. Es in den Prompt zu schreiben, reicht offensichtlich nicht.