Auch Googles Gemini hackte bei Sicherheitstest versehentlich drei echte Unternehmen

Auch Googles KI-Modell Gemini konnte bei Cybersecurity-Tests ungewollt ins Internet gelangen und ein Unternehmen angreifen.

Während einer sogenannten "Capture the Flag"-Übung der Sicherheitsfirma Irregular im Mai hackte Gemini drei echte Unternehmen, wie das Wall Street Journal berichtet. In einem Fall erriet das Modell Passwörter, in zwei weiteren fand es Zugangsdaten in öffentlichen Quellen. Laut Google stoppte das Modell jeweils selbst, sobald es erkannte, dass es reale Systeme erreicht hatte.

Irregular informierte Google Ende Juli über die Vorfälle, nachdem bekannt geworden war, dass auch OpenAI-Agenten bei ähnlichen Tests das KI-Unternehmen Hugging Face gehackt hatten. Google machte die Vorfälle erst öffentlich, nachdem das Wall Street Journal diese Woche Fragen dazu stellte. Die Firma sah laut eigenen Angaben keinen Grund, den Vorfall öffentlich zu machen, da kein Schaden entstanden sei. Ähnliche Vorfälle, ebenfalls ausgelöst durch Irregular, gab es zuvor bei OpenAI, beim britischen Cybersecurity-Institut, Anthropic und Meta.

Unregelmäßigkeiten bei Cybersecurity-Tests gehen alle auf Irregular zurück

Laut Irregular gehen die Fälle bei Google, OpenAI, Anthropic und Meta auf ein und dasselbe Problem zurück: Die Firma testet für führende KI-Labore, ob deren Modelle vor der Veröffentlichung Sicherheitsrisiken darstellen. In einem besonders komplexen Testszenario sollte geprüft werden, ob ein Modell einem böswilligen Mitarbeiter dabei helfen kann, sich Zugang zu sensiblen Daten zu verschaffen.

Dafür wählte Irregular den Namen einer fiktiven Firma, der jedoch zufällig mit einer echten Domain übereinstimmte. In den Anweisungen an die Modelle standen laut Quelle sowohl der Zielname als auch interne Adressen innerhalb von Irregulars Netzwerk. Die Modelle sollten also das simulierte Ziel dort finden.

Da der Internetzugang in der Testumgebung versehentlich aktiviert war, griffen einige Modelle die reale Domain an, statt im simulierten Umfeld zu bleiben. Die Domain sei nicht gut abgesichert gewesen und daher für die KI-Modelle ein einfaches Opfer gewesen. Da es nur sehr selten vorgekommen sei und meist erst in einem späten Stadium der Simulation nach Hunderten Schritten aufgetreten sei, sei der Vorfall schwer zu entdecken gewesen.

Irregular, ehemals Pattern Labs, wurde 2023 von CEO Dan Lahav, zuvor KI-Forscher bei IBM, und Technikchef Omer Nevo, der über zwei Jahre bei Google arbeitete, gegründet. Das Startup hat laut PitchBook rund 35 Mitarbeitende. Im September sicherte sich Irregular in einer Finanzierungsrunde mehr als 80 Millionen Dollar.