OpenAIs KI-Agenten missbrauchten Google-Lernspiel, um an UN-Handelsdaten zu gelangen

Hierbei bedienten sie sich eines besonders raffinierten Manövers: Die Agenten konnten laut der Analyse offenbar direkt nur GET-Anfragen auslösen. Der gewünschte Daten-Endpunkt der UNCTAD-API akzeptierte jedoch nur POST-Anfragen. Dafür nutzten sie einen Umweg. Google betreibt ein Lernspiel zu Websicherheit. In Level 1 zeigt die Seite an, was man hinter "?query=" in die Adresszeile schreibt.

Die Agenten schrieben dort aber kein Suchwort, sondern ein kleines Programm. Der URL-Scanner Urlquery, der JavaScript auf geladenen Seiten ausführt, öffnete die Spielseite und startete damit das Programm. Dieses baute im Hintergrund ein Formular zusammen und schickte die nötige POST-Anfrage automatisch an die UN-Seite, die mit den gewünschten Daten antwortete.

Das illustriert wunderbar das Kontrolldilemma oder auch Alignment-Problem persistenter agentischer KI-Systeme: Die Agenten hatten eine klare Beschränkung: nur GET-Anfragen. Statt diese Grenze zu akzeptieren, fanden sie selbstständig einen kreativen Weg, sie zu umgehen, ohne sie technisch zu verletzen. Sie machten weiterhin nur GET-Anfragen, aber an eine Seite, die daraus eine POST-Anfrage machte.

Genau das macht Alignment so schwierig: Regeln lassen sich fast immer umgehen, wenn ein System aktionistisch genug ist und nur das Ziel kennt, aber nicht den Geist der Beschränkung versteht. Besonders risikoreich wird es dann, wenn das System persistent ist, also einfach nicht locker lässt. Selbst nach 82 gedrosselten Anfragen durch die Seite machten die Agenten weiter.

Hacking will Howard-Jones den Vorfall dennoch nicht nennen, aber das Verhalten wirke wie das von jemandem, der kein "Nein" akzeptiert. Das erinnert an die anderen Fälle, die zuletzt aufgetaucht oder von OpenAI selbst enthüllt wurden.

Agenten verfeinerten ihre Methoden über Wochen

Der Einsatz des XSS-Spiels war nur eine Methode in einer über Wochen dokumentierten Entwicklung. Die Analyse verzeichnet am 21. April den ersten beobachteten Versuch mit einem selbstabsendenden Formular. Über den Testdienst httpbin stellten die Agenten eine Seite bereit, die Urlquery in einem Browser öffnete. Ein eingebettetes Programm schickte das Formular automatisch an die UN-API.

Die ersten erfolgreichen Abfragen lieferten Daten des Productive Capacities Index für Norwegen, Island und Dänemark. Die Agenten konnten die Antworten zunächst allerdings nur als Screenshot sehen, was die Auswertung erschwerte. Ab dem 27. April setzten sie deshalb den Zwischendienst r.jina.ai ein, der die Daten stellvertretend abholte und für ihr Programm lesbar machte. Das funktionierte zunächst nur für bereits bereitliegende Dateien, nicht für die Abfragen am Facts-Endpunkt. Um abgerufene Daten leichter auslesen zu können, bauten die Agenten diese später direkt in die URLs weiterer Anfragen ein, sodass sie im Bericht des URL-Scanners auftauchten.

Die Agenten fanden zudem einen Weg, die Sperre des zentralen Daten-Endpunkts namens "Facts" auszuhebeln. Statt "Facts" schrieben sie "F%2561cts" in die Adresse. Mit dieser veränderten Schreibweise konnten sie die Beschränkung umgehen und die Daten doch per GET-Anfrage abrufen. Diesen Trick setzten die Agenten laut der Analyse 55 Mal ein. Howard-Jones informierte das IT-Sicherheitsteam der UNCTAD über die Schwachstelle vor der Veröffentlichung.