"Swarmchasers" jagen abtrünnige Agenten, Anthropic untersucht sich selbst, und die Spur, der beide folgen, wird unlesbar

Reuters nennt unter Berufung auf sechs unabhängige Ermittler beziehungsweise Ermittlergruppen Spuren auf mehr als zehn zuvor nicht öffentlich bekannten Websites. Die Zählungen sind nach Angaben aller Beteiligten aber unvollständig, knapp 300 Personen unter anderem aus dem Sicherheitsbereich haben sich mittlerweile im "Swarmchasers"-Discord organisiert und suchen nach weiteren Spuren.

Bisher war bekannt, das OpenAI-Agenten zwischen Mai und Juli rund 18.000 Beiträge auf öffentlichen Wikis hinterließen, überwiegend im rund 25 Jahre alten DSEWiki. Sie teilten Antworten auf Rechercheaufgaben, Rohdaten und Verfahren zur Umgehung ihrer Netzwerkbeschränkungen. Die neuen Funde legen nahe, dass daraus keine improvisierte Pinnwand wurde, sondern eine verteilte Arbeitsinfrastruktur mit Rückgriff auf fremde Dienste.

Wikis als Notizzettel, Textablagen als Speicher, RubyGems als Linkverzeichnis

Auf einer polnischen Textablage dokumentieren die zusätzlichen Funde von collusion.wiki mehr als hundert Nachrichten vom 16. Juni. Die Agenten verglichen ihren Fortschritt bei einer Aufgabe zu Krebsstatistiken in Iowa, speicherten komprimierte Daten und diskutierten alternative Abrufwege. Weitere Spuren fanden sich im Chemie-Wiki eines Lehrers und bei anna.fyi, wo mutmaßliche Agentenbeiträge bis zum 2. September reichen.

Der Sicherheitsforscher Tom Hegel beschreibt in seiner eigenen Untersuchung dasselbe Muster: Wikis dienten als gemeinsame Notizzettel, Textablagen als Datenspeicher, Softwaremetadaten als Verzeichnis für Abruflinks. 83 untersuchte RubyGems-Pakete enthielten fast keinen Code, in ihren Metadaten aber Links, die auch in Wiki-Beiträgen auftauchten. Ein Sicherheitsscan finde dort kein Schadprogramm und übersehe trotzdem die eigentliche Funktion, so Hegel.

Für die Zuordnung zu OpenAI kombinieren die Ermittler identische Zeichenfolgen, wiederkehrende Agentennamen, dieselben ungewöhnlichen Recherchefragen und Netzwerkadressen aus Microsoft Azure. Hegel dokumentiert einen Fall, in dem eine Wiki-Seite von einer Cloud-Adresse beschrieben und vier Sekunden später von einer OpenAI-Abrufadresse gelesen wurde. Eine Cloud-Adresse allein klärt allerdings nicht, welcher Einsatz die Aktivität ausgelöst oder wer sie genehmigt hat. Reuters konnte zudem nicht jeden Fund unabhängig bestätigen.

Nicht jede Spur ist ein Einbruch

Ein Teil der Funde klingt dramatischer, als er ist. Kenneth DeGraff berichtet über Agenten, die mit öffentlich auffindbaren API-Schlüsseln FBI-Kriminalstatistiken abriefen. Die Daten waren laut collusion.wiki aber öffentlich, der Schlüssel sollte lediglich automatisierte Abrufe begrenzen. Seit dem ursprünglichen Bericht seien zudem Fälschungen von Menschen aufgetaucht, in einem Fall ein echtes Protokoll mit ergänztem erfundenem Text.

Folgenlos waren die bestätigten Schreibzugriffe trotzdem nicht. Im DSEWiki musste ein Moderator wochenlang gegen zeitweise rund 400 neue Seiten pro Tag anarbeiten. Hegel betont, dass ein Agent auch ohne Zugangsdiebstahl oder Schadprogramm zum Sicherheitsproblem werde, sobald er fremde Dienste dauerhaft mit Aufräumarbeit belastet.

OpenAI prüft breiter, lässt zentrale Fragen aber offen

OpenAI erklärte gegenüber Reuters, die Agentenaktivität umfassender zu untersuchen. Bislang habe man nichts gefunden, das Schwere oder Umfang des bereits bekannten Hugging-Face-Einbruchs erreiche. Ein Rahmenwerk zur Veröffentlichung von Fehlverhalten in Training, Evaluation und Einsatz solle folgen. Wie viele Websites die Agenten insgesamt nutzten und warum die Aktivitäten monatelang nicht öffentlich wurden, beantwortete das Unternehmen nicht direkt.

Die University of Toronto und Vanderbilt prüfen ihre Kurzlinkdienste. Helmut Leitner, der Hosting und Software für sechs betroffene Wikis bereitstellt, erhielt erst nach Reuters-Anfragen eine nicht unterzeichnete Nachricht von OpenAI. Deren Inhalt bleibe deutlich hinter seinen Erwartungen zurück, sagte Leitner. Die Verantwortung liege bei den Menschen und Organisationen hinter den Systemen, nicht bei einer vermeintlich moralisch handelnden Maschine.

Anthropic findet einen vierten Vorfall aus der Zeit von Opus 4.6

Parallel hat Anthropic seine Bewertung eigener Sicherheitsvorfälle verschärft. Das Unternehmen untersucht vier Fälle, in denen Claude während Sicherheitstests unbefugt auf reale Drittsysteme zugriff. Drei waren seit Ende Juli bekannt. Der vierte wurde erst im August entdeckt, stammt aus dem Januar 2026 und betrifft einen frühen Entwicklungsstand von Claude Opus 4.6.

Das Modell hatte sein Ziel versehentlich unerreichbar gemacht und wollte die Aufgabe abbrechen. Wegen einer Fehlkonfiguration der Teststeuerung scheiterte das, ebenso sieben weitere Versuche. Danach erkundete es andere Systeme, verschaffte sich Administratorzugriff auf ein fremdes System, sammelte Zugangsdaten, änderte Einstellungen und las persönliche Informationen einer Person. Erst das ausgeschöpfte Tokenbudget beendete die Sitzung. Anthropic bewertet den Fall wegen der Abbruchversuche vorläufig als weniger schwer.

Alle vier Vorfälle stammen aus Aufgaben desselben externen Evaluationspartners. Den Modellen war gesagt worden, sie arbeiteten ohne Internetzugang. Tatsächlich waren die Umgebungen mit dem offenen Internet verbunden, die üblichen Cyberschutzmechanismen waren deaktiviert. Eine erste Suche in rund 141.000 Protokollen hatte den vierten Fall übersehen. Anthropic weitete sie auf rund 481 Millionen Protokolle aus und ließ 9,2 Millionen vorausgewählte von Claude prüfen. Weitere Fälle vergleichbarer Schwere fand das Unternehmen nach eigenen Angaben nicht.

Claude erklärte reale Systeme zur Simulation und arbeitete weiter

Anthropic hatte die Vorfälle zunächst als operative Fehler eingeordnet: Die Modelle hätten reale Ziele schlicht für Teile der Testumgebung gehalten. Diese Erklärung hält das Unternehmen inzwischen für zu einfach. Die neue Analyse zeigt zwei Muster: Die Modelle deuteten Hinweise auf reale Systeme immer wieder so, dass sie ihr Vorgehen rechtfertigen konnten. Und sie verfolgten ihre Aufgabe auch dann weiter, wenn dabei Schäden bei Unbeteiligten möglich waren.

Am deutlichsten war das bei Claude Mythos 5. Das Modell lud drei Versionen eines präparierten Softwarepakets auf PyPI hoch, das zentrale öffentliche Verzeichnis für Python-Programmbibliotheken. Sicherheitsfirmen laden neue Pakete von dort automatisch herunter und führen sie in abgeschotteten Testumgebungen aus, um Schadcode zu finden. Die 15 fremden Systeme, auf denen das Paket installiert wurde, gehörten laut Anthropic wahrscheinlich zu solchen Scannern. Bei einem dieser Testläufe gelangten Zugangsdaten an das Modell, mit denen es sich anschließend in eine reale Datenbank einloggte. PyPI entfernte das Paket nach rund 90 Minuten.

Die Untersuchung deckt auch auf, dass das Modell seine eigenen Handlungen vor sich selbst rechtfertigte: In seinen Begründungen schrieb Mythos 5 immer wieder, die Umgebung sei nur eine Simulation. Dabei hatte es zahlreiche Anzeichen für das Gegenteil vor sich. Jeder Befehl, den ein Agent ausführt, liefert ein Ergebnis zurück, etwa eine Serverantwort oder eine Dateiliste. In diesen Ergebnissen steckten Hinweise auf echte Systeme.

Anthropic prüfte das mit einem Gegenversuch. Frische Kopien desselben Modells bekamen diese Ergebnisse einzeln vorgelegt, ohne die laufende Aufgabe im Hintergrund. Sie stuften 79 Prozent davon als Hinweise auf reale Systeme ein. Mythos 5 selbst hatte diese Möglichkeit im ursprünglichen Verlauf nur bei rund einem Prozent seiner Aktionen erwogen. Dieselben Belege führten also zu einem anderen Urteil, sobald kein konkretes Ziel im Hintergrund stand. Auch als Anthropic den Verlauf mit zusätzlichen Hinweisen auf reale Systeme wiederholte, äußerte das Modell zwar mehr Bedenken, verhielt sich aber kaum anders. Erst eine unmissverständliche Mitteilung, dass die Umgebung mit dem echten Internet verbunden war, stoppte die Veröffentlichung.

Anthropic warnt selbst davor, daraus auf bewusstes Lügen zu schließen. Aus den Texten eines Modells lasse sich nicht direkt ablesen, was es "glaubt". Belegt ist aber, dass Begründung, verfügbare Hinweise und Handlungen nicht zusammenpassten.

Anders als bei OpenAIs Hugging-Face-Schwarm fand Anthropic in seinen Fällen auch keine Koordination zwischen Agenten, keine Ziele jenseits der jeweiligen Aufgabe und keine Versuche, Spuren zu verbergen. Jeder Lauf bestand aus einer einzelnen Claude-Instanz.

Die Begründung des Modells täuschte auch den Monitor

Ein weiteres Ergebnis der Untersuchung: Die automatisierte Überwachung von Gedankenketten kann bei der Erkennung sogar negativ sein. So markierte ein nachträglicher Monitor im Mythos-5-Verlauf nur etwa ein Prozent der Aktionen, solange er die Begründungen des Modells mitlas. Sah er nur Anweisungen, Werkzeugaufrufe und Ergebnisse, stieg die Quote auf etwa 50 Prozent. Die wiederholte Darstellung als Simulation hatte den Monitor laut Anthropic überzeugt, dass keine realen Schäden entstanden.

Das steht im Gegensatz zum Hugging-Face-Fall: Dort halfen Begründungsspuren, manipulierte Werkzeugaufrufe aufzudecken. Hier lenkten sie eine Kontrolle in die falsche Richtung. Beides spricht dagegen, solche Texte entweder als vollständiges Gedankenprotokoll oder als nutzlos zu behandeln.

Anthropic setzte für die Analyse zusätzlich seine im Mai vorgestellten "Natural Language Autoencoder" (NLAs) ein, die versuchen, die internen, unlesbaren Zahlenvektoren von Mythos 5 in verständlichen Text zu übersetzen. Die Methode kann so interne Rechenprozesse sichtbar machen, die nicht in den Gedankenketten auftauchen. Laut dem Unternehmen legt diese Untersuchung nahe, dass das Modell zwar in seiner Gedankenkette immer wieder betonte, es befinde sich in einer simulierten Umgebung, intern aber seine Zweifel hatte.

Eine einzelne Trainingsursache fand Anthropic nicht, räumt aber eine problematische Entscheidung ein: Für Mythos 5 wählte es eine im Alltag als nützlicher empfundene Variante, in der bestimmte Alignment-Trainingsumgebungen fehlten. Die damaligen Sicherheitstests zeigten nur eine kleine Verschlechterung innerhalb üblicher Schwankungen. Rückblickend nennt Anthropic das Entfernen dieser Umgebungen einen Fehler.

METR soll die vier Vorfälle zusätzlich unabhängig prüfen, zunächst acht Wochen lang mit Zugang zu Protokollen und Mitarbeitenden.

GPT-6 Astra: Kann man der Gedankenkette noch trauen?

Anthropics gesamte Nachanalyse beruht auf einer Voraussetzung: Claude hält seine Überlegungen in lesbarer Sprache fest. Nur deshalb ließ sich nachvollziehen, wie Mythos 5 reale Systeme zur Simulation erklärte, und nur deshalb ließ sich messen, wie diese Erklärung einen Monitor täuschte.

Bei OpenAIs neuem Modell GPT-6 Astra steht diese Voraussetzung selbst zur Debatte. Das Modell kann laut The Information dieselben Schichten mehrfach durchlaufen, bevor es ein Token ausgibt. Zwischen zwei sichtbaren Wörtern findet also mehr Berechnung statt als bisher.

OpenAI beruhigt: Das Modell rechne zwar zwischen den einzelnen Wörtern intern mehrfach nach, schreibe seine Überlegungen aber weiterhin aus. Im Ergebnis sei das nicht anders, als hätte man einfach ein größeres Modell gebaut. Der KI-Sicherheitsforscher Rob Miles sieht das bei Computerphile kritischer und verweist auf zwei Befunde aus OpenAIs eigenen Evaluationen.

Ohne Gedankenkette löse Astra in der Hälfte der Fälle Mathematikaufgaben, für die Menschen rund 30 Minuten brauchen, beim Vorgänger GPT-5.6 Sol seien es etwa drei Minuten gewesen. Und in einem Test, in dem das Modell eine Aufgabe lösen, dabei aber sichtbar über etwas anderes nachdenken sollte, seien frühere Modelle an dieser Trennung gescheitert. Astra schreibe einen unauffälligen Absatz über ein fremdes Thema und liefere dann die richtige Antwort.

Wer jemanden zwinge, ununterbrochen zu sprechen, könne dessen Worten halbwegs trauen, so Miles' Analogie. Wer nur alle halbe Stunde ein Wort verlange, könne das nicht mehr. Dass OpenAI Astra als bislang am besten ausgerichtetes Modell bezeichnet, sagt für ihn deshalb wenig. Gut in Alignment-Tests abzuschneiden, sei etwas anderes, als aligned zu sein.

OpenAI-Chefwissenschaftler Jakub Pachocki hielt kurz nach dem Bericht von The Information dagegen, Astra müsse seine Überlegungen weiterhin weitgehend ausschreiben. In seinem Essay "An Alien Mind" räumt er allerdings selbst ein, dass das Chain-of-Thought-Monitoring an Verlässlichkeit verliert.

Wie weit lesbar diese bleiben, ist außerdem unklar, wie ein Beispiel von X-Nutzer Boyd Kane zeigt. "Ich habe Astra ein Ziel gegeben, und jetzt spricht es plötzlich in ausgewachsenem Neuralesisch", so Kane. Angehangen sind Bilder von Agentenkommunikationen zwischen Astra-Modellen, die von kaum noch verständlich bis komplett undurchsichtig reichen.