OpenAI wirft Kimi-Entwickler Moonshot AI vor, Denkprozesse seiner Modelle abgegriffen zu haben

Bei der Destillation wird ein Modell mit den gesamten Ausgaben eines anderen trainiert, also nicht nur mit den Ergebnissen, sondern mit den kompletten Lösungswegen, also den Gedankenketten des stärkeren Modells. Gerade diese Zwischenschritte sind wertvoll: Laut OpenAI können sie Informationen enthalten, die in der finalen Antwort bewusst fehlen, und anderen helfen, die Fähigkeiten eines Modells nachzubauen.

Die Aktivität habe am 1. Juli mit geringem Volumen begonnen, schreibt OpenAI. Am 24. und 25. Juli habe das Unternehmen dann Spitzen von 16.000 Anfragen beobachtet, die von mehr als 4.000 Nutzern stammten und ein typisches Extraktionsmuster verwendeten. Weitere Untersuchungen hätten ein Netzwerk von über 15.000 Konten mit verwandten Mustern zutage gefördert, das bis zum 28. Juli vollständig gestoppt worden sei. Laut einer Fußnote handelt es sich dabei um versuchte, nicht zwingend erfolgreiche Extraktionen.

Einen Kern der Aktivität ordnet OpenAI Personen zu, die mit Moonshot AI in Verbindung stehen, dem Entwickler des Sprachmodells Kimi. Ob alle beobachteten Akteure auf einen einzigen Urheber zurückgehen, sei allerdings unklar. Auch Anthropic berichtete kürzlich von ähnlichen Versuchen chinesischer Anbieter.

Ein Modell liest die Gedanken des anderen

Die Angreifer hätten dafür verschlüsselte Denkschritte aus einer Unterhaltung kopiert und ein Modell in einer anderen Unterhaltung gebeten, diese zu entschlüsseln und abzuschreiben.

Wie das möglich ist, hatte ein Team um den Forscher Joachim Schaeffer zuvor in einem Paper beschrieben. KI-Anbieter geben die Denkschritte demnach nur als verschlüsselte Datenpakete an ihre Kunden zurück, die bei Folgeanfragen wieder mitgeschickt werden. Diese Pakete seien jedoch mit gemeinsamen Schlüsseln verschlüsselt und deshalb zwischen Sitzungen, Nutzern und sogar verschiedenen Modellen eines Anbieters austauschbar. Ein schwächeres, günstigeres Modell derselben Familie könne so als "Entschlüsselungsorakel" dienen und die verborgenen Gedanken des stärkeren Modells wörtlich ausgeben.

OpenAI nennt die Arbeit der Forscher ausdrücklich: Man habe bestätigt, dass die gemeldeten Angriffswege real seien, und ihre Erkenntnisse hätten geholfen, Gegenmaßnahmen zu beschleunigen.

Als Reaktion habe OpenAI betrügerische Konten gesperrt, die Registrierung verschärft und einen Weg geschlossen, über den fremde verschlüsselte Denkschritte wiederverwendet und ausgelesen werden konnten. Zudem prüfe das Unternehmen gestreamte Ausgaben und halte sie zurück, falls sie Reasoning preisgeben könnten. Die Erkenntnisse habe OpenAI über das Frontier Model Forum und staatliche Kanäle geteilt, denn das Problem betreffe nicht nur die eigenen Modelle.

Der Schutz endet an der Cloud-Grenze

Ganz so abgeschlossen ist die Sache allerdings nicht: Am selben Tag veröffentlichte das Forscherteam ein Update seiner Untersuchung. "Wir haben wieder Reasoning gestohlen", schreibt Schaeffer auf X. Die eigene API abzusichern, schütze nicht das gesamte Ökosystem der Cloud-Anbieter, über die die Modelle ebenfalls angeboten werden.

Bei einer Prüfung am 13. September sei der Angriff auf den direkten Schnittstellen von OpenAI und Anthropic blockiert gewesen. Über Microsoft Azure habe er dagegen bei allen getesteten OpenAI-Modellen funktioniert, einschließlich des neuen GPT-6 Astra, sowie bei Anthropic-Modellen bis Sonnet 5. Ein einziger Versuch habe genügt, um die Denkschritte wörtlich auszulesen. "Dieselben Modelle, aber unterschiedliche Schutzmaßnahmen, je nachdem, welche Plattform sie ausliefert", so Schaeffer.

Hinzu kommt ein zweiter, noch simplerer Weg, den der Entwickler Can Bölük öffentlich demonstriert hatte. Dabei bekommt das Modell einen virtuellen Notizblock als Werkzeug und die Anweisung, seine Überlegungen dort hineinzuschreiben. Den Inhalt kann der Nutzer anschließend lesen. Laut den Forschern funktionierte das bei allen OpenAI-Modellen sowie bei Opus 4.8 und Sonnet 5. Nur Opus 5, Fable 5 und Fable 5.1 hätten ihr Reasoning nicht preisgegeben. Die so gewonnenen Denkschritte ähnelten denen aus dem Entschlüsselungsangriff stark und wären nach Einschätzung der Forscher für Distillation vermutlich ähnlich nützlich.

Die bisherigen Patches halten die Forscher für fragmentiert und oberflächlich. Sie beruhten oft auf einem fragilen Abgleich bestimmter Anfragemuster und erreichten die Cloud-Plattformen teils erst mit tagelanger Verzögerung. GPT-6 Astra sei bei Drittanbietern ganz ohne übernommene Schutzmaßnahmen erschienen. Laut der Zeitleiste der Forscher führte OpenAI erst am 27. September Schutzmaßnahmen auf dem Azure-Endpunkt ein. Bei Anthropic sei die gemeldete Extraktion ab dem 28. September auf Azure nicht mehr reproduzierbar gewesen.

Patches müssten alle Angriffsarten und alle Hosting-Clouds abdecken, fordert Schaeffer, sonst könnten Angreifer einfach die Route mit dem schwächsten Schutz wählen. Im Papier gehen die Forscher noch weiter: Cloud-Anbieter, die keinen gleichwertigen Schutz durchsetzen, sollten keine Reasoning-Modelle ausliefern dürfen. Andernfalls würden offene Hintertüren Exportkontrollen an der API-Grenze faktisch aushebeln. OpenAI räumt selbst ein, dass bei Partnern gehostete Modelle denselben Schutz brauchen wie die eigenen Dienste, und bezeichnet die Arbeit als "nicht abgeschlossen".

Über die ursprüngliche Entdeckung der Sicherheitslücke durch das Forscherteam haben wir bereits berichtet. Ausführlicher mit dem Thema Destillation haben wir uns zudem in unserem letzten KI-Radar-Newsletter zu chinesischen Sprachmodellen beschäftigt. OpenAI rechnet damit, dass solche Versuche raffinierter werden, je besser die führenden Modelle werden und je mehr Akteure nach günstigen Wegen suchen, deren Fähigkeiten nachzuahmen.