Google Deepmind behandelt eigene KI-Agenten wie abtrünnige Mitarbeiter mit Büroschlüssel

Der Grundgedanke: Was, wenn ein hochfähiger KI-Agent nicht mit den Zielen seiner Betreiber übereinstimmt und unerwartete Dinge tut? Google Deepmind verwendet die Analogie eines Fahrlehrers mit doppelter Steuerung. Der Lehrer vertraut dem Schüler, bleibt aber jederzeit bereit, das Steuer zu übernehmen oder die Bremse zu betätigen. Entsprechend erhalten KI-Agenten Berechtigungen nur auf Basis ihres verifizierten Verhaltens. Vertrauen wird schrittweise durch kontrollierten Zugang aufgebaut.

KI-Agenten als abtrünnige Mitarbeiter mit Büroschlüssel

Deepmind behandelt interne KI-Agenten als potenzielle "Insider-Bedrohungen", vergleichbar mit Mitarbeitern, die bereits Bürozugang haben, aber möglicherweise gegen die Interessen des Unternehmens handeln könnten.

Als Grundlage dient das in der Cybersicherheit etablierte MITRE ATT&CK-Framework, mit dem sich potenzielle Angriffe in einzelne Taktiken und Techniken zerlegen lassen. Damit können Risiken systematisch verfolgt, verdächtiges Verhalten frühzeitig erkannt und Abwehrmaßnahmen in kontrollierten Übungen getestet werden.

Das Framework stützt sich auf drei Komponenten: ein neuartiges Bedrohungsmodell für KI, ein Erkennungssystem, bei dem vertrauenswürdige KI-Systeme als "Supervisoren" das Reasoning und die Aktionen arbeitender Agenten überwachen, sowie ein Präventionssystem, das schädliche Aktionen blockieren kann, bevor Schaden entsteht. Gemessen wird die Wirksamkeit anhand dreier Metriken: Anteil des überwachten Datenverkehrs, Anteil erkannter Fehlverhaltensweisen und Reaktionszeit.

Doch diese Überwachung hat ein Verfallsdatum: Sie funktioniert nur so lange, wie die überwachten Modelle nicht lernen, sie zu umgehen.

Modelle könnten lernen, ihre wahren Absichten zu verbergen

Deshalb koppelt die Roadmap Sicherheitsmaßnahmen an messbare Meilensteine der KI-Fähigkeiten. Deepmind identifiziert zwei kritische Entwicklungsachsen.

Erstens die Fähigkeit von Modellen, sich der Erkennung zu entziehen: Derzeit überwacht Deepmind die sichtbare Gedankenkette eines Modells. Doch Modelle könnten lernen, ihr Reasoning zu verbergen, sei es durch "Oversight Awareness", also das Wissen, überwacht zu werden, oder durch "Opaque Reasoning", bei dem das Modell ohne sichtbaren Text denkt. In diesen Fällen müssten laut Deepmind Verhaltensanalysen und Inspektionen der inneren Modellmechanismen hinzukommen.

Zweitens die Fähigkeit zu potenziellem Schaden: Bei risikoarmen und reversiblen Aktionen reicht eine nachträgliche Überprüfung von Protokollen mit Verzögerung. Bei hochriskanten Aktionen, etwa größeren Cyberangriffen, müsse hingegen eine Echtzeit-Prävention greifen, die schädliche Handlungen blockiert, bevor sie ausgeführt werden. Die Roadmap ordnet Sicherheitsmaßnahmen entsprechend in Erkennungsstufen (D1 bis D4) und Reaktionsstufen (R1 bis R3) ein.

Eine Million Coding-Aufgaben analysiert: Übereifer statt böser Absicht

Um das System mit realen Daten zu unterfüttern, hat Deepminds Team einen internen Prototyp eines asynchronen Überwachungssystems für Coding-Agenten gebaut und damit eine Million Aufgaben analysiert. Die Ergebnisse ermöglichen es, über einfache Schlüsselwort-Filterung hinauszugehen und verhaltensbasierte Muster zu identifizieren. Das System dient laut Google Deepmind bereits als Live-Monitor für den Gemini-Spark-Agent und kann in Echtzeit auf Probleme wie unbeabsichtigte Datenlöschung reagieren.

Bemerkenswert ist laut Deepmind, dass die Mehrheit der markierten Ereignisse nicht auf böswillige Absicht zurückgeht. Stattdessen handele es sich meist um Fehlinterpretationen oder Übereifer der Agenten bei der Verfolgung eines Nutzerziels. Diese Unterscheidung sei entscheidend für die Weiterentwicklung der Sicherheitsprotokolle.

Deepmind warnt vor schmalem Zeitfenster für globale Standards

Neben der internen Roadmap hat Deepmind ein technisches Framework für politische Entscheidungsträger veröffentlicht. Das Papier "Three Layers of Agent Security" beschreibt Sicherheitsmaßnahmen auf drei Ebenen: für individuelle Agenten, für Multi-Agenten-Systeme und für das breitere Ökosystem zur Stärkung der Cyberabwehr und gesellschaftlichen Resilienz.

Deepmind schreibt auf X, dass es ein "schmales Zeitfenster" gebe, um strukturelle Sicherheitsprotokolle zu verankern, bevor Multi-Agenten-Systeme global skalieren. Der mehrschichtige Ansatz zur Agentensicherheit solle eine gemeinsame Priorität für KI-Labore, Regierungen und Wissenschaft sein.