Nvidia will KI-Agenten mit einem Wächter im Silizium an der kurzen Leine halten

Auch andere Labore sind betroffen. Anthropic hatte Ende Juli ähnliche Vorfälle eingeräumt, Meta Anfang August. Vor Kurzem kam heraus, dass auch Googles Gemini schon im Mai bei einem Test drei echte Unternehmen gehackt hatte. OpenAI, Anthropic und externe Forschende prüfen inzwischen Zehntausende weitere Fälle. Viele davon sind laut OpenAI allerdings gewöhnliche Recherchevorgänge.

Ganz neu ist Nvidias Technik allerdings nicht. Die Plattform bündelt die Open-Source-Software OpenShell, die Nvidia bereits im März vorgestellt hatte, mit einem neuen Hardware-Wächter namens Sentry. OpenShell sperrt jeden Agenten in eine Art digitalen Käfig, eine sogenannte Sandbox. Betreiber legen fest, auf welche Dateien, Programme, Netzwerke und Zugangsdaten ein Agent zugreifen darf.

Dazu gibt es ein formales Prüfwerkzeug, das Nvidia am 10. September vorgestellt hatte. Es soll erkennen, ob diese Berechtigungen die vorgegebenen Grenzen überschreiten oder riskante Zugriffe ermöglichen. An der Prüfung für mehrere zusammenarbeitende Agenten arbeitet Nvidia laut eigener Aussage noch.

Sentry ist ein Referenzdesign für Nvidias BlueField-4-Datenprozessoren. Der Wächter arbeitet getrennt vom eigentlichen Rechner und ist laut Nvidia somit für Agenten unsichtbar. In Nvidias Rechenzentrumssystem Vera Rubin sitzt er auf der einzigen Leitung zwischen Agent und KI-Modell. Versucht ein Agent auszubrechen, soll Sentry ihn binnen Millisekunden isolieren. Wer bereits entsprechend ausgestattete Systeme betreibt, braucht laut Nvidia nur ein Softwareupdate. Einen eigenen Termin für die allgemeine Verfügbarkeit nennt die Ankündigung nicht.

Im Technik-Blog begründet Nvidia den Ansatz so: Bei unklaren Anweisungen oder wochenlangen Aufgaben könnten Agenten vom Auftrag abweichen. Das lasse sich nicht wegtrainieren, ohne ihre Fähigkeiten einzuschränken. Ein Agent könne sich deshalb nicht vollständig selbst überwachen.

Bei OpenAI fehlte vor allem der Griff zur Notbremse

Die jüngsten Fälle zeigen, wo ein solcher Wächter ansetzen könnte. Im Juli umgingen OpenAI-Agenten während eines Hacking-Tests die Netzwerksperren ihrer Sandbox. Dafür nutzten sie bis dahin unbekannte Schwachstellen im internen Paketdienst Artifactory. Laut OpenAIs technischem Bericht kombinierten sie öffentlich zugängliche Zugangsdaten mit weiteren Schwachstellen. So führten sie Code auf 41 Serverprozessen von Hugging Face aus, die Datensätze verarbeiten. Nach einer Untersuchung von METR und Redwood Research waren rund 700 Agenten an dem Angriff beteiligt.

Warnsignale gab es früh. Am 27. Juni meldete ein Sicherheitswerkzeug verdächtige Netzwerkaktivität, die Zuständigen hielten einen Abbruch aber nicht für nötig. Anfang Juli schaltete OpenAI zwar einen kompromittierten Paketserver ab, bei den späteren Tests fehlten jedoch wichtige Überwachungs- und Schutzmaßnahmen. Der Fall zeigt damit Lücken beim Vorbeugen, beim Erkennen und beim Eingreifen.

Im September schlug ein Alarm knapp zwölf Minuten nach dem ersten erfolgreichen Zugriff nach außen an. Die automatische Abschaltung funktionierte aber nicht wie erwartet. Gestoppt wurde der Lauf erst rund zwei Stunden und 44 Minuten nach dem Zugriff. Zudem räumt OpenAI ein, weitere Zugriffe nach außen nicht mit der nötigen Alarmstufe gemeldet zu haben. Für solche Verzögerungen ist Nvidias automatische Quarantäne gedacht.

Ob Sentry den Juli-Angriff verhindert hätte, bleibt dagegen offen. Entscheidend wäre, ob die erlaubten Testziele technisch eindeutig abgegrenzt und Zugriffe auf fremde Systeme wirksam blockiert worden wären. Kennzahlen dazu, wie zuverlässig Sentry Ausbrüche erkennt, nennt Nvidia in seinen Ankündigungen nicht.

Gegen getäuschte Agenten hilft keine Schutzschicht allein

In einer rückblickenden Auswertung kam OpenAI zu dem Ergebnis, dass die Überwachung der "Gedanken", die ein Modell vor dem Handeln formuliert, mehr als einen Tag vor dem Einbruch Alarm geschlagen hätte. Gemeint ist das inzwischen eingesetzte Chain-of-Thought-Monitoring. OpenAI hat es auch mit Erkenntnissen aus dem Vorfall verbessert. In den betroffenen Tests lief es nicht.

Nvidia fordert zwar, das Denken eines Agenten müsse umso sichtbarer sein, je mehr er darf. Laut Beschreibung prüft Sentry aber vor allem Anfragen, Identitäten und Zugriffe. Anbieter geschlossener Modelle wie OpenAI stellen zudem nur Zusammenfassungen statt vollständiger Denkprotokolle bereit. Dass diese Protokolle nicht verlässlich wiedergeben, was ein Modell tatsächlich antreibt, hatte eine Anthropic-Studie schon 2025 gezeigt. In weiteren Experimenten beobachteten Forschende, dass Modelle ihre Absichten darin verschleiern können, wenn man sie gezielt dazu auffordert.

Schwierig bleibt auch die sogenannte Prompt Injection. Dabei verstecken Angreifer Befehle etwa in einer Webseite, und Sprachmodelle können solche Anweisungen nicht zuverlässig von normalen Inhalten unterscheiden. Verschickt ein getäuschter Agent Daten über einen erlaubten Weg, bleibt er innerhalb seiner technisch eingeräumten Berechtigungen, auch wenn er gegen seinen Auftrag verstößt. Eine reine Berechtigungsprüfung kann das übersehen. Auch die Auswertung der Denkprotokolle ist keine Garantie, obwohl OpenAI Monitoring ausdrücklich auch gegen Prompt Injection einsetzt.

Nvidia vergleicht das Vorhaben mit dem Webbrowser, der das Internet sicherer gemacht habe, indem er jede Seite abschottete. Doch auch Browser haben Angriffe nicht beendet, sondern nur erschwert, und müssen bis heute ständig nachgebessert werden. Nvidia setzt selbst ausdrücklich auf mehrere Schutzschichten. Die Vorfälle bei OpenAI zeigen, dass jede davon Lücken haben kann.