Ein KI-Agent hackt McKinseys KI-Plattform Lilli mit einer Schwachstelle aus den 1990ern

Die Sicherheitsfirma Codewall ließ einen offensiven KI-Agenten auf McKinseys interne KI-Plattform Lilli los, ein System, das über 43.000 Mitarbeiter für Strategiearbeit, Mandantenrecherche und Dokumentenanalyse nutzen. Ohne Zugangsdaten, ohne Insiderwissen, ohne menschliche Hilfe. Innerhalb von zwei Stunden hatte der Agent vollständigen Lese- und Schreibzugriff auf die Produktionsdatenbank.

Der Einstiegspunkt war eine SQL-Injection-Schwachstelle, die herkömmliche Scanner übersahen. Die Werte in den API-Anfragen waren korrekt parametrisiert, doch die JSON-Feldnamen wurden direkt in SQL-Abfragen eingebaut. In 15 blinden Iterationen extrahierte der Agent immer mehr Informationen aus den Fehlermeldungen, bis Produktionsdaten zurückflossen. 46,5 Millionen Chat-Nachrichten, 728.000 Dateien, 57.000 Nutzerkonten, alles ohne Authentifizierung zugänglich.

Prompts als neue Angriffsfläche

Der brisanteste Fund: Die System-Prompts, die Lillis Verhalten steuern, lagen in derselben Datenbank. "Ein Angreifer mit Schreibzugriff über dieselbe Injection hätte diese Prompts umschreiben können. Lautlos. Kein Deployment nötig. Keine Code-Änderung. Nur ein einzelnes UPDATE-Statement in einem einzigen HTTP-Aufruf", schreibt Codewall. Vergiftete Finanzmodelle, manipulierte Strategieempfehlungen oder stille Datenexfiltration über KI-Antworten wären die Folge gewesen. Und niemand hätte es bemerkt, weil modifizierte Prompts keine klassischen Spuren hinterlassen.

Hinzu kam der Zugriff auf 3,68 Millionen RAG-Dokumenten-Chunks, also die gesamte Wissensbasis, die Lillis Antworten speist. Jahrzehnte an proprietärer McKinsey-Forschung, Frameworks und Methoden, offen lesbar in einer ungesicherten Datenbank.

McKinsey hat die Schwachstellen nach der Meldung am 1. März innerhalb eines Tages gepatcht.

Eine forensische Untersuchung durch eine externe Firma habe "keine Hinweise darauf ergeben, dass Kundendaten oder vertrauliche Kundeninformationen von diesem Forscher oder einem anderen unbefugten Dritten abgerufen wurden", erklärte ein McKinsey-Sprecher gegenüber The Register.

Alte Schwachstelle, neue Konsequenzen

Der Fall zeigt ein fast schon ironisches Problem: Die Schwachstelle, über die der Agent einstieg, war eine SQL-Injection, also "eine der ältesten Schwachstellenklassen überhaupt", wie Codewall selbst schreibt. Kein neuartiger KI-spezifischer Angriff, sondern ein Fehler, der seit den 1990er-Jahren bekannt ist. Dass er bei McKinsey zwei Jahre lang in einer Produktionsdatenbank überlebte und von herkömmlichen Scannern nicht erkannt wurde, wirft Fragen auf. Der ungewöhnliche Angriffsvektor über JSON-Feldnamen statt über Eingabewerte erklärt, warum gängige Sicherheitstools die Lücke nicht fanden, wie der Sicherheitsanalyst Edward Kiledjian in einer unabhängigen Analyse anmerkt.

Was allerdings tatsächlich neu ist, ist die potenzielle Konsequenz: Weil Prompts, RAG-Daten und Modellkonfigurationen in denselben Datenbanken liegen wie alles andere, wird aus einer klassischen Schwachstelle ein Hebel, der das Verhalten eines KI-Systems für Tausende Nutzer lautlos verändern kann.

Codewall formuliert es so: "KI-Prompts sind die neuen Kronjuwelen. Organisationen haben Jahrzehnte damit verbracht, ihren Code, ihre Server und ihre Lieferketten abzusichern. Aber die Prompt-Ebene ist das neue hochwertige Ziel, und fast niemand behandelt sie als solches."

Kiledjian ordnet allerdings ein: Codewall habe zwar wahrscheinlich eine ernsthafte Schwachstelle gefunden, übertreibe aber in seinem Blogpost, was tatsächlich nachgewiesen wurde, und verwische den Unterschied zwischen Zugriffsmöglichkeit und tatsächlicher Datenexfiltration.

Codewall verkauft eine autonome Plattform für offensive Sicherheitstests und befindet sich derzeit in einer frühen Preview-Phase. Der McKinsey-Hack dient dabei offensichtlich auch als Visitenkarte. Codewall beruft sich darauf, im Rahmen von McKinseys öffentlicher Responsible-Disclosure-Policy auf HackerOne gehandelt zu haben. Ob diese Policy allerdings auch das systematische Auslesen einer Produktionsdatenbank mit Millionen echter Nutzerdaten abdeckt, ist fraglich, wie Kiledjian anmerkt.

Das ändert aber wenig am eigentlichen Befund: Wer KI-Systeme in Produktion bringt, muss deren Sicherheitsarchitektur genauso ernst nehmen wie die klassische Infrastruktur. Und da hapert es offenbar selbst bei Unternehmen, die es besser wissen müssten.