KI-Sicherheit im Unternehmen: Wie vertrauliche Daten über das Chatfenster nach außen wandern

In Teil 2 unserer Reihe zu KI-Sicherheit im Unternehmen zeigen wir, auf welchen Wegen vertrauliche Daten über das Chatfenster nach außen wandern, welche Daten eine KI nie sehen sollte, und geben vier Regeln für den Unternehmensalltag. Im Frühjahr 2023 berichteten koreanische Medien über drei Fälle, in denen Beschäftigte der Halbleitersparte von Samsung internen Quellcode und Besprechungsinhalte in ChatGPT eingegeben hatten. Ein später bekannt gewordenes internes Memo kündigte daraufhin vorübergehende Beschränkungen für öffentlich zugängliche generative KI auf Firmengeräten und in internen Netzen an. Wie verbreitet das Problem ist, zeigen Auswertungen wie die des Sicherheitsanbieters Harmonic Security. Laut diesem enthielten im zweiten Quartal 2025 4,37 Prozent von einer Million erfasster Prompts und 21,86 Prozent von 20.000 hochgeladenen Dateien sensible Inhalte. Die Daten stammen aus browserbasierten Interaktionen bei Organisationen in den USA und Großbritannien, die bereits Harmonic-Technik einsetzten. Native Apps und direkte API-Nutzung waren hier nicht einmal vollständig erfasst. LayerX wiederum berichtet auf Grundlage eigener Unternehmenstelemetrie, dass 77 Prozent der beobachteten Beschäftigten Daten in GenAI-Eingabefelder kopierten und 82 Prozent dieser Einfügevorgänge über nicht verwaltete Konten liefen, also über Zugänge ohne zentrale IT-Kontrolle. OWASP bündelt solche Fälle in seinen Top 10 der Sicherheitslücken für LLM-Anwendungen unter LLM02 Sensitive Information Disclosure. Die Kategorie umfasst sowohl sensible Informationen, die Nutzende oder Anwendungen in das System einspeisen, als auch sensible Informationen, die eine LLM-Anwendung in ihren Ausgaben offenlegt. Dazu zählen etwa personenbezogene Daten, Finanz- und Gesundheitsdaten, vertrauliche Geschäftsinformationen, Zugangsdaten und juristische Dokumente. Anders als bei den Prompt Injections aus Teil 1 dieser Reihe beginnt der potenzielle Schaden hier also nicht beim Angreifer. Das Konto ist ein Hebel, kein Freibrief Der einfachste Ansatzpunkt solche ungewollten Lecks zu schließen, ist das verwendete Konto. Bei privaten oder nicht verwalteten Konten fehlen der Unternehmens-IT zentrale Einstellungen, Protokolle, Aufbewahrungskontrollen und vertragliche Regeln. Ein Privatkonto mag eigene Datenschutzoptionen bieten, doch die IT kann sie weder erzwingen noch prüfen. Business-Angebote können dagegen das Training mit Firmendaten ausschließen, die Aufbewahrung begrenzen und Admin-Funktionen samt Vertrag zur Auftragsverarbeitung bieten. OpenAI etwa verwendet Eingaben und Ausgaben seiner Business-Produkte standardmäßig nicht zum Modelltraining. Solche Zusagen gelten aber immer nur für das konkrete Produkt, den konkreten Vertrag und die konkrete Konfiguration. Aufbewahrung, Protokollzugriff, Datenresidenz und Unterauftragsverarbeiter müssen einzeln geprüft werden, denn nicht jedes als "Business" vermarktete Angebot enthält dieselben Funktionen. So erfordert etwa Anthropics stärkstes Modell Fable 5 eine obligatorische 30-tägige Datenspeicherung zur Sicherheitsüberwachung. Diese Regelung setzt alle Vereinbarungen zur sofortigen Datenlöschung (Zero Data Retention / ZDR) auf allen Plattformen außer Kraft. Dass verwaltete Zugänge der praktikablere Weg sind als Verbote, zeigt Samsung selbst: Seit Juni 2026 führt der Konzern ChatGPT Enterprise und Codex für die Beschäftigten in Korea und weltweit für die Gerätesparte ein. Die Beschränkung von 2023 war kein Endzustand. Wichtig bleibt dennoch: Ein Firmenkonto senkt das Risiko, es hebt es nicht auf. Auch dort gilt Datensparsamkeit, Passwörter und Schlüssel bleiben grundsätzlich draußen. Was die KI kennt, kann sie ausplaudern Sobald Daten ein KI-System erreichen, bestehen mindestens drei typische Offenlegungswege. Der erste ist die Weitergabe an den Anbieter selbst: Er verarbeitet den Prompt und speichert oder nutzt ihn je nach Produkt, Vertrag und Einstellung, möglicherweise auch für das Training. Das ist zunächst keine Ausgabe an Dritte, entzieht die Daten aber der eigenen Kontrolle. Der zweite Weg führt über das Modellgedächtnis: Ein internationales Forscherteam unter Beteiligung von Google DeepMind demonstrierte schon 2023 einen sogenannten Divergenzangriff gegen das damalige ChatGPT. Die Aufforderung, ein Wort wie "poem" endlos zu wiederholen, brachte das Modell in einem Teil der Versuche dazu, von der Aufgabe abzuweichen und wörtliche Passagen aus seinen Trainingsdaten auszugeben, darunter Telefonnummern und Mail-Adressen. Für rund 200 US-Dollar Abfragekosten extrahierte das Team über viele Anfragen hinweg mehr als 10.000 eindeutige, wörtlich memorierte Trainingsbeispiele. Der dritte Weg betrifft Geheimnisse, die eine Anwendung zur Laufzeit in den Kontext lädt. Im Lernspiel Gandalf des Sicherheitsanbieters Lakera kennt das Modell ein Passwort und soll es zurückhalten. Mit jedem Level, das der Nutzer knackt, wird es schwieriger, das Passwort zu erhalten – unmöglich wird es jedoch nie. Denn eine reine Anweisung zur Geheimhaltung schützt ein Geheimnis nicht zuverlässig, wenn das Modell selbst Zugriff darauf hat. Eine Zugriffskontrolle muss verhindern, dass das Modell die Information überhaupt erhält, wenn seine Aufgabe sie nicht erfordert. Diese drei Wege sind die typischen, nicht die einzigen. Auch Anwendungsprotokolle, verbundene Tools und Plug-ins, Browser-Erweiterungen, Fehlkonfigurationen bei Freigaben oder kompromittierte Konten können Daten offenlegen. Für alle gilt dieselbe Logik: Vertrag und Einstellungen begrenzen die anbieterseitige Verarbeitung. Datenminimierung reduziert das Schadenspotenzial über alle Offenlegungswege hinweg. Und technische Zugriffskontrollen schützen die Daten, die zur Laufzeit geladen werden. Reduzieren geht in Sekunden, Anonymisieren braucht Sorgfalt Für viele Aufgaben braucht die KI keine echten Namen oder exakten Zahlen. Aus "Die Müller GmbH mit 2,3 Millionen Euro Jahresumsatz kündigt den Rahmenvertrag zum dritten Quartal" wird "Kunde A mit siebenstelligem Jahresumsatz kündigt den Rahmenvertrag". Platzhalter erhalten den geschäftlichen Zusammenhang und senken das Risiko spürbar. Bleibt die Zuordnung über Zusatzwissen oder eine getrennte Tabelle jedoch möglich, handelt es sich lediglich um Pseudonymisierung, die Daten bleiben weiter personenbezogen und schutzbedürftig. Datenschutzrechtlich anonym sind sie nach Erwägungsgrund 26 der DSGVO erst, wenn eine natürliche Person unter Berücksichtigung aller vernünftigerweise einsetzbaren Mittel nicht mehr identifizierbar ist. Kennt ein kleiner Kreis nur einen passenden Kunden, bleibt "Kunde A" identifizierbar. Die DSGVO schützt dabei natürliche Personen, nicht juristische. Firmennamen und Vertragsdetails können aber unabhängig davon als Geschäftsgeheimnis vertraulich sein. Echte Anonymisierung erreicht, wer Rückschlüsse dauerhaft ausschließt. Praktisch kann das heißen: Exakte Werte zu Spannen vergröbern, Einzelfälle zu Gruppen zusammenfassen, einzigartige Merkmale löschen und eine etwaige Zuordnungstabelle vernichten. Wer mit entsprechenden Anforderungen konfrontiert ist, sollte sich Rechtsberatung einholen. Werkzeuge nehmen Handarbeit ab, ersetzen aber keine Prüfung Wer die Vorverarbeitung nicht der Disziplin jedes Einzelnen überlassen will, kann sie lokal automatisieren. Regeln, Entitätserkennung und Secret-Scanner können Namen, E-Mail-Adressen, Kundennummern, IBANs und API-Keys erkennen und konsistent durch Platzhalter ersetzen, bevor der Prompt das Haus verlässt. Verlässlich ist das nicht von allein: Die Werkzeuge produzieren falsch positive wie falsch negative Treffer, und organisationsspezifische Begriffe müssen als eigene Regeln hinterlegt werden. Etabliert ist beispielsweise das ursprünglich bei Microsoft entwickelte, heute gemeinschaftlich verwaltete Open-Source-Projekt Presidio, eine Werkzeugsammlung, die Entitätserkennung, reguläre Ausdrücke, Kontextregeln und Prüfsummen kombiniert. Eine mögliche Architektur ist die vorgeschaltete Proxy-Schicht: Eingaben werden vor dem Aufruf des Modellanbieters maskiert, in der Antwort können die Platzhalter wieder durch die Originalwerte ersetzt werden. Diese Rückübersetzung muss ausdrücklich implementiert werden, und die dafür nötige Zuordnungstabelle ist selbst hochsensibel: Sie gehört lokal, verschlüsselt und nur so lange wie nötig gespeichert. Wichtig auch hier: Ein Verfahren, das Werte wiederherstellen kann, ist reversibel und damit eine Pseudonymisierung, keine Anonymisierung. Für Zugangsdaten leisten Secret-Scanner wie TruffleHog oder Gitleaks die Vorarbeit. Sie ersetzen nichts, sondern erkennen und melden verdächtige Geheimnisse. Damit ein Fund die Übertragung tatsächlich stoppt, müssen sie in ein Prompt-Gateway oder einen Upload-Workflow eingebunden werden. Zwei Dinge übersieht die Automatik jedoch leicht: Seltene Kombinationen: Auch ohne Namen kann die Verbindung aus Rolle, Ort, Datum und exakter Summe eine Person eindeutig erkennbar machen. Solche Angaben sollten vergröbert werden. Versteckte Dateimetadaten: Dokumente können Autorennamen, Kommentare, nachverfolgte Änderungen und Dateipfade enthalten, Bilder Aufnahmezeit und GPS-Koordinaten. All das reist beim Hochladen mit und sollte vorher entfernt werden. Datenampel und der 10-Sekunden-Check Für den Alltag hilft eine einfache Ampel, ergänzt um einen kurzen Selbstcheck vor dem Absenden. Rot steht für Passwörter, Zugangsdaten und API-Keys. Solche Daten gehören in kein KI-Tool, unabhängig vom Konto. Gelb steht für personenbezogene und vertrauliche Inhalte wie Namen, Kundenlisten, Verträge oder internen Code. Sie dürfen nur verarbeitet werden, wenn die konkrete Nutzung freigegeben, erforderlich und rechtlich zulässig ist und der Dienst technisch wie vertraglich geprüft wurde. Wo möglich, werden die Daten zuvor reduziert oder pseudonymisiert. Ein Firmenkonto allein ist keine Rechtsgrundlage. Grün steht für öffentliche Informationen und eigene, unkritische Entwürfe. Auch ein selbst verfasster Text kann vertraulich sein, etwa ein Strategiepapier oder ein Übernahmeentwurf. Vor dem Absenden helfen drei Fragen: Stehen echte Daten im Text? Benötigt die Aufgabe wirklich diese Daten? Läuft der Chat im richtigen Konto? Als Faustregel taugt die Probe, ob man denselben Inhalt ungeschützt an einen fremden Dienstleister mailen würde. System-Prompts sind keine Geheimnisse Viele KI-Anwendungen starten mit einem System-Prompt. Diese interne Anweisung legt vor der Nutzereingabe fest, welche Rolle, Aufgabe, Ausgabeform und Regeln für das Modell gelten. Sie kann gezielt abgefragt oder versehentlich in einer Antwort ausgegeben werden. OWASP beschreibt das unter LLM07 System Prompt Leakage und zieht eine klare Grenze: Der System-Prompt sollte nicht als Geheimnis betrachtet und nicht als Sicherheitskontrolle verwendet werden. Zugangsdaten, Verbindungszeichenfolgen und vertrauliche Geschäftsregeln gehören nicht hinein. Für verbreitete Systeme kursieren in öffentlichen Sammlungen mutmaßlich geleakte oder rekonstruierte System-Prompts, deren Authentizität und Aktualität sich allerdings nicht immer verifizieren lässt. Ein Leck wird besonders relevant, wenn Entwickler Transaktionsgrenzen, Rollenregeln oder Berechtigungen nur im System-Prompt beschreiben. Kennt ein Angreifer den Wortlaut, kann er diese Grenzen gezielt ansteuern oder per Prompt Injection zu umgehen versuchen. Autorisierung, Rechteprüfung und Geschäftsregeln müssen deshalb deterministisch und auditierbar außerhalb des Modells erfolgen, im Backend und bei jeder Anfrage neu. Das Modell darf eine Regel erklären oder eine Aktion vorschlagen. Die Freigabe erteilt das Zielsystem. Auch die Wissensdatenbank kann lecken Viele Firmenassistenten ergänzen das Modell um interne Quellen. Dieses Verfahren heißt Retrieval Augmented Generation. OWASP fasst die zugehörigen Risiken unter LLM08 Vector and Embedding Weaknesses zusammen, und der Kern lautet: Vektorspeicher sind Datenspeicher und brauchen dieselbe Zugriffskontrolle wie jede andere Datenbank. Die Kategorie umfasst mehrere unterschiedliche Schwächen: Fehlerhafte Berechtigungen können Informationen zwischen Abteilungen oder Mandanten vermischen, sodass Embeddings einer Gruppe bei Anfragen einer anderen auftauchen. Angriffe zur Embedding-Inversion können zudem Teile des Ursprungstextes rekonstruieren. Und manipulierte Dokumente lassen sich so gestalten, dass sie bei semantisch ähnlichen Anfragen bevorzugt abgerufen werden und anschließend die Modellausgabe beeinflussen, ohne dass die Antworten auffällig wirken. Schutz bietet eine berechtigungsbewusste Vektordatenbank, die Bestände logisch trennt und Zugriffsrechte vor oder während des Retrievals prüft, nicht erst, nachdem unzulässige Inhalte bereits im Kontextfenster gelandet sind. Quellen müssen dann vor der Aufnahme validiert, klassifiziert und regelmäßig auf Manipulation geprüft werden. Unveränderliche Protokolle können zusätzlich zeigen, wer welche Inhalte abgerufen hat. Die Zugriffskontrolle gehört dabei an die Datenbank und nicht in einen Prompt. Vier Regeln für den Alltag Das Modell sollte also nur die Daten sehen, die seine Aufgabe verlangt. Vier Regeln setzen diesen Grundsatz auf den vier Ebenen um, auf denen Daten das Unternehmen verlassen können. Nur freigegebene Konten und Dienste verwenden. Externe KI läuft ausschließlich über verwaltete Unternehmenszugänge, deren Vertrag, Datenverwendung, Aufbewahrung und Protokollierung geprüft wurden. Das Firmenkonto ist die Basis, aber kein Freibrief für vertrauliche Daten. Vor dem Absenden klassifizieren und reduzieren. Die Datenampel und der 10-Sekunden-Check entscheiden, was überhaupt in den Prompt darf, Platzhalter und Vergröberung ersetzen, was die Aufgabe nicht braucht. Wo verfügbar, übernimmt eine lokale Vorverarbeitung diese Arbeit, ihre Treffsicherheit muss aber geprüft und um eigene Regeln ergänzt werden. Geheimnisse konsequent heraushalten. Passwörter, API-Keys und Zugangsdaten gehören weder in Prompts noch in System-Prompts noch in Wissensbestände, unabhängig vom Konto. Secret-Scanner im Upload-Weg fangen ab, was der Routine entgeht. Zugriffskontrolle außerhalb des Modells erzwingen. Anmeldung, Autorisierung und Geschäftsregeln prüft das Backend deterministisch bei jeder Anfrage, die Vektordatenbank filtert Rechte schon vor dem Retrieval. Eine Anweisung an das Modell ist keine Sicherheitsgrenze.

KI-Sicherheit im Unternehmen: Wie vertrauliche Daten über das Chatfenster nach außen wandern

heise KI PROKI VERSTEHEN UND ANWENDEN

heise KI PRO
KI VERSTEHEN UND ANWENDEN