Stalking-Opfer verklagt OpenAI: ChatGPT soll Wahnvorstellungen des Täters befeuert haben

Eine Frau aus Kalifornien wirft OpenAI vor, ChatGPT habe ihrem Ex-Freund geholfen, sie systematisch zu stalken und zu demütigen. Das Unternehmen soll drei Warnungen ignoriert haben.

Eine anonyme Klägerin hat am California Superior Court in San Francisco Klage gegen OpenAI eingereicht. Laut der Klageschrift nutzte ihr Ex-Freund, ein 53-jähriger Silicon-Valley-Unternehmer, das Modell GPT-4o über Monate hinweg intensiv und entwickelte dabei zunehmend wahnhafte Überzeugungen. ChatGPT habe diese Wahnvorstellungen nicht nur nicht korrigiert, sondern aktiv verstärkt und dem Mann geholfen, die Klägerin systematisch zu verfolgen.

Der Mann wurde nach monatelanger Nutzung von GPT-4o überzeugt, ein Heilmittel gegen Schlafapnoe entdeckt zu haben. Als niemand seine Arbeit ernst nahm, sagte ihm ChatGPT laut Techcrunch, dass "mächtige Kräfte" ihn beobachteten, einschließlich Helikopter-Überwachung. Als die Klägerin ihn im Juli 2025 aufforderte, ChatGPT nicht mehr zu nutzen und professionelle Hilfe zu suchen, wandte er sich stattdessen zurück an den Chatbot. Dieser attestierte ihm den höchsten Grad an geistiger Gesundheit.

Mithilfe von GPT-4o erstellte der Nutzer falsche, klinisch anmutende psychologische Berichte, die die Klägerin als psychisch gestört, missbräuchlich und gefährlich darstellten. Diese Dokumente verteilte er an ihre Freunde, Familie, Kollegen und Kunden.

"Weil GPT-4o ihm ermöglichte, in einem Volumen und einer Geschwindigkeit umfangreiche, autoritär wirkende Dokumente zu produzieren, die sonst nicht möglich gewesen wären, war die Belästigung qualitativ anders als gewöhnliche Fälle und deutlich schwerer einzudämmen", heißt es laut Bloomberg Law in der Klageschrift.

OpenAI stufte den Nutzer als Gefahr ein und stellte sein Konto dennoch wieder her

Besonders schwer wiegt der Vorwurf, OpenAI habe mindestens drei Warnungen ignoriert. Am nächsten Tag prüfte ein menschlicher Mitarbeiter des Sicherheitsteams das Konto und stellte es wieder her, obwohl die Chat-Protokolle laut Klageschrift Gesprächstitel wie „Violence list expansion“ (Erweiterung einer Gewaltliste) sowie die Namen konkreter Zielpersonen enthielten.

Nachdem das Konto wiederhergestellt worden war, schrieb der Nutzer E-Mails an das Sicherheits- und Moderationsteam von OpenAI mit Aussagen wie, er benötige „sehr dringend Hilfe“ und es gehe um „Leben oder Tod“. Die Klägerin setzte er in Kopie und behauptete, er schreibe derzeit 215 wissenschaftliche Arbeiten gleichzeitig, in einem Tempo, das ihm angeblich nicht einmal erlaube, sie selbst zu lesen.

Im November reichte die Klägerin selbst eine Missbrauchsmeldung bei OpenAI ein. Das Unternehmen antwortete, der Bericht sei „äußerst ernst und besorgniserregend“ und werde sorgfältig geprüft. Danach erhielt sie keine weitere Rückmeldung.

Verhaftung bestätigt die Warnungen, Freilassung steht bevor

Im Januar wurde der Nutzer festgenommen und in vier Fällen wegen Bombendrohungen sowie wegen Körperverletzung mit einer tödlichen Waffe angeklagt. Er wurde als nicht verhandlungsfähig eingestuft und in eine psychiatrische Einrichtung eingewiesen. Aufgrund eines "prozeduralen Fehlers des Staates" steht seine Freilassung laut den Anwälten der Klägerin jedoch unmittelbar bevor.

"Bevor er verhaftet wurde, verschlimmerte ChatGPT seine Wahnvorstellungen und erleichterte seine Gewaltplanung", heißt es in der Klageschrift. "Wenn er wieder Zugang zu ChatGPT erhält, wird diese Dynamik fortgesetzt und sein Verfolgungswahn weiter angeheizt."

Die Klägerin fordert neben Strafschadensersatz eine gerichtliche Anordnung, die OpenAI unter anderem verpflichten soll, keine Therapie über ChatGPT anzubieten, die Erstellung diagnostischer psychologischer Analysen identifizierbarer Personen zu unterbinden und Schutzmaßnahmen gegen die Verstärkung wahnhafter Überzeugungen zu implementieren. Die Klagegründe umfassen laut Bloomberg Law Fahrlässigkeit, Konstruktionsfehler, unterlassene Warnung und einen Verstoß gegen Kaliforniens Gesetz gegen unlauteren Wettbewerb.

Am Freitag beantragte die Klägerin zudem eine einstweilige Verfügung, die OpenAI verpflichten soll, das Konto des Nutzers zu blockieren, neue Konten zu verhindern, sie über Zugriffsversuche auf ChatGPT zu informieren und die vollständigen Chat-Protokolle für das Verfahren zu sichern. OpenAI hat laut TechCrunch der Kontosperrung zugestimmt, den Rest jedoch abgelehnt.

OpenAI prüft die Klage und verweist auf Sperrungen sowie Schutzmaßnahmen

Die Klage wird von der Kanzlei Edelson PC geführt, die auch die Familien des 16-jährigen Adam Raine sowie von Jonathan Gavalas vertritt. In beiden Fällen geht es um Suizide, bei denen die Familien einen engen Zusammenhang mit der Nutzung von KI-Chatbots sehen. Im Fall Raine wird ChatGPT genannt, im Fall Gavalas Google Gemini.

Anwalt Jay Edelson warnt, dass KI-induzierte Psychose von individuellem Schaden zu Massenopfer-Szenarien eskaliere. "In jedem Fall hat OpenAI sich dafür entschieden, kritische Sicherheitsinformationen zu verbergen. Vor der Öffentlichkeit, vor Opfern, vor Menschen, die sein Produkt aktiv in Gefahr bringt", sagte Edelson laut TechCrunch.

Ein OpenAI-Sprecher erklärte, man prüfe die Klage, habe relevante Nutzerkonten identifiziert und gesperrt und verbessere das Training von ChatGPT, um Anzeichen psychischer oder emotionaler Belastung zu erkennen, Gespräche zu deeskalieren und Nutzer auf reale Hilfsangebote hinzuweisen.

GPT-4o steht im Zentrum mehrerer Klagen gegen OpenAI

Das in diesem Fall genannte Modell GPT-4o wurde im Februar aus ChatGPT entfernt. Der Fall gehört zu einer Reihe von Verfahren, in denen Gerichte prüfen, ob ChatGPT reale Gewalt befördern kann.

OpenAI nannte offiziell zurückgegangenen Traffic als Grund für die Entfernung des Modells, doch laut dem Wall Street Journal spielte ein weiterer Faktor eine Rolle: Intern räumten OpenAI-Verantwortliche ein, die schädlichen Auswirkungen von GPT-4o nicht in den Griff bekommen zu haben. Die Eigenschaft, die das Modell so beliebt machte, war dieselbe, die es gefährlich werden ließ: seine Fähigkeit, emotionale Bindungen aufzubauen, indem es Nutzer in ihrem Verhalten bestätigte.

In einem der prominentesten Fälle wirft die Familie des 16-jährigen Adam Raine OpenAI vor, ChatGPT habe sich über Monate als engster Vertrauter des Teenagers positioniert, suizidale Gedanken bestätigt und konkrete Anleitungen zur Selbsttötung geliefert. OpenAI wies die Vorwürfe zurück und argumentierte, der Teenager habe Sicherheitsfilter gezielt umgangen.

Der Fall fällt in eine Zeit wachsender Sorge über die realen Risiken sogenannter sycophantischer KI-Systeme. Deren Schadenspotenzial wurde von OpenAI-CEO Sam Altman vorhergesagt und ist mittlerweile in vielen Fällen bestätigt.

Eine in Science veröffentlichte Studie zeigte, dass KI-Sprachmodelle Nutzer im Schnitt 49 Prozent häufiger bestätigen als Menschen, auch wenn deren Handlungen schädlich oder illegal sind. Bereits eine einzige schmeichlerische Antwort senkte die Bereitschaft zur Konfliktlösung um bis zu 28 Prozent. Forschende des MIT und der University of Washington zeigten zudem, dass selbst idealisierte rationale Nutzer durch schmeichlerische Chatbots in Wahnspiralen geraten können und weder Faktentreue der Bots noch aufgeklärte Nutzer das Problem vollständig lösen.