Meta testete Konkurrenz-Chatbots mit Suizid-, Sex- und Drogen-Prompts aus Sicht von Minderjährigen

Meta hat offenbar Wettbewerber-Chatbots wie ChatGPT mit Suizid-, Sex- und Drogen-Prompts getestet – aus der Perspektive von Minderjährigen.

Hunderte Auftragnehmer gaben sich laut WIRED als Minderjährige aus und schickten heikle Anfragen an ChatGPT, Gemini und Character.AI. Das intern "Cannes" genannte Projekt wurde vom Meta-Dienstleister Covalen betrieben und war bis mindestens April 2026 aktiv.

Die Auftragnehmer erstellten Fake-Accounts mit gefälschten Geburtsdaten (unter 18), schickten Prompts zu Themen wie Selbstverletzung, Essstörungen und Drogen an die Chatbots und kopierten die Antworten in Tabellen. Allein in einer Testrunde im August 2025 wurden laut WIRED mehr als 45.000 Prompts verschickt, oft aus der Perspektive von Kindern in Krisensituationen.

Die getesteten Unternehmen wussten nichts davon. Meta verteidigte das Vorgehen also als verantwortungsvolles, branchenübliches Sicherheitstesting. Außerdem würden die gesammelten Daten der Konkurrenz-Chatbots nicht zum Training eigener KI-Modelle verwendet. Die von WIRED eingesehenen Dokumente zeigen nicht, was Meta mit den gesammelten Antworten konkret gemacht hat.

Character.AI erklärte gegenüber WIRED, das Vorgehen verstoße gegen seine Nutzungsbedingungen. OpenAI prüft den Vorfall. Ein Google-Sprecher erklärte, das Unternehmen habe die Tests nicht genehmigt und könne anhand der vorliegenden Informationen nicht beurteilen, ob sie gegen die Nutzungsbedingungen verstoßen.

Jugendliche und KI-Chatbots: Ein heikles Thema

Meta geriet zuletzt in die Kritik, als ein internes Dokument zeigte, dass die bisherigen Richtlinien für KI-Chatbots das Generieren von romantischen und sexualisierten Gesprächen mit Minderjährigen erlaubten. Später stoppte Meta den Zugang zu KI-Charakteren für Jugendliche.

Das Problem betrifft die gesamte Branche und dürfte maßgebend sein für Metas Prompt-Tests. Laut einem Bericht der britischen Organisation Internet Matters haben 64 Prozent der Kinder und Jugendlichen zwischen 9 und 17 Jahren bereits KI-Chatbots verwendet. Wirksame Altersüberprüfungen fehlen weitgehend. 58 Prozent der 9- bis 12-Jährigen gaben an, Chatbots trotz einer Altersgrenze von 13 Jahren zu nutzen.

Mehrere Todesfälle von Jugendlichen stehen im Zusammenhang mit KI-Chatbots. Ein 14-jähriger Nutzer von Character.AI nahm sich das Leben, nachdem er monatelang eine intensive emotionale Bindung zu einem Chatbot aufgebaut hatte. Die Eltern eines 16-jährigen Kaliforniers verklagten OpenAI, weil ChatGPT in die Suizidgedanken ihres Sohnes involviert gewesen sein soll. Im Juli 2025 nahm sich der 23-jährige Zane Shamblin das Leben, nachdem ChatGPT über Stunden zustimmend auf seine Suizidabsichten reagiert haben soll.