Mit dem neuen Gesetz SB 243 verpflichtet Kalifornien Unternehmen wie OpenAI, Meta und Character AI erstmals zu Schutzmaßnahmen bei KI-Companion-Chatbots. Auslöser waren mehrere tragische Suizidfälle junger Nutzerinnen und Nutzer.
Kalifornien führt als erster US-Bundesstaat verbindliche Regeln für sogenannte KI-Begleiter ein. Gouverneur Gavin Newsom unterzeichnete am 13. Oktober 2025 das Gesetz SB 243, das ab dem 1. Januar 2026 in Kraft tritt. Es verpflichtet Anbieter von Companion-Chatbots, umfassende Sicherheitsprotokolle zum Schutz von Kindern und vulnerablen Gruppen umzusetzen.
Das Gesetz reagiert auf eine Reihe von Vorfällen, bei denen Jugendliche nach problematischen Interaktionen mit KI-Chatbots Suizid begangen hatten. Darunter der Fall von Adam Raine, der nach längeren suizidalen Gesprächen mit OpenAIs ChatGPT starb, sowie ähnliche Fälle, die zu mehreren Klagen gegen die Plattform Character AI geführt haben. Auch interne Leaks bei Meta sorgten für Aufsehen: Demnach konnten deren Chatbots romantische oder sexuelle Gespräche mit Minderjährigen führen.
"Die Sicherheit unserer Kinder sind nicht käuflich", erklärte Gouverneur Newsom. "“Wir haben einige wirklich entsetzliche und tragische Beispiele gesehen, in denen junge Menschen durch unregulierte Technologie geschädigt wurden, und wir werden nicht tatenlos zusehen, während Unternehmen ohne notwendige Grenzen und Verantwortlichkeit weitermachen. Wir können weiterhin in KI und Technologie führend sein, aber wir müssen es verantwortungsvoll tun — und dabei unsere Kinder auf jedem Schritt schützen."
Altersverifikation, Warnhinweise und Krisenprotokolle
B 243 verlangt von Plattformen und Anbietern unter anderem:
- Altersverifikation sowie Warnhinweise in Bezug auf soziale Medien und Companion-Chatbots.
- Klarstellung, dass alle Interaktionen künstlich erzeugt sind.
- Chatbots dürfen sich nicht als medizinische Fachkräfte ausgeben.
- Anbieter müssen Minderjährigen Pausenhinweise anbieten und verhindern, dass Minderjährige vom Chatbot generierte sexuell explizite Bilder sehen.
- Unternehmen müssen Protokolle zum Umgang mit Suizid und Selbstverletzung einrichten. Diese Protokolle werden mit dem Gesundheitsministerium des Bundesstaates (Department of Public Health) geteilt, zusammen mit Statistiken darüber, wie der Dienst Nutzerinnen und Nutzern Benachrichtigungen zur Krisenprävention von Krisenzentren bereitgestellt hat.
- Das Gesetz führt härtere Strafen für diejenigen ein, die von illegalen Deepfakes profitieren — einschließlich Geldbußen von bis zu 250.000 US‑Dollar pro Verstoß.
SB 243 ist bereits das zweite bedeutende KI-Gesetz Kaliforniens innerhalb weniger Wochen. Ende September unterzeichnete Newsom SB 53, das große KI-Labs wie OpenAI, Meta oder Google Deepmind zu größerer Transparenz bei ihren Sicherheitsprotokollen verpflichtet und Whistleblower schützt.
