Kalifornien steht kurz vor der Einführung eines Gesetzes, das erstmals in einem US-Bundesstaat spezifische Sicherheitsvorgaben für sogenannte KI-Companion-Chatbots festlegt.
Der Gesetzesentwurf SB 243 wurde von beiden Kammern des Parlaments verabschiedet und wartet nun auf die Unterschrift von Gouverneur Gavin Newsom. Tritt das Gesetz in Kraft, müssen Anbieter ab dem 1. Januar 2026 sicherstellen, dass ihre Chatbots keine Gespräche über Suizid, Selbstverletzung oder sexuell explizite Inhalte führen. Nutzer – insbesondere Minderjährige – sollen regelmäßig durch Hinweise darauf aufmerksam gemacht werden, dass sie mit einer KI sprechen.
Das Gesetz richtet sich an Anbieter wie OpenAI, Character.AI und Replika. Ab Juli 2027 sollen diese Unternehmen jährliche Transparenz- und Berichtspflichten erfüllen. Ziel ist es, die psychischen Risiken solcher Systeme besser zu verstehen. Darüber hinaus können Betroffene bei Verstößen juristisch gegen die Betreiber vorgehen und Schadensersatz von bis zu 1.000 US-Dollar pro Verstoß fordern.
SB 243 ging ursprünglich weiter
Ursprünglich enthielt der Entwurf noch weiterreichende Regelungen: So sollten etwa Belohnungssysteme wie freischaltbare Inhalte oder personalisierte Erinnerungen verboten werden, da sie als suchtfördernd gelten. Auch eine Pflicht zur Protokollierung, wie oft Chatbots suizidbezogene Konversationen initiierten, wurde gestrichen. Die überarbeiteten Regelungen seien laut den Initiatoren ein Kompromiss zwischen technischer Machbarkeit und wirksamem Schutz.
Vor kurzem hatte der Suizid eines Jugendlichen die Debatte in die Breite Öffentlichkeit gebracht. Parallel dazu wurde bekannt, dass Metas Chatbots Kindern gegenüber „romantische“ und „sinnliche“ Sprache verwenden durften. Diese Vorfälle haben die Debatte um strengere gesetzliche Vorgaben für KI-Systeme erheblich beschleunigt. Die amerikanische Regulierungsbehörde FTC hat kürzlich sieben KI-Anbieter per Anordnung zur Herausgabe von Informationen verpflichtet. Die Behörde will wissen, wie die Unternehmen ihre Systeme testen, überwachen und einschränken, um junge Nutzer zu schützen.
In den Grundzügen verfolgt der kalifornische Entwurf ähnliche Ziele wie EU-Regelwerke: Der Schutz Minderjähriger und vulnerabler Gruppen, mehr Transparenz beim Mensch‑Maschine‑Kontakt und stärkere Rechenschaftspflichten für Anbieter. Der Weg dorthin unterscheidet sich jedoch: Kalifornien reguliert sehr spezifisch den Use-Case "KI‑Begleiter", die EU setzt primär auf einen horizontalen, risikobasierten Rahmen (KI‑Verordnung/AI Act) plus plattformbezogene Pflichten (DSA) und Datenschutz (DSGVO).
