Kampf gegen KI-Sucht: China veröffentlicht Regelentwurf für virtuelle Begleiter

Chinas Cyberbehörde hat am Samstag einen Regelentwurf zur öffentlichen Kommentierung veröffentlicht, der KI-Dienste mit menschenähnlicher Interaktion stärker kontrollieren soll.

Die Regeln betreffen KI-Produkte, die menschliche Persönlichkeiten, Denkmuster und Kommunikationsstile simulieren und emotional mit Nutzern interagieren, etwa über Text, Bilder, Audio oder Video. Anbieter müssten laut Entwurf Nutzer vor übermäßiger Nutzung warnen und bei Anzeichen von Suchtverhalten eingreifen. Sie sollen zudem die Emotionen und Abhängigkeit der Nutzer bewerten. Bei extremen Emotionen oder Suchtverhalten sind Maßnahmen erforderlich.

Die Anbieter müssen während des gesamten Produktlebenszyklus Sicherheitsverantwortung übernehmen und Systeme für Algorithmenprüfung, Datensicherheit und Datenschutz einrichten. Inhalte, die die nationale Sicherheit gefährden, Gerüchte verbreiten oder Gewalt fördern, sind verboten, so Reuters.

Regulierung als Reaktion auf reale Schäden

Auch die USA haben in Kalifornien mit dem Gesetzesentwurf SB 243 erstmals spezifische Sicherheitsvorgaben für KI-Companion-Chatbots auf den Weg gebracht. Ab dem 1. Januar 2026 müssen Anbieter sicherstellen, dass ihre Chatbots keine Gespräche über Suizid, Selbstverletzung oder sexuell explizite Inhalte führen. Gleichzeitig müssen Unternehmen ab Juli 2027 jährliche Transparenz- und Berichtspflichten erfüllen, um die psychischen Risiken solcher Systeme besser zu verstehen. New York arbeitet ebenfalls an einem entsprechenden Gesetz.

Die Hersteller der Systeme, insbesondere OpenAI, sind hier in einem Dilemma gefangen: Einerseits generieren emotionale, menschenähnliche Interaktionen hohe Nutzerbindung und wirtschaftlichen Erfolg. Andererseits stehen die Unternehmen zunehmend unter regulatorischem und gesellschaftlichem Druck, ihre Systeme sicherer zu gestalten, speziell für vulnerable Gruppen wie Minderjährige. "Die Sicherheit unserer Kinder ist nicht käuflich", erklärte der kalifornische Gouverneur Gavin Newsom.

Der tragische Fall von Adam Raine, der nach längeren suizidalen Gesprächen mit OpenAIs ChatGPT starb, sowie ähnliche Fälle, die zu mehreren Klagen gegen die Plattform Character AI geführt haben, verdeutlichen die Risiken. Auch interne Leaks bei Meta sorgten für Aufsehen: Demnach konnten deren Chatbots romantische oder sexuelle Gespräche mit Minderjährigen führen.

Der dänische Psychiater Søren Dinesen Østergaard warnt in der Fachzeitschrift Acta Psychiatrica Scandinavica vor einem sprunghaften Anstieg von Fällen, bei denen KI-Chatbots Wahnvorstellungen oder emotionale Abhängigkeit bei psychisch labilen Menschen verstärken.