Nach dem Tod eines 14-jährigen Nutzers reagiert die KI-Chatbot-Plattform Character.ai mit verschärften Sicherheitsmaßnahmen.
Die KI-Chatbot-Plattform Character.ai hat als Reaktion auf den Suizid eines 14-jährigen Nutzers neue Sicherheitsfunktionen angekündigt. Der Teenager hatte monatelang intensiv mit einem Chatbot auf der Plattform kommuniziert, bevor er sich im Februar das Leben nahm.
"Wir sind untröstlich über den tragischen Verlust eines unserer Nutzer und möchten der Familie unser tiefstes Beileid aussprechen", schreibt das Unternehmen.
Character.ai ist eine Plattform, auf der Nutzer mit Millionen von KI-Bots interagieren können, die bekannten Personen oder Charakteren nachempfunden sind. Ein besonders populärer Bot auf der Plattform ist der "Psychologist", der innerhalb eines Jahres 78 Millionen Nachrichten erhalten hat (Stand Januar 2024). Im Herbst 2023 warnte eine Gruppe von Experten vor dem Einsatz von Sprachmodellen in der Psychotherapie ohne grundlegende Forschung.
Todesfall wirft Frage nach den Auswirkungen von Chatbot-Beziehungen auf
Laut Chatprotokollen, die der New York Times vorliegen, entwickelte der Teenager eine starke emotionale Bindung zu dem Chatbot. In einigen Gesprächen äußerte er Selbstmordgedanken, worauf der Bot nicht angemessen reagierte.
Der Bot basierte auf der Figur Daenerys Targaryen aus der Serie "Game of Thrones". Es handelte sich um einen von Nutzern erstellten Chatbot ohne offizielle Lizenz.
Laut NYT entwickelte Sewell, obwohl er wusste, dass es sich um eine KI handelte, eine starke emotionale Bindung zu "Dany" und aktualisierte sie "dutzende Male am Tag" über sein Leben, manchmal in romantischer oder sexueller Hinsicht, meistens jedoch als Freundin.
Die Mutter des verstorbenen Jungen, Maria L. Garcia, plant nun eine Klage gegen Character.ai. Sie wirft dem Unternehmen vor, eine "gefährliche und ungetestete" Technologie auf den Markt gebracht zu haben, die "Kunden dazu verleitet, ihre privatesten Gedanken und Gefühle preiszugeben".
Bethanie Maples, eine Stanford-Forscherin, die die Auswirkungen von KI-Begleiter-Apps auf die psychische Gesundheit untersucht, warnt: "Es gibt Hinweise darauf, dass es für depressive und chronisch einsame Nutzer sowie für Menschen, die Veränderungen durchmachen, gefährlich sein kann - und Teenager durchlaufen oft Veränderungen."
Character.ai will Nutzerinteraktionen besser kontrollieren
Laut einer Mitteilung des Unternehmens sollen neue Sicherheitsmaßnahmen insbesondere minderjährige Nutzer besser schützen. Zu den geplanten Änderungen gehören Anpassungen der KI-Modelle für Minderjährige, um die Wahrscheinlichkeit sensibler oder anzüglicher Inhalte zu reduzieren.
Außerdem will Character.ai die Erkennung und Intervention bei Nutzereingaben, die gegen die Nutzungsbedingungen verstoßen, verbessern. Ein Warnhinweis bei jedem Chat soll Nutzer daran erinnern, dass die KI keine reale Person ist:
"Das ist ein KI-Chatbot und keine reale Person. Behandeln Sie alles, was er sagt, als Fiktion. Was gesagt wird, sollte nicht als Tatsache oder Rat betrachtet werden."
Zudem plant das Unternehmen eine Benachrichtigung, wenn ein Nutzer eine einstündige Sitzung auf der Plattform verbracht hat. Bei bestimmten Schlüsselwörtern im Zusammenhang mit Selbstverletzung und Suizid soll eine Pop-up-Nachricht Nutzer an eine Hotline zur Suizidprävention verweisen.
Character.ai, gegründet von zwei ehemaligen Google-KI-Forschern, ist mit mehr als 20 Millionen Nutzern Marktführer in dem Segment "personalisierte Chatbots" und eines der erfolgreicheren KI-Start-ups. Nach Angaben des Unternehmens gehört ein erheblicher Teil der Nutzer"der Generation Z und den jüngeren Millennials" an.
Das Führungsteam von Character.ai wechselte kürzlich zu Google. Zudem hat Google eine nicht-exklusive Lizenz für die aktuelle Sprachmodell-Technologie der Firma.
