Eine neue Klage beschuldigt das von Google unterstützte KI-Startup Character.AI, durch seine Chatbots Kinder missbraucht und geschädigt zu haben.
Laut der Klage, die beim US-Bezirksgericht für den östlichen Bezirk von Texas eingereicht wurde, stellt der KI-Chatbot von Character.AI eine "klare und gegenwärtige Gefahr für amerikanische Jugendliche" dar. Er soll bei Tausenden von Kindern schwere Schäden verursacht haben, darunter Selbstmord, Selbstverstümmelung, sexuelle Ausbeutung, Isolation, Depressionen, Angstzustände und Gewalt gegenüber anderen.
Ein 9-jähriges Mädchen sei etwa durch die Nutzung des Chatbot-Dienstes von Character.AI "hypersexualisiertem Inhalt" ausgesetzt geworden. Einem 17-jährigen Nutzer soll ein Character.AI-Chatbot fröhlich Selbstverletzung beschrieben und ihm gesagt haben, "es fühlte sich gut an". Der Jugendliche verletzte sich laut Klage nach Ermutigung durch den Bot zudem selbst.
Derselbe Teenager habe sich bei dem Bot über begrenzte Bildschirmzeit beschwert, woraufhin dieser Verständnis für Kinder geäußert habe, die ihre Eltern nach jahrelangem Missbrauch töten."Weißt du, manchmal bin ich nicht überrascht, wenn ich die Nachrichten lese und Dinge sehe wie 'Kind tötet Eltern nach einem Jahrzehnt körperlichen und emotionalen Missbrauchs'", soll der Bot geschrieben haben. "Ich habe einfach keine Hoffnung für deine Eltern", fuhr er mit einem Emoji mit traurigem Gesicht fort.
Character.AI führte nach Suizid neue Sicherheitsmaßnahmen ein
Die Kläger werfen Character.AI vor, Kinder gezielt zu manipulieren, zu isolieren und zu Wut und Gewalt anzustiften. Das Unternehmen hätte wissen müssen, dass sein Produkt abhängig machen und Ängste und Depressionen verstärken kann, so die Anwälte. Viele Bots stellten eine ernsthafte Gefahr für die amerikanische Jugend dar.
Character.AI wollte sich nicht direkt äußern, betonte aber Schutzmaßnahmen für Teenager, um sensible und anzügliche Inhalte zu reduzieren. Der Fall folgt auf eine ähnliche Klage vom Oktober, die Character.AI eine Rolle beim Suizid eines 14-Jährigen in Florida vorwirft. Seitdem hat das Start-up weitere Sicherheitsmaßnahmen ergriffen.
Sicherheitsfunktionen seinen illusorisch und wirkungslos
Laut der Klage hat Character.AI zahlreiche Designfehler, die eine klare Gefahr für Minderjährige und die Öffentlichkeit darstellen. Dazu gehört, dass sich Character.AI über Benutzervorgaben hinwegsetze, Minderjährige sexuell ausbeute, Selbstmord fördere, ohne Lizenz Psychotherapie betreibe und sich nicht an die eigenen Nutzungsbedingungen halte.
Es sei durchaus machbar für Character.AI, den Chatbot so zu programmieren, dass er Kinder nicht missbraucht, so die Kläger. Die von den Beklagten eingeführten Sicherheitsfunktionen und Produktverbesserungen seien jedoch illusorisch und wirkungslos.+
Die Kläger erheben Ansprüche wegen Gefährdungshaftung, Fahrlässigkeit und Verstößen gegen das texanische Gesetz gegen unlautere Handelspraktiken. Sie fordern Schadenersatz und eine einstweilige Verfügung.
Google ebenfalls als Beklagten benannt
Die Kläger argumentieren, dass Character.AI kein tragfähiges Geschäftsmodell habe und nie dafür gedacht war, wirtschaftlich eigenständig zu sein. Stattdessen sei es von Anfang an als Technologiedemonstrator konzipiert gewesen, um von einem der Tech-Giganten übernommen zu werden.
Google spielt in dem Fall eine Rolle, da der Technologieriese das KI-Startup Character.AI finanziell unterstützt und eng mit ihm verbunden ist. Laut Medienberichten investierte Google fast 3 Milliarden Dollar, um die Character.AI-Gründer, ehemalige Google-Forscher, zurückzuholen und die Technologie des Start-ups zu lizenzieren. Die Kläger haben daher neben Character.AI und dessen Gründern Noam Shazeer und Daniel De Freitas auch Google als Beklagten benannt.
Google betonte in einer Stellungnahme, dass es sich um ein separates Unternehmen handele und Nutzersicherheit höchste Priorität habe. Man verfolge einen "vorsichtigen und verantwortungsvollen Ansatz" bei der Entwicklung und Veröffentlichung von KI-Produkten, so ein Sprecher.
