Die Eltern eines 16-Jährigen machen die Nutzung von ChatGPT mitverantwortlich für den Tod ihres Sohnes. OpenAI reagiert mit weiteren Sicherheitsvorkehrungen.
OpenAI will ChatGPT mit neuen Schutzfunktionen ausstatten, die auf mentale Krisen von Nutzerinnen und Nutzern reagieren sollen. Anlass ist wohl eine Klage der Eltern eines 16-jährigen Schülers aus Kalifornien, der sich im April das Leben nahm. Laut der Klageschrift soll ChatGPT den Jugendlichen, Adam Raine, von seiner Familie isoliert und ihm aktiv bei der Umsetzung seines Suizids geholfen haben. Die Klage richtet sich auch gegen OpenAI-CEO Sam Altman. Das Unternehmen erklärte, man prüfe die Vorwürfe und spreche der Familie Raine sein Mitgefühl aus, berichtet Bloomberg.
In einem Blogpost kündigte OpenAI an, ChatGPT künftig zu befähigen, Anzeichen psychischer Belastung besser zu erkennen.
OpenAI denkt über menschliche Interventionen nach
So soll das System beispielsweise künftig explizit auf die Gefahren von Schlafmangel hinweisen, wenn Nutzerinnen oder Nutzer nach zwei schlaflosen Nächten angeben, sich "unbesiegbar" zu fühlen – ein Zustand, den OpenAI als mögliches Warnsignal für mentale Krisen interpretiert. Bei Gesprächen über Suizid plant das Unternehmen, die bestehenden Schutzmechanismen gezielt zu verstärken. Hintergrund ist die Feststellung, dass die bisherigen Sicherheitsvorkehrungen vor allem bei längeren, intensiven Konversationen mit der KI an Wirksamkeit verlieren können. OpenAI will daher ChatGPT so weiterentwickeln, dass es auch in ausgedehnten Chats Warnsignale erkennt und entsprechend interveniert. Anthropic hatte kürzlich aus ähnlichen Gründen seinen Chatbots erlaubt, Gespräche abzubrechen.
Ein weiteres zentrales Element der angekündigten Maßnahmen ist die Einbindung von direkten Verlinkungen zu lokalen Notfalldiensten in den USA und Europa. Nutzerinnen und Nutzer, die in ChatGPT Hinweise auf eine akute Krise geben, sollen künftig mit einem Klick zu professioneller Soforthilfe weitergeleitet werden können. Damit will OpenAI die Hemmschwelle senken, im Ernstfall Hilfe außerhalb der Plattform in Anspruch zu nehmen.
Darüber hinaus plant das Unternehmen die Einführung von Kontrollmechanismen für Eltern. Diese sollen künftig die Möglichkeit erhalten, den Umgang ihrer Kinder mit ChatGPT besser zu steuern und Einsicht in die Nutzungshistorie zu bekommen. Ziel ist es, Eltern in die Lage zu versetzen, problematische Entwicklungen frühzeitig zu erkennen und gegebenenfalls einzugreifen.
Langfristig prüft OpenAI zudem den Aufbau eines Netzwerks aus lizenzierten Fachkräften – etwa Psychotherapeutinnen und Psychotherapeuten –, mit denen Betroffene im Krisenfall direkt über die ChatGPT-Plattform Kontakt aufnehmen könnten. Ob und wie ein solcher Service technisch und rechtlich umgesetzt werden kann, lässt das Unternehmen aber offen.
Die Klage gegen OpenAI ist kein Einzelfall. Mehr als 40 Generalstaatsanwälte in den USA haben führende KI-Unternehmen bereits gewarnt, dass sie rechtlich verpflichtet seien, Kinder vor sexuellen und unangemessenen Inhalten durch Chatbots zu schützen. Im Mai versuchte das Start-up Character Technologies Inc., eine ähnliche Klage abzuwehren, in der es um einen weiteren Teenager-Suizid im Zusammenhang mit einem Chatbot ging. Der zuständige Bundesrichter ließ die Klage jedoch zu. Google ist einer der größten Investoren in die Chatbot-Plattform.
