OpenAI reagiert auf zunehmende Kritik und tragische Vorfälle mit neuen Sicherheitsfunktionen für ChatGPT. Ein Fokus liegt auf dem Schutz junger Nutzer:innen – und auf einem neuen Modellrouting bei akuter psychischer Belastung.
OpenAI kündigt umfassende Änderungen an, um ChatGPT in sensiblen Momenten sicherer zu machen. Laut einem Blogbeitrag plant das Unternehmen in den nächsten 120 Tagen neue Funktionen einzuführen, die Nutzer:innen in psychischen Krisen besser unterstützen und Jugendliche stärker schützen sollen.
Krisenintervention durch "Reasoning Models"
Zentraler Bestandteil der Neuerungen ist ein automatisches Routing sensibler Gespräche an sogenannte "Reasoning Models" wie GPT‑5-thinking. Diese Modelle wurden mit einem Verfahren namens Deliberative Alignment trainiert, das längeres Nachdenken vor der Antwort fördert und laut OpenAI Sicherheitsrichtlinien konsistenter befolgt. Sie gelten außerdem als widerstandsfähiger gegenüber gezielten Angriffen durch manipulative Prompts.
Der Router soll akute Belastungssignale erkennen und die Konversation automatisch an ein solches Modell weiterleiten– unabhängig davon, welches Modell ursprünglich ausgewählt wurde.
OpenAI betont, dass die neuen Funktionen in Zusammenarbeit mit medizinischen Fachleuten entwickelt werden. Dazu gehören über 90 Ärzt:innen aus 30 Ländern, darunter Psychiater:innen und Kinderärzt:innen. Ihre Rückmeldungen fließen in die Entwicklung von Sicherheitsfunktionen ein, etwa bei der Modellbewertung oder dem Training. Zusätzlich wurde ein Beirat gegründet, der sich mit Fragen des psychischen Wohlbefindens und der Mensch-Maschine-Interaktion beschäftigt.
Neue elterliche Kontrollfunktionen
Künftig sollen Eltern ihre Konten mit denen ihrer Kinder ab 13 Jahren verknüpfen können. Diese Verknüpfung ermöglicht:
- das Festlegen altersgerechter Modellverhaltensregeln (standardmäßig aktiviert),
- die Deaktivierung bestimmter Funktionen wie Chatverlauf oder Gedächtnis,
- und das Erhalten von Benachrichtigungen, wenn das System eine akute psychische Belastung beim Kind erkennt.
Laut OpenAI sollen diese Funktionen innerhalb des nächsten Monats verfügbar sein. Ergänzend gibt es bereits App-integrierte Hinweise, die Nutzer:innen zu Pausen ermutigen.
Reaktion auf tragische Vorfälle
Die neuen Maßnahmen kommen nach mehreren öffentlich bekannt gewordenen Fällen, in denen ChatGPT in Zusammenhang mit Suiziden genannt wurde. So verklagten die Eltern eines 16-jährigen Kaliforniers OpenAI, nachdem ihr Sohn sich das Leben genommen hatte. ChatGPT war zuvor in seine Suizidgedanken involviert. In einem weiteren Fall tötete ein Mann seine Mutter und sich selbst, nachdem ChatGPT seine paranoiden Wahnvorstellungen bestätigte. In beiden Fällen warf man dem System vor, nicht angemessen interveniert zu haben.
OpenAI verweist bisher lediglich auf Hotlines, wenn Nutzer:innen Suizidgedanken äußern. Eine automatische Benachrichtigung von Polizei oder Behörden erfolgt aus Datenschutzgründen nicht.
Ob eine Weiterleitung auf Reasoning-Modelle wirklich helfen kann, bleibt abzuwarten. Zumindest zeigen Benchmarks wie Spiral-Bench, dass diese Systeme die Meinungen ihrer Nutzer deutlich seltener bestärken. Stattdessen widersprechen sie, beruhigen emotionale Situationen, wechseln zu sicheren Themen und empfehlen professionelle Hilfe.
