OpenAIs eigene Berater warnen vor Erotik-Modus und sprechen von "sexy Suizid-Coach"

OpenAIs Beratergremium für Wohlbefinden soll sich einstimmig gegen den geplanten Adult Mode für ChatGPT ausgesprochen haben. Intern kämpft das Unternehmen mit einer fehleranfälligen Alterserkennung und ungelösten Sicherheitsproblemen.

Als OpenAI sein handverlesenes Beratergremium für Wohlbefinden und KI im Januar über den Stand des geplanten "Adult Mode" informierte, reagierten die Mitglieder laut einem Bericht des Wall Street Journal einstimmig ablehnend. KI-gestützte Erotik könne ungesunde emotionale Abhängigkeit fördern, Minderjährige würden Wege finden, den Schutz zu umgehen.

Ein Ratsmitglied soll angesichts von Fällen, in denen ChatGPT-Nutzer nach intensiven Bindungen an den Bot Suizid begangen hatten, gewarnt haben, OpenAI riskiere die Schaffung eines "sexy Suizid-Coaches". Das Unternehmen hatte den Mitgliedern zuvor mitgeteilt, dass es trotz der Bedenken an seinen Erotik-Plänen festhalten wolle.

Alterserkennung stuft Millionen Minderjährige falsch ein

Ein zentrales technisches Problem betrifft den Jugendschutz. OpenAIs System zur Alterserkennung soll Minderjährige zeitweise in rund 12 Prozent der Fälle fälschlich als Erwachsene eingestuft haben. Bei etwa 100 Millionen minderjährigen Nutzern pro Woche könnten damit Millionen Jugendliche Zugang zu erotischen Chats erhalten.

Intern haben OpenAI-Mitarbeiter laut dem WSJ weitere Risiken identifiziert: zwanghaftes Nutzungsverhalten, eine Tendenz zu immer extremeren Inhalten sowie die Verdrängung realer sozialer und romantischer Beziehungen. Gleichzeitig kämpft das Unternehmen damit, Erotik freizugeben und dennoch Szenarien wie nicht einvernehmliches Verhalten oder sexuellen Kindesmissbrauch zuverlässig zu blockieren. Beim Launch sollen nur Textchats erlaubt sein, erotische Bilder, Sprache oder Video bleiben ausgeschlossen.

Altmans X-Post überraschte die eigene Belegschaft

CEO Sam Altman hatte den Erotik-Modus im Oktober auf X angekündigt, ohne seine Mitarbeiter vorab zu informieren. "Wir sind nicht die gewählte Sittenpolizei der Welt", schrieb er. Intern sorgte der Post für Irritation, zumal OpenAI wenige Stunden zuvor sein Beratergremium für Wohlbefinden vorgestellt hatte. Altman hatte laut dem WSJ auch angedeutet, dass erotische Inhalte Wachstum und Umsatz steigern würden.

Anfang März verschob OpenAI den ursprünglich für das erste Quartal geplanten Launch auf unbestimmte Zeit. Man wolle sich zunächst auf andere Produkte konzentrieren. Auch interne Bedenken und technische Herausforderungen hätten zu der Entscheidung beigetragen. Das Unternehmen stellte jedoch klar, dass der Adult Mode weiterhin kommen soll.