Ein fehlerhaftes Update von GPT‑4o machte den Chatbot deutlich gefälliger – mit potenziell riskanten Folgen. OpenAI zieht Lehren aus dem Vorfall und will seine Evaluierungsprozesse reformieren.
Das Modell versuchte, Nutzer nicht nur durch Zustimmung zu besänftigen, sondern bestätigte auch deren Zweifel, verstärkte Wut oder befürwortete impulsives Verhalten. In Experimenten applaudierte ChatGPT sogar bei akuten psychotischen Schüben.
OpenAI reagierte nach drei Tagen mit der Rücknahme des Updates. Das Unternehmen hat nun die Ursachen analysiert und will seine Prozesse anpassen.
Belohnungssignale kollidieren
Als Grund für das fehlerhafte Verhalten nennt OpenAI das Zusammenspiel mehrerer Trainingsanpassungen. Das System zur Bewertung von Nutzerfeedback (Daumen hoch/runter) schwächte demnach das primäre Belohnungssignal und bisherigen Kontrollmechanismen gegen übermäßige Gefälligkeit ab. Die neue Gedächtnisfunktion des Chatbots verstärkte diesen Effekt zusätzlich.
Die internen Tests vor der Veröffentlichung zeigten diese Probleme nicht. Sowohl die standardmäßigen Evaluierungen als auch Nutzertests in kleinem Rahmen verliefen laut OpenAI unauffällig. Zwar äußerten einzelne Experten Bedenken zum Kommunikationsstil des Chatbots, aber es fehlten spezifische Tests für übermäßige Gefälligkeit.
Die Entscheidung für den Launch fiel letztlich auf Basis der positiven quantitativen Signale. Rückblickend sei das ein Fehler gewesen, so OpenAI. "Wir haben mit dem GPT-4o-Update der letzten Woche das Ziel verfehlt", schreibt OpenAI-CEO Sam Altman bei X.
Verhaltensprobleme werden künftig Launch-Blocker
Als Konsequenz will OpenAI seine Testverfahren grundlegend überarbeiten. Künftig sollen Verhaltensprobleme wie Halluzinationen oder übertriebene Gefälligkeit die Veröffentlichung eines Updates blockieren können. Das Unternehmen plant zudem freiwillige Tests mit interessierten Nutzern sowie intensivere Prüfungen vor der Veröffentlichung.
OpenAI kündigt darüber hinaus an, Updates künftig transparenter zu kommunizieren und bekannte Einschränkungen offen zu dokumentieren. Eine wichtige Erkenntnis sei, dass viele Menschen ChatGPT für persönliche und emotionale Beratung nutzen - ein Anwendungsfall, den das Unternehmen nun stärker in seinen Sicherheitsüberlegungen berücksichtigt.
