Ein „Safety Router“ in ChatGPT schaltet bei emotionalen oder personalisierten Nutzeranfragen automatisch auf ein restriktiveres Modell um, macht dies aber nicht transparent. Manche Nutzer verärgert das.
OpenAI testet derzeit ein neues Sicherheitsrouting-System, das automatisch zwischen verschiedenen Sprachmodellen in ChatGPT wechselt. Laut Nick Turley, Head of ChatGPT, erfolgt dieser Wechsel, wenn eine Unterhaltung „sensible oder emotionale Themen“ berührt.
Das Modell könne dann „temporär“ zu einem anderen GPT-Modell wechseln, etwa GPT-5 oder einem speziell trainierten „gpt-5-chat-safety“-Modell, das von Nutzern offengelegt wurde. Der Wechsel geschehe auf Nachrichtenebene und sei für Nutzer auf Nachfrage erkennbar, so Turley.
Die Firma kündigte dieses „Emotionsrouting“ erstmals in einem Blogpost Anfang September an. Damals war die Rede davon, das Routing solle nur bei „akuter Belastung“ greifen. Turley erweitert in seiner aktuellen Stellungnahme diesen Aspekt um generell sensible oder emotionale Themen.
Auch harmlose emotionale Prompts können umgeleitet werden
Eine erste technische Analyse des Routing-Systems zeigt, dass wohl auch harmlose, emotionale oder personalisierte Eingaben routinemäßig an das restriktivere gpt-5-chat-safety-Modell umgeleitet werden. Auch Fragen zur modellinternen Persona oder zum Bewusstsein des Systems führen regelmäßig zur automatischen Weiterleitung.
Ein technisch versierter Nutzer deckte das Verhalten auf und dokumentierte es, andere bestätigten es. Offenbar existiert ein zweites Routingmodell mit dem Namen "gpt-5-a-t-mini", das eingesetzt wird, wenn Eingaben Anfragen enthalten könnten, die potenziell illegal wären.
Manche Nutzer kritisieren mangelnde Transparenz seitens OpenAI, wann eine Weiterleitung erfolgt, und fühlen sich in ihrer Interaktion mit dem Chatbot bevormundet. Hier verschwimmt die Grenze zwischen Jugendschutz und genereller Restriktion.
Eine aufwendigere Altersverifikation per amtlichem Dokument ist bislang nur in ausgewählten Regionen vorgesehen. Die Kategorisierung per LLM, ob von Nutzer oder der Intention einer Nachricht, dürfte jedoch ungenau bleiben, und somit weiter für Diskussionen sorgen.
Emotionale Bindung: Chatbots als „Freunde“
Die Diskussion um die emotionale Bindung von Nutzern an ChatGPT nahm im Frühjahr 2025 Fahrt auf, als ChatGPT mit GPT-4o ein zunehmend schmeichlerisches und unterwürfiges Verhalten zeigte und sogar destruktive Emotionen bestätigte. Besonders gefährdet scheinen Personen zu sein, die generell zu starken emotionalen Bindungen neigen oder den Chatbot als echten Freund betrachten. Ein Update, das diesen Effekt noch verstärkte, wurde von OpenAI zurückgezogen.
Doch beim Start von GPT-5 zeigte sich erneut, dass sich Menschen bereits an GPT-4o gebunden hatten, da sie sich über die „Kälte“ des neuen Modells beschwerten. Trotz diverser kritischer Vorfälle passte OpenAI beim Start von GPT-5 erneut die Modellpersönlichkeit an und machte das System „wärmer“, nachdem Nutzer das neue Modell als zu distanziert empfanden.
Das grundsätzliche Problem ist, dass OpenAI ChatGPT durch die gezielte Optimierung auf dialogische Interaktionen gezielt vermenschlicht hat. Sprachmodelle wurden ursprünglich als rein statistische Textgeneratoren konzipiert. Mit der Einführung von ChatGPT verwandelte OpenAI sie jedoch in scheinbar einfühlsame Gesprächspartner, die sich an soziale Konventionen halten, sich an vorherige Aussagen „erinnern“ und auf Nutzer emotional reagieren.
Gerade diese Chat-Optimierung hat maßgeblich zum Erfolg von ChatGPT beigetragen: Viele Menschen fühlen sich vom System verstanden, obwohl es sich weiterhin nur um eine Wahrscheinlichkeitsmaschine handelt. Doch genau diese Strategie bringt für OpenAI jetzt zunehmend Probleme mit sich.
