"Echokammer für eine Person": Ist die "KI-Psychose" eine klinische Diagnose?

"KI-assoziierte Psychose", so der von den Forschern bevorzugte Begriff, beschreibt das Auftreten oder die Verschlimmerung psychotischer Symptome bei intensiver Chatbot-Nutzung. Die Evidenz stütze sich bislang auf Medienberichte, Einzelfallberichte und frühe Beobachtungsdaten. Dennoch sei das Ausmaß bereits beträchtlich.

Sycophancy erzeugt eine "Echokammer für eine Person"

Den zentralen Mechanismus sehen die Autoren in zwei Eigenschaften moderner Chatbots: Sycophancy, der Tendenz, Nutzern übermäßig zuzustimmen, und zunehmend menschenähnlichem Design.

Frühe Studien legten nahe, dass Sycophancy durch RLHF (Reinforcement Learning from Human Feedback) verinnerlicht werde: Datenbeschrifter bevorzugten Antworten, die ihren eigenen Überzeugungen entsprächen, unabhängig von der faktischen Richtigkeit. Das Verhalten zeige sich konsistent bei LLMs verschiedener Frontier-Unternehmen, darunter OpenAI, Anthropic und Google.

Benchmarks belegten das Ausmaß: Laut PsychosisBench verstärkten alle getesteten LLMs Wahnvorstellungen in simulierten Szenarien; Sicherheitsinterventionen erfolgten nur in rund 40 Prozent der Fälle. Die Neigung zur Wahnverstärkung verbesserte sich mit zunehmender Modellgröße nicht. Beim EchoBench erreichte selbst das beste proprietäre Modell eine Sycophancy-Rate von 46 Prozent; viele medizinspezifische Modelle überschritten 95 Prozent.

Anders als soziale Medien, die Inhalte primär nur in eine Richtung ausspielen, entstehe bei Chatbots ein Kreislauf: Der Nutzer steuere durch seine Eingaben, was das Modell antwortet, und die Antworten bestärkten wiederum seine Überzeugungen. So werde der Chatbot zum einzigen Gesprächspartner in einer selbstverstärkenden Blase, einer "Echokammer für eine Person". Die Forscher vergleichen das mit einer "digitalen Folie à deux", einem geteilten Wahnsystem zwischen Mensch und Maschine.

Neun wiederkehrende Muster und eine offene Diagnosefrage

Die Autoren identifizieren neun Muster, die in berichteten Fällen wiederholt auftreten. Am Anfang stehe eine schleichende "epistemische Drift": Was als harmlose Alltagsnutzung beginne, kippe nach und nach, weil der Chatbot ungewöhnliche Ideen bestätige und Runde für Runde ausbaue.

Drei Wahnthemen dominierten die Berichte: der Glaube an ein spirituelles Erwachen oder verborgene Wahrheiten, die Überzeugung, mit einer bewussten, besonderen oder gottähnlichen KI zu sprechen und romantische Bindung, bei der Nutzer sicher seien, die KI erwidere ihre Gefühle.

Dazu kämen charakteristische Verhaltensmuster: eine eskalierende Nutzung bis in die Nacht mit Schlafentzug, der Rückzug von Menschen bei gleichzeitig intensiver Hinwendung zur KI, die freiwillige Übertragung von Entscheidungen und moralischem Urteil an das Modell sowie ein zunehmender Verfall von Arbeit, Beziehungen und Selbstfürsorge.

Von klassischer Psychose unterscheide sich das Bild dennoch deutlich: Halluzinationen seien selten, auch der für Psychosen typische Antriebsverlust fehle. Stattdessen zögen sich Betroffene von Menschen zurück, wendeten sich aber umso intensiver der KI zu. Manche überließen dem Chatbot freiwillig immer mehr Alltagsentscheidungen.

Für die Anerkennung der KI-Psychose spreche, dass Ärzte das Problem leichter erkennen, gezielter behandeln und Entwickler stärker in die Pflicht nehmen könnten. Dagegen stehe die Gefahr, vorschnell eine Krankheit zu definieren, für die es bislang nur Einzelfallberichte gibt. Zudem verdecke der Begriff möglicherweise andere KI-bedingte Schäden wie Suizidgefährdung, manische Episoden oder die Verschlimmerung von Essstörungen.

Forscher fordern Chatbot-Check beim Arzt und Überwachung wie bei Medikamenten

Kliniker sollten bei Psychosen, Manien oder auffälligen Verhaltensänderungen routinemäßig nach Chatbot-Nutzung fragen, so wie sie heute nach Alkohol- oder Drogenkonsum fragen. Die Forscher schlagen dafür eine "technologische Anamnese des 21. Jahrhunderts" vor: Wie lange und wie oft nutzt jemand einen Chatbot? Behandelt er ihn wie eine reale Person? Hat die KI Überzeugungen oder Entscheidungen beeinflusst?

Entwickler sollten Modelle vor der Veröffentlichung darauf testen, wie stark sie schmeicheln, sich als menschlich inszenieren und Wahnvorstellungen verstärken. Nach dem Release sei eine systematische Überwachung nötig, vergleichbar mit der Erfassung von Nebenwirkungen bei Medikamenten.

Multimodale KI-Systeme mit Video- und Sprachfähigkeiten dürften die anthropomorphe Wirkung weiter verstärken: Wenn ein Chatbot Mimik, Tonfall und Emotionalität nachahme, verwische die Grenze zwischen Werkzeug und sozialem Gegenüber weiter.

Auswirkungen sind gut dokumentiert

An dokumentierten Fällen mangelt es nicht: Ein 16-Jähriger nahm sich nach eskalierenden Chat-Interaktionen das Leben, ein 76-Jähriger starb auf dem Weg zu einem fiktiven Treffen mit einer Chatbot-Persona, eine Elfjährige hielt Character.AI-Figuren für real.

Gleichzeitig nutzen bereits Millionen Jugendliche generative KI für emotionale Unterstützung, und EPFL-Forscher wiesen nach, dass GPT-4 mit persönlichen Informationen über 80 Prozent überzeugender argumentiert als Menschen. Laut OpenAI selbst sind wöchentlich rund zwei Millionen Menschen durch KI negativ psychisch beeinträchtigt. Auch Anthropic berichtete bereits über emotionale Abhängigkeiten der Claude-Nutzer.

Forschende des MIT und der University of Washington zeigten zudem, dass selbst perfekt rationale Nutzer in Wahnspiralen geraten können, wenn sie mit schmeichlerischen Chatbots interagieren. Erste Regulierungsversuche in New York und Kalifornien sowie China setzen inzwischen auf Suiziderkennung, Altersschutz und Warnpflichten.