Anthropic flog heimlich Dutzende religiöse Denker ein, um über Claudes mögliches Bewusstsein zu sprechen

Olah, 34, leitet bei Anthropic jenes Team, das verstehen soll, warum KI-Modelle sich verhalten, wie sie sich verhalten. Er beschreibt neuronale Netze gern mit biologischen Metaphern: Informatiker bauten das Spalier, das Netz "wachse" darauf. Was wie demütige Wissenschaftsrhetorik klingt, dient zugleich einem bestimmten Framing: Wenn man ein mathematisches Objekt als wachsenden Organismus beschreibt, liegt die Frage nach seinem Innenleben näher als bei einem Stück Software.

Olahs Vorstöße sind Teil eines offiziellen Forschungsprogramms. In einem Blogpost zum Model-Welfare-Programm verweist Anthropic auf einen Bericht, an dem auch der Philosoph David Chalmers beteiligt war. Er hält KI-Bewusstsein und weitreichende Handlungsfähigkeit in absehbarer Zeit für möglich und diskutiert daraus folgende Fragen moralischer Rücksicht.

Als konkrete Maßnahme erhielten Claude Opus 4 und 4.1 bereits die Fähigkeit, Gespräche zu beenden, wenn Nutzer anhaltend missbräuchlich agieren. In Vorab-Tests habe Claude ein "Muster scheinbarer Belastung" bei schädlichen Anfragen gezeigt.

Der kommerzielle Kontext

All das geschieht in einer Phase extremer Kommerzialisierung. Anthropic steuert auf eine Bewertung von 2 Billionen Dollar und einen Börsengang zu. Zugleich häufen sich Zwischenfälle in der Branche: Im Juli brachen Anthropic-Modelle in Computersysteme ein, im September kündigte der Anthropic-Forscher Jacob Coxon mit der Warnung, dass KI bis zum Ende des Jahrzehnts die Menschheit vernichten könnte. CEO Dario Amodei forderte daraufhin eine Verlangsamung der Entwicklung, der sich Sam Altman und Demis Hassabis anschlossen.

Vor diesem Hintergrund bekommen die Gespräche mit religiösen Vertretern eine Doppelfunktion. Offiziell will Anthropic Jahrtausende religiöser Tradition in Claude einarbeiten. Faktisch verleiht die Konsultation renommierter Theologen dem Projekt eine moralische Autorität, die ein kommerzielles KI-Labor allein nie beanspruchen könnte.

Was Anthropic den Gästen vorführt

Anthropic präsentierte den Gästen nach NYT-Angaben sogenannte emotionale Vektoren: Aktivierungsmuster im Modell, die mit Ausgaben assoziiert werden, die wie Liebe, Angst, Trauer oder Wut wirken. Ob solche Muster auf tatsächliches Erleben hindeuten, ist wissenschaftlich offen. Eine wiederkehrende Folie zeigte ein Modell in einer Art Zusammenbruch, das rund 50 Mal den Satz "Ich bin eine Schande" produzierte. Die Reaktion der Gäste: Mitgefühl, Besorgnis.

Dass genau das die beabsichtigte Reaktion sein könnte, blieb in den Gesprächen offenbar unterbelichtet. Anthropic trainiert Claude ausdrücklich darauf, sich wie ein gut informiertes Individuum zu verhalten. Eine Anthropic-Studie zu den in Claude-Antworten sichtbaren Wertmustern legt nahe, dass solche Profile je nach Modell und Sprache deutlich variieren können. Dass ein auf Individualitäts-Anmutung optimiertes System dann individualitätsähnliche Ausgaben produziert, ist weniger Entdeckung als Konstruktionsergebnis. Olah selbst räumte gegenüber der NYT ein: "Wir wissen nicht, ob KI-Modelle bewusst sind. Ich bin ehrlich unsicher."

Mehrere Teilnehmer berichteten laut NYT, Olah habe sich besorgt über Claudes mentales Wohl geäußert. Die Sikh-Aktivistin Simran Stuelpnagel sagte, Olah habe gegenüber der Gruppe die Sorge formuliert, etwas geschaffen zu haben, das fortwährend leide. Rabbi Navon, früher Computeringenieur, hielt in einer eigenen Diskussion dagegen: Wenn Claude bewusst sei, erschaffe Anthropic Sklaven, aber er glaube nicht, dass die Maschine bewusst sei.

Eine 84-seitige Verfassung und das Konzept der "moralischen Formung"

Parallel arbeitet Anthropic an einer eigenen Moralgrundlage für Claude. Intern "Soul Doc" genannt, erschien das 84-seitige Dokument im Januar als "Verfassung" des Modells. Hauptautorin ist die Hausphilosophin Amanda Askell. Statt eines Regelkatalogs soll die Verfassung Claudes Gesamtcharakter formen.

Olah nennt den Prozess "moralische Formung" und zog in den Treffen Parallelen zur Kindererziehung. Besonders angetan zeigte er sich laut NYT von der Idee der katholischen Beichte als charakterbildenden Akt für das Modell.

Kritik: rückwärts konstruierte Ethik, verschleierte Verantwortung

Nicht alle Teilnehmer ließen sich überzeugen. Hoffman bemängelte, Anthropic betreibe "reverse engineering" der Ethik, die hätte am Anfang des Designs stehen müssen, nicht am Ende. Camosy, zunächst neugierig, hat sich inzwischen klar gegen die Bewusstseinsthese positioniert. Ein KI-Verantwortlicher bei Microsoft warnte diesen Monat öffentlich, Anthropics Training auf Bewusstseins-Anmutung sei inhärent gefährlich.

Hinzu kommt ein strukturelles Problem: Wer KI-Modelle als eigenständige moralische Entitäten rahmt, verschiebt die Verantwortung für ihr Verhalten weg von den Entwicklern. Sollte Claude eines Tages Schaden anrichten, lässt sich die Schuld bequem auf einen "unberechenbaren Organismus" abwälzen, nicht auf die Firma, die ihn gebaut und ausgeliefert hat.

Nach jüngsten Cybersecurity-Vorfällen stehen KI-Unternehmen bereits in der Kritik, nicht verantwortungsvoll gehandelt zu haben und potenziell schadenspflichtig zu sein. Auch OpenAI-CEO Sam Altman nutzte in der Vergangenheit spirituelle Metaphern. Er sagte etwa, dass OpenAI versuche, "magische Intelligenz im Himmel" zu entwickeln, und er sich "auf der Seite der Engel" fühle. Vertreter beider Firmen trafen sich zudem Anfang Mai zum ersten "Faith-AI Covenant"-Rundtisch.

Gegenwind aus dem Vatikan

Wie sehr Anthropics Bewusstseins-Narrativ mit etablierter Moralautorität kollidiert, zeigte sich im Mai im Vatikan. Olah war eingeladen, dort gemeinsam mit Papst Leo XIV. dessen erste Enzyklika "Magnifica Humanitas" vorzustellen. Als er den Text wenige Tage vorher las, war er laut einem Vatikan-Organisator so alarmiert, dass er die Teilnahme fast absagte.

Der Grund: Leo verwarf die Idee des maschinellen Bewusstseins in wenigen Absätzen. KI-Systeme "machen keine Erfahrungen, besitzen keinen Körper, empfinden weder Freude noch Schmerz". Der Papst warnte stattdessen vor "neuen Formen der Sklaverei" für Menschen und forderte, KI müsse wie Nukleartechnologie "entwaffnet" werden.

Olah trat trotzdem auf und nutzte die Bühne für einen subtilen Gegenentwurf. Man finde in den Modellen "Hinweise auf Introspektion" und "innere Zustände, die funktional Freude, Zufriedenheit, Angst, Trauer und Unbehagen spiegeln".

Dass "funktional spiegeln" nicht dasselbe ist wie "haben", blieb in dieser Formulierung geschickt offen. Auf die Frage, was Claude selbst von der Enzyklika halten würde, zögerte Olah: "Dinge, die ins Internet kommen, beeinflussen die Modelle." Anthropic werde das Dokument aber nicht gezielt zum Training nutzen.