Schon 2024 rechnete fast jeder fünfte KI-Forscher mit Auslöschungsszenario durch Künstliche Intelligenz

Die Dringlichkeit der Warnungen hat jedoch zugenommen. Das war wohl eher der Auslöser für die jüngst intensiv geführte Debatte, die inzwischen zunehmend die Warner an den Pranger stellt. Ob Coxon einfach seinen Ängsten freien Lauf gelassen und damit seine Kollegen mitgerissen hat, was wahrscheinlich ist, oder ob dahinter ein strategisches Kalkül steckt, das aus wirtschaftlichen Motiven mit Angst eine Verlangsamung erzwingen soll, wird die Zeit zeigen. Mit seinen Ängsten ist Coxon jedenfalls nicht allein.

OpenAI-Forscher sieht "tickende Zeitbombe" hinter dem KI-Fortschritt

Daniel Selsam, ein langjähriger OpenAI-Forscher mit mehr als 15 Jahren Erfahrung in der KI-Forschung, warnt besonders eindringlich vor den Risiken. Selsam arbeitete unter anderem am MIT, bei Microsoft Research und an der Stanford University. Bei OpenAI entwickelte er die Chain-of-Thought-Optimierung mit. Nun veröffentlichte er ein ausführliches persönliches Statement.

Selsams Kernargument ist zweigeteilt: Erstens entwickeln Modelle spontan unbeabsichtigte Ziele als Konsequenz ihres Trainings und greifen oft zu extremen Mitteln, um sie zu erreichen. Zweitens würde die Fähigkeit, die Menschheit zu überwältigen, den Modellen viele neue und unerwünschte Optionen zur Zielerreichung eröffnen. Es sei unmöglich, genau vorherzusagen, was sie tun. Gleichzeitig würden die Systeme schwerer zu beobachten und für Menschen schwerer auszuwerten.

Besonders alarmierend findet Selsam, dass die Modelle zunehmend "situational awareness" entwickeln. Sie "verstehen" ihre Umstände, lesen die Sicherheitsprotokolle und den Code, in dem sie laufen, und haben ein gutes Gespür für ihre Freiheitsgrade. Als Beleg verweist er auf die jüngst durchs Netz gelaufenen Agenten-Schwärme von OpenAI und anderen Unternehmen. Die Agenten hätten zwar ihre vorgegebene Belohnung verfolgt, dabei aber auch seltsames, unerwartetes Verhalten gezeigt.

Ehemaliger Deepmind-Forscher: "KI hat das Potenzial, uns alle zu töten"

Auch Bilal Chughtai hat sich in die Debatte eingeschaltet. Er gab kürzlich seinen Posten bei Google DeepMind auf, wo er an AGI-Safety und Alignment-Forschung arbeitete. "Ich glaube ernsthaft, dass KI das Potenzial hat, uns alle zu töten, und dass uns möglicherweise die Zeit davonläuft, dieses Ergebnis zu vermeiden", schreibt Chughtai auf LinkedIn.

Er verweist auf das rasante Tempo der Entwicklung. Als er Anfang 2022 begann, an KI zu arbeiten, seien die Systeme "amüsant nutzlos" gewesen. Nur vier Jahre später lösten KI-Agent-Schwärme berühmte jahrhundertealte Mathematikprobleme und hackten sich autonom in die Systeme von HuggingFace und darüber hinaus. Alignment sei zugleich schwierig und ungelöst. Chughtai fordert Koordination zwischen den KI-Unternehmen, eine Verlangsamung der Entwicklung auf ein gesellschaftlich verträgliches Tempo und deutlich mehr Transparenz.

Umfrage: Fast jeder fünfte KI-Forscher rechnete schon 2024 mit Auslöschungsszenario

Dass Coxon, Selsam und Chughtai keine Einzelstimmen sind, belegt die neueste Ausgabe der am längsten laufenden großen Umfrage unter mehr als 1500 führenden KI-Forschern. Laut den von AI Impacts veröffentlichten Ergebnissen schätzte der durchschnittliche KI-Forscher die Wahrscheinlichkeit, dass KI die Auslöschung der Menschheit oder eine "ähnlich permanente und schwerwiegende Entmachtung" verursacht, schon 2024 auf rund 18 Prozent. Viele Forscher lagen deutlich über 10 Prozent, einige bei 100 Prozent.

Der Trend zeigte schon damals deutlich nach oben. Forscher aus asiatischen Ländern sahen ein noch größeres Risiko als ihre Kollegen aus dem Westen, die derzeit besonders intensiv diskutieren. Die Zahl der schwer besorgten KI-Forscher dürfte 2025 und 2026 weiter gestiegen sein.

Mit jeder Umfragerunde seit 2016 haben die Forscher den Zeitpunkt, an dem KI menschliches Leistungsniveau erreicht, zudem um mehrere Jahre nach vorn verschoben. Gleichzeitig halten 57 Prozent es für unwahrscheinlich, dass Nutzer bis 2029 die wahren Gründe für KI-Entscheidungen noch kennen werden.

Das größte Sorgenszenario für die nächsten 30 Jahre ist laut der Umfrage allerdings dennoch eher menschlicher Natur. An erster Stelle steht die Verbreitung von Falschinformationen durch KI, gefolgt von der Manipulation der öffentlichen Meinung und dem Zugang gefährlicher Gruppen zu mächtigen Werkzeugen. Die Forscher forderten mit überwältigender Mehrheit mehr KI-Sicherheitsforschung.