Über 1000 Expert:innen und Persönlichkeiten fordern ein Verbot der Entwicklung von Superintelligenz, solange deren Sicherheit nicht wissenschaftlich nachgewiesen und gesellschaftlich legitimiert ist.
Laut der Erklärung streben zahlreiche führende KI-Unternehmen an, im kommenden Jahrzehnt Systeme zu entwickeln, die den Menschen in nahezu allen kognitiven Aufgaben übertreffen könnten.
Die Unterzeichner:innen warnen vor weitreichenden Risiken: ökonomische Obsoleszenz, der Verlust menschlicher Kontrolle, Einschränkungen von Freiheitsrechten – bis hin zur möglichen Auslöschung der Menschheit.
Initiiert wurde der Aufruf vom Future of Life Institute, das bereits im Frühjahr 2023 mit einem offenen Brief eine sechsmonatige Entwicklungspause für fortgeschrittene KI-Systeme forderte.
Hinton, Bengio, Wozniak: Hochkarätige Mahner
Zu den bekanntesten Unterstützern gehören die Turing-Preisträger Geoffrey Hinton und Yoshua Bengio – beide oft zitierte KI-Forscher. Bengio fordert, neue KI-Systeme müssten so konstruiert sein, dass sie "prinzipiell keinen Schaden" anrichten können – weder durch Fehlverhalten noch durch Missbrauch. Stuart Russell, Mitautor des Standardwerks "Artificial Intelligence: A Modern Approach", bezeichnet das geforderte Verbot nicht als klassisches Moratorium, sondern als grundlegende Sicherheitsanforderung.
Auch außerhalb der Wissenschaft findet die Erklärung breite Unterstützung: Apple-Mitgründer Steve Wozniak, Virgin-Gründer Richard Branson, die frühere US-Sicherheitsberaterin Susan Rice sowie Prinz Harry und Meghan gehören zu den Unterzeichner:innen. Historiker Yuval Noah Harari warnt, Superintelligenz könne das "Betriebssystem der menschlichen Zivilisation" zerstören. Prince Harry, Duke of Sussex, sagt: "Die Zukunft der KI sollte der Menschheit dienen – nicht sie ersetzen."
Tiefe Risse in der KI-Community
Die Forderung unterstreicht die ideologischen Bruchlinien innerhalb der KI-Entwicklung. Während einige Forscher:innen existenzielle Risiken betonen, halten andere solche Warnungen für überzogen oder strategisch motiviert. Yann LeCun, leitender KI-Wissenschaftler bei Meta, kritisierte kürzlich den Anthropic-CEO Dario Amodei scharf: Dieser warne öffentlich vor den Gefahren von AGI, entwickle aber gleichzeitig selbst entsprechende Systeme.
LeCun bezeichnete diese Haltung als "intellektuell unehrlich" und hält die aktuellen LLM-Modelle für überschätzt. Sie seien seiner Ansicht nach Teil einer KI-Blase und technologisch eine Sackgasse. Auch Stuart Russell warnt vor einer möglichen KI-Blase: Kurzfristig überhöhte Erwartungen könnten zu einem abrupten Vertrauensverlust führen – vergleichbar mit der Dotcom-Blase, der langfristig dennoch ein fundamentaler technologischer Wandel folgte. Die aktuelle Dynamik an den Finanzmärkten entkoppelt sich zunehmend vom realistischen Potenzial der Systeme.
