KI-Sicherheitsexperte Eliezer Yudkowsky fordert einen global bindenden Vertrag zur Stilllegung von KI-Systemen. Alle anderen Governance-Maßnahmen – von Sicherheitsprotokollen bis zu Moratorien – hält er für bedeutungslose Trostpreise auf dem Weg zur Katastrophe.
Für den KI-Sicherheitsforscher Eliezer Yudkowsky gibt es nur einen legitimen Maßstab für politischen Erfolg in der KI-Governance: einen internationalen Vertrag, der die Abschaltung von KI-Systemen gesetzlich verbindlich macht. "Wenn wir einen wirksamen internationalen Vertrag bekommen, der KI abschaltet, und das Buch etwas damit zu tun hatte, werde ich das Buch einen Erfolg nennen. Alles andere ist ein trauriger kleiner Trostpreis auf dem Weg in den Tod", zitiert ihn die New York Times.
Damit zieht Yudkowsky eine radikale Trennlinie: Zwischen vollständiger Stilllegung als Default-Politik – und dem Rest. Maßnahmen wie Red-Teaming, Interpretierbarkeit, oder Model-Evals gelten ihm nicht als Fortschritt, sondern als Illusion. Die gesamte Debatte über differenzierte Risikoregulierungen oder "sichere" KI-Labs verfehlt aus seiner Sicht das Ziel. "Unter den verrückten Wahnsinnigen, die kopfüber in die Katastrophe rasen und von denen ausnahmslos alle geschlossen werden sollten, ist das Management von OpenAI merklich schlechter als der Rest, und einige der Mitarbeiter von Anthropic sind merklich besser als der Rest", sagt er – um sofort klarzustellen: "Nichts davon macht einen Unterschied, und alle sollten vom Gesetz gleich behandelt werden."
Yudkowsky ist ein einflussreicher Warner vor existenziellen KI-Risiken
Yudkowsky ist ein US-amerikanischer KI-Sicherheitsexperte, Autor und Mitgründer des Machine Intelligence Research Institute (MIRI), einer Non-Profit-Organisation in Berkeley, die sich seit Anfang der 2000er Jahre mit den Risiken fortgeschrittener künstlicher Intelligenz befasst. Er ist eine der prägenden Figuren in der sogenannten Rationalisten-Szene, die durch seine Schriften zur Entscheidungstheorie, Existenzrisiken und kognitiven Rationalität und der von ihm gegründeten Plattform "LessWrong" stark beeinflusst wurde.
Er wurde durch seine frühen Warnungen vor unkontrollierbarer Superintelligenz bekannt – lange bevor die jüngste KI-Welle einsetzte. Aufgrund seiner teils radikalen Forderungen ist er aber auch schon immer eine der umstrittensten Persönlichkeiten in dieser Debatte.
Superintelligenz bedeutet Totalrisiko
Die zentrale Begründung für diese kompromisslose Haltung liegt aber gut begründet in Yudkowskys Risikomodell. Es basiert auf der Annahme, dass jede Superintelligenz, die mit heutigen Methoden gebaut wird, zum Untergang der Menschheit führt. "Wenn irgendein Unternehmen oder eine Gruppe irgendwo auf dem Planeten eine künstliche Superintelligenz baut [...] dann werden alle, überall auf der Erde, sterben", so Yudkowsky und sein Co-Autor Nate Soares in ihrem neuen Buch "If Anyone Builds It, Everyone Dies".
Fortschritte in Bereichen wie Interpretierbarkeit oder Alignment ändern daran laut Yudkowsky nichts. "Der Verlauf der Ereignisse in den letzten 25 Jahren war nicht so, dass er eine dieser zugrunde liegenden Theorien ungültig gemacht hätte", sagt er und vergleicht die Situation mit der Physik: "Stellen Sie sich vor, Sie gingen zu einem Physiker und sagten: 'Haben irgendwelche der jüngsten Entdeckungen in der Physik Ihre Meinung über Steine, die von Klippen fallen, geändert?'"
Ablehnung von Zeitplänen und Sicherheitsbemühungen
Auch das verbreitete Governance-Muster, Maßnahmen an Zeitpläne oder Wahrscheinlichkeiten zu knüpfen, hält Yudkowsky für gefährlich. "Was ist diese Obsession mit Zeitplänen?" fragt er. Er kritisiert das Verschieben von Eingriffen auf einen späteren Zeitpunkt und fordert stattdessen sofortiges Handeln – unabhängig davon, ob ein KI-Durchbruch in zwei, zehn oder fünfzig Jahren erwartet wird. Wenn das Risiko existiert, müsse gehandelt werden.
Gleichzeitig lehnt er die Idee ab, dass Unternehmensethik oder "gute" Firmenkulturen einen Unterschied machen könnten. Für Yudkowsky ist das Problem strukturell: Sobald Systeme eine gewisse Fähigkeitsschwelle überschreiten, sei das Verhalten der Betreiber irrelevant.
In der Debatte über KI-Governance liefert Yudkowskys Position einen normativen Stresstest: Wer den sogenannten X-Risk ernst nimmt, so seine Logik, muss auch die Abschaltung als politisches Ziel akzeptieren. Akteure, die sich auf "Safety first" berufen, dabei aber an bestehenden Paradigmen festhalten, seien inkonsistent.
