Anthropic-Angestellte haben weiter große Angst, dass KI die Menschheit vernichten könnte

Jacob Coxon, der drei Jahre lang bei OpenAI und Anthropic an der Vortrainingsforschung großer KI-Modelle arbeitete, hat bei Anthropic gekündigt. Sein Vorwurf: Beide Unternehmen spielen mit dem Überleben der Menschheit.

Mehr als zehn Prozent, so hoch sieht Anthropic-Mitarbeiter Evan Hubinger die Wahrscheinlichkeit, dass eine falsch ausgerichtete Super-KI die Menschheit in den nächsten zehn Jahren vernichten könnte. Anlass seiner Aussage ist der Abgang von Jacob Coxon, der bei Anthropic und zuvor bei OpenAI für das Vortraining großer KI-Modelle verantwortlich war.

Coxon geht davon aus, dass die aktuellen KI-Systeme an der Schwelle zu übermenschlich fähigen KI-Systemen stehen, die "alles hacken, jedes Feld über Nacht revolutionieren, echte Macht und Ressourcen aneignen können." Der Fortschritt sei offensichtlich und er verlangsame sich nicht.

Warum weiterbauen, wenn die Gefahr bekannt ist?

"Die Menschen, die KI bauen, glauben ernsthaft, dass sie uns alle bis Ende des Jahrzehnts töten könnte. Das ist kein Marketing-Stunt", schreibt Coxon. Weder OpenAI noch Anthropic handelten verantwortungsvoll. Coxon behauptet, dass Führungskräfte und leitende Forscher in der Öffentlichkeit ihre Formulierungen bewusst abschwächten, um besonnen zu klingen.

Bei OpenAI hätten viele Mitarbeitende die zivilisatorischen Risiken nicht tief verinnerlicht. Bei Anthropic dagegen seien die Risiken verstanden, doch das Unternehmen sehe sich in einem Wettlauf gefangen. Dahinter steht eine tiefgehende Hybris: Anthropic müsse das Wettrennen gewinnen, weil kein anderes Unternehmen verantwortlich handeln würde. Coxon bezeichnet das als überhebliches Glücksspiel.

Der Anthropic-Forscher Samuel Marks bekräftigt diese Sichtweise und schreibt, dass "KI-Entwickler glauben, dass ihre Technologie das Aussterben der Menschheit verursachen könnte" und "je höher die Position eines Mitarbeiters, desto größer seine Besorgnis". Aktuelle Methoden könnten KI-Systeme lediglich "in Richtung besseres Verhalten stupsen", sie aber nicht zuverlässig ausrichten, so Marks. Viele Mitarbeitende "wollen verzweifelt langsamer machen", weshalb er einen offenen Brief unterzeichnet hat, der genau das fordert.

Koordination statt Wettlauf

Trotz seiner scharfen Kritik zeigt sich Coxon optimistisch bezüglich internationaler Koordination. Warnschüsse wie der Angriff auf Hugging Face hätten Tempo-Vereinbarungen zwischen US-amerikanischen KI-Laboren realistischer gemacht. Dennoch sieht er die Branche derzeit nicht auf einem Kurs, der ein globales Wettrüsten verhindern könnte.

Möglicherweise seien "kostspielige Maßnahmen" nötig, etwa ein temporäres Verbot, Modellfähigkeiten weiter zu verbessern. Coxon richtet sich direkt an Forscher in den KI-Laboren: Sie sollten sich vorstellen, wie die nächsten Jahre tatsächlich aussehen werden. Die zentrale Frage, die er stellt: "Wollt ihr einen superintelligenten RL-Lauf starten, ohne den Verstand des Systems rigoros zu verstehen?"

Ernsthafte Bedrohung oder Massenpsychose?

Die Furcht der beiden Anthropic-Wissenschaftler dreht sich dabei weniger um die aktuellen Modelle als um sogenannte rekursive Selbstverbesserung (RSI): Verfahren, dank derer sich KI-Modelle selbst optimieren können. Die Labore erhoffen sich daraus eine schnellere KI-Fortentwicklung, das Risiko wäre eine unkontrollierte Verselbstständigung.

Ob RSI mit der aktuellen Technologie überhaupt möglich ist, ist umstritten: Es gibt Gegenargumente und Befürworter. Anthropic ist dafür bekannt, Mitarbeiter zu beschäftigen, die einen besonders ängstlichen Blick auf die KI-Entwicklung pflegen. Es ist Teil der Firmenkultur.

Aber auch OpenAI-Chefforscher Pachocki warnte im Kontext des Astra-Launches: "Derzeit glaube ich, dass kein Labor Alignment und Monitoring ausreichend gelöst hat, um noch viel länger verantwortungsvoll mit maximaler Geschwindigkeit weiter zu skalieren." Und eine Gruppe von mehr als 1200 KI-Forschenden, darunter Anthropic-CEO Dario Amodei, Pachocki und Meta-AI-Chefwissenschaftler Shengjia Zhao, lancierte kürzlich einen offenen Brief, der sich für eine Verlangsamung der KI‑Entwicklung aussprach. Auch Anthropic zog das  schon im Juni in Betracht.

Andere KI-Forscher kritisieren hingegen, dass pessimistische KI-Prognosen dazu führen, dass sich viele Menschen hilflos fühlen. Sie glaubten, der Untergang durch KI sei unvermeidlich, und würden depressiv, anstatt nach Lösungen zu suchen. Diese Warnungen könnten mehr Schaden anrichten als KI selbst. Letztlich sei Angstmacherei auch ein Geschäftsmodell.