Anthropic-CEO warnt: Demokratien müssen sich vor ihrer eigenen KI schützen

Dario Amodei skizziert in einem neuen Essay die Gefahren mächtiger KI-Systeme. Seine zentrale Forderung: Demokratien sollten KI nur so einsetzen, dass sie nicht zu dem werden, was sie bekämpfen.

Anthropic-CEO Dario Amodei hat einen umfangreichen Essay veröffentlicht, in dem er die Risiken fortgeschrittener KI-Systeme analysiert. Der Text trägt den Titel "The Adolescence of Technology" und beschreibt, was Amodei als "Reifeprüfung der Menschheit" bezeichnet. Der neue Text ist als Ergänzung zu Amodeis früherem Essay "Machines of Loving Grace" vom Oktober 2024 konzipiert. Während jener Text die positiven Möglichkeiten mächtiger KI beschrieb, konzentriert sich der neue auf die Risiken.

Die zentrale These lässt sich in einem Satz zusammenfassen: Demokratien sollten KI für die nationale Verteidigung einsetzen - in jeder Hinsicht, "außer in solchen, die uns unseren autokratischen Gegnern ähnlicher machen würden."

Vier Werkzeuge, die Demokratien nicht nutzen sollten

Amodei identifiziert vier Technologien, mit denen Autokratien ihre Bürger unterdrücken könnten: vollautonome Waffenschwärme, KI-gestützte Massenüberwachung, personalisierte Propaganda über Jahre hinweg und strategische KI-Berater - eine Art "virtueller Bismarck".

Bei zwei dieser Anwendungen zieht er eine absolute Grenze: KI-gestützte Massenüberwachung im Inland und Massenpropaganda gegen die eigene Bevölkerung seien vollkommen illegitim. Er räumt ein, dass Massenüberwachung in den USA durch den vierten Verfassungszusatz bereits illegal sei. Doch der schnelle Fortschritt der KI könnte Situationen schaffen, für die bestehende rechtliche Rahmenbedingungen nicht ausgelegt sind. Amodei befürwortet daher neue Gesetzgebung zum Schutz bürgerlicher Freiheiten oder sogar einen Verfassungszusatz.

Nach außen, gegen autokratische Gegner, hält er dieselben Werkzeuge für legitim. Er befürwortet explizit, dass Demokratien ihre Geheimdienste nutzen sollten, um Autokratien "von innen zu stören und zu schwächen". Demokratische Regierungen könnten ihre überlegene KI einsetzen, um "den Informationskrieg zu gewinnen" und Informationskanäle bereitzustellen, die Autokratien technisch nicht blockieren können.

Bei vollautonomen Waffen und strategischer KI-Entscheidungsfindung sieht er die Lage komplizierter - diese hätten legitime Verwendungen bei der Verteidigung der Demokratie. Hier sei extreme Vorsicht angebracht. Seine Hauptsorge: zu wenige "Finger am Knopf", sodass eine Handvoll Personen eine Drohnenarmee betreiben könnte, ohne dass andere Menschen kooperieren müssten.

Sind wir die Bösen?

Kritiker wie der KI‑Forscher Yann LeCun werfen dem Unternehmen vor, mit zugespitzten Risikoszenarien gezielt Ängste zu schüren, um Regulierungen durchzusetzen, die vor allem offene KI‑Modelle benachteiligen und damit Konkurrenz begrenzen könnten. Auch David Sacks, KI‑Berater von Donald Trump, äußerte den Vorwurf, Anthropic betreibe Angstmacherei, um Regulierungsbehörden zu beeinflussen.

Amodei weißt das von sich, betont die Kooperation mit der US‑Regierung und sah sich kürzlich nach Kritik aus dem Weißen Haus gezwungen, explizit die KI‑Politik von Präsident Donald Trump zu loben. Er stellt diese Zusammenarbeit als parteiunabhängig dar und beschreibt Anthropic als „Policy Actor“, der fachliche Positionen gegenüber allen politischen Lagern vertrete.

Gleichzeitig besteht ein Vertrag mit dem US-Verteidigungsministerium über bis zu 200 Millionen US-Dollar zur Entwicklung sogenannter Frontier-KI für die nationale Sicherheit. Das Sprachmodell Claude wird zudem über Partner wie Palantir und das Lawrence Livermore National Laboratory in klassifizierten Netzwerken eingesetzt. Palantir wird unter anderem von der US-Einwanderungsbehörde ICE genutzt, um Migranten in den USA zu verfolgen. Das steht grundsätzlich nicht im Widerspruch zu Amodeis roten Linien, und es ist offensichtlich, dass er zu Trump zumindest ein ambivalentes Verhältnis hat. Doch in seinem Versuch, die Demokratie vor autokratischen Gegnern aus dem Ausland und gefährlicher KI zu retten, könnten seine Produkte dabei helfen, die Autokratie im Inneren zu stärken.