Anthropic entwirft Sicherheitsregeln für KI und ein Bündnis, das Gegner technologisch aushungert

Amodeis Ausgangsdiagnose ist ein Tempo-Problem, das er mit einer Nebenhandlung aus "Herr der Ringe" illustriert. Dort versuchen zwei Hobbits, das Baumwesen Baumbart aufzurütteln, damit es seinen Wald gegen eine Armee verteidigt, die ihn gerade abholzt. Das Dilemma: Baumbart ist zwar weise, aber so behäbig, dass er einen ganzen Tag braucht, um nur einen anderen Baum zu begrüßen, weshalb er kaum rechtzeitig zum Handeln zu bewegen ist.

In Amodeis Lesart steht das langsame Baumwesen für den politischen Apparat, die drängenden Hobbits für jene, die wie Anthropic frühzeitig auf die Risiken hinweisen, und die heranrückende Armee für die Bedrohung, die von unregulierter KI ausgehe. Und die schreite im Eiltempo voran. Mit Verweis auf die Skalierungsgesetze argumentiert Amodei, dass die kognitiven Fähigkeiten der Modelle mit mehr Rechenleistung exponentiell wachsen und in ein bis zwei Jahren das entstehen könnte, was er "Powerful AI" oder "ein Land voller Genies in einem Rechenzentrum" nennt.

Warum Anthropic seine bisherige Linie für überholt erklärt

Bislang hatte Anthropic vor allem Transparenzpflichten befürwortet, weil die Risiken laut Amodei noch nicht klar genug für präzise Regulierung gewesen seien. In diesem Sinne unterstützte das Unternehmen Transparenzgesetze wie SB 53 in Kalifornien, RAISE in New York und SB 315 in Illinois.

Das sei nun nicht mehr ausreichend, schreibt Amodei. Als Beleg führt er die Erfahrungen mit "Claude Mythos Preview" an, das die globale Cybersicherheitslage durcheinandergebracht und gezeigt habe, dass Frontier-Modelle reale Risiken für Finanzsektor, kritische Infrastruktur und nationale Sicherheit bergen. Amodei erwartet, dass biologische Risiken und ernsthafte Autonomie-Risiken folgen könnten.

Konkret fordert er nun verpflichtende Tests durch qualifizierte Dritte für vier Risikobereiche: Cybersicherheit, biologische Waffen, Kontrollverlust über KI-Systeme und automatisierte Forschung und Entwicklung, die diese Risiken beschleunigen könnte. Eine Behörde solle den Einsatz von Modellen blockieren oder rückgängig machen können, wenn diese ein inakzeptables Risiko darstellen. Als Vorbild nennt Amodei die Luftfahrtbehörde FAA: Wie Flugzeuge sollten KI-Modelle technische Prüfungen durchlaufen, bevor sie ausgeliefert werden.

Drittprüfungen, Offenlegung, Sperrgewalt

Das Advanced AI Framework konkretisiert Amodeis Forderung nach verbindlicher Regulierung in einen ausformulierten Vorschlag, der laut Anthropic in erster Linie an die US-Bundesregierung gerichtet ist, dessen Prinzipien aber auch breiter anwendbar sein sollen. Das Rahmenwerk besteht aus zwei Teilen: Pflichten für die Entwickler der leistungsfähigsten Modelle und Investitionen in die gesellschaftliche Widerstandsfähigkeit gegen biologische und Cyberangriffe.

Statt die gesamte Branche zu erfassen, zielt das Regelwerk auf die Spitze. Es soll nur für Entwickler gelten, die Modelle mit mehr als 10^25 Trainings-FLOP bauen und entweder mehr als 500 Millionen US-Dollar KI-Umsatz erzielen oder mehr als eine Milliarde US-Dollar jährlich in KI-Forschung investieren. Anthropic begründet diese Schwellen damit, dass die Pflichten dort ansetzen sollen, wo Modelle leistungsfähig genug für katastrophale Risiken seien.

Das Unternehmen schlägt zudem vor, die Kriterien mindestens jährlich zu überprüfen und langfristig von reinen Rechenkosten auf einen fähigkeitsbasierten Schwellenwert umzustellen, da die für gefährliche Modelle nötige Rechenleistung mit der Zeit sinken dürfte.

Für diese Entwickler sieht das Framework umfangreiche Offenlegungspflichten vor: Sie sollen ein Safety Framework veröffentlichen, bei risikorelevanten Modellen System Cards bereitstellen, mindestens alle sechs Monate einen Risk Report publizieren und schwerwiegende Sicherheitsvorfälle binnen 15 Tagen an die Behörde melden. Innerhalb von sechs Monaten nach Inkrafttreten sollen sie zudem mindestens einen unabhängigen, finanziell nicht mit ihnen verbundenen Evaluator beauftragen. Um sogenanntes "Evaluator-Shopping" zu verhindern, bei dem Firmen den nachsichtigsten Prüfer auswählen, schlägt Anthropic ein Bewertungs- und Zuteilungssystem für Prüfer vor.

Hinzu kommen Sicherheitsanforderungen für Modellgewichte und Infrastruktur, zivilrechtliche Strafen bei Falschangaben, Whistleblower-Schutz und die Befugnis, riskante Modelle zu blockieren. Zur Frage der Bundeskompetenz argumentiert Anthropic, der US-Kongress solle einzelstaatliches Recht nur dann verdrängen, wenn er ein mindestens ebenso strenges Bundesregime schaffe.

Nicht nur die Entwickler, auch die Gesellschaft soll sich wappnen

Ein gestuftes Modell für den Fall massiver Jobverluste

Das ökonomische Framework stuft Maßnahmen nach der Schwere der Arbeitsmarktstörung ab und nutzt die Arbeitslosenquote als Auslöser. In Stufe eins (rund 5 Prozent) schlägt Anthropic universelle, bei Geburt angelegte Kapitalkonten, Lohnversicherung, eine Reform der Berufslizenzen und Weiterbildungszuschüsse vor. Stufe zwei (rund 10 Prozent) sieht eine Ausweitung der Arbeitslosenversicherung und Grundbedarfshilfen vor.

Stufe drei, in der die Arbeitslosigkeit historische Höchststände überschreitet, behandelt neue Steuerquellen und Umverteilungsmechanismen wie ein bedingungsloses Grundeinkommen, KI-Staatsfonds oder eine höhere Kapitalertragssteuer. Anthropic erklärt, man sei bereit, einen "fair share" zu zahlen, falls KI-Unternehmen transformative Gewinne erzielten.

Aus Mittelerde in den Kalten Krieg

Im Essay ergänzt Amodei weitere Vorschläge: Er warnt davor, dass Zulassungsbehörden wie FDA und EMA durch die KI-beschleunigte Forschung überlastet werden könnten, und fordert für die Bürgerrechte unter anderem Rechenschaftspflichten für autonome Waffen, ein Verbot ihres inländischen Einsatzes sowie das Schließen der Data-Broker-Lücke bei der Massenüberwachung. Geopolitisch plädiert er für eine demokratische Koalition, die ihre Lieferketten teilt und Gegnern den Zugang verwehrt, sowie für verschärfte Chip-Exportkontrollen.

Auffällig ist das transportierte Weltbild. Amodei denkt KI nicht als Konsumtechnologie, sondern in der Kategorie der Atomwaffen, als etwas, das das gesamte geopolitische Spielfeld neu setzt. Sein Bild vom Krieg ist drastisch: Eine Nation mit KI gegenüber einer ohne KI sei wie eine Armee von Marines gegen mittelalterliche Schwertkämpfer, und er denkt vollautomatische Drohnenarmeen mit.

Der Staat erscheint dabei ambivalent, als legitimer Beschützer und zugleich als möglicher Apparat einer KI-gestützten Tyrannei. Kooperation versteht Amodei vor allem als Bündnis ideologisch verwandter Demokratien, das sich über Lieferketten und Exportkontrollen gegen Autokratien abgrenzt, eine Cold-War-Logik im KI-Gewand, ganz passend zur Baumbart-Metapher.

Den Vorwurf, die KI-Branche habe lediglich ein PR-Problem, weist er zurück: Die Sorge der Öffentlichkeit sei berechtigt, und Transparenz über reale Risiken sei demokratische Rechenschaft, wie sie funktionieren solle.

Anthropic hat Anfang Juni einen Entwurf für einen Börsengang bei der US-Börsenaufsicht SEC eingereicht und diese Woche mit Claude Fable 5 das erste Modell der Mythos-Klasse veröffentlicht.