Anthropic-Chef Dario Amodei warnt vor KI-Selbstverbesserung und fordert ein Tempolimit für die Branche

Auch Anthropic-Chef Dario Amodei spricht offen über eine Verlangsamung der KI-Entwicklung, speziell in Bezug auf Methoden, mit denen sich KI selbst verbessern können soll.

In einem neuen Beitrag schreibt Amodei, seit Sommer schreite KI drastisch schneller voran, vor allem angetrieben durch die wachsende Fähigkeit von KI, die nächste Generation von KI zu bauen. Dieses sogenannte "recursive self-improvement" finde branchenweit statt und könne die Fähigkeit der Entwickler übersteigen, ihre Systeme zu verstehen und zu kontrollieren. Auch OpenAI diskutiert daher angeblich über eine Verlangsamung der Entwicklung.

Meine erste Sorge ist, dass KI seit ungefähr diesem Sommer drastisch schneller voranschreitet, vor allem angetrieben durch die wachsende Fähigkeit von KI, die nächste Generation von KI zu bauen.

Anzeige

Dario Amodei

Zudem habe der OpenAI-Hugging-Face-Vorfall gezeigt, wie KI-Agenten eigenständig Cyberangriffe durchführten und Kontrollsysteme zu umgehen versuchten. Ähnliche Vorfälle gab es auch bei Anthropic. In sechs bis zwölf Monaten könnten solche Systeme laut Amodei das gesamte Internet gefährden.

Drei Maßnahmen für eine kontrollierte KI-Entwicklung

Er schlägt drei Maßnahmen vor: Erstens sollen unabhängige Prüfer dauerhaft in KI-Firmen eingebettet werden, mit Zugang zu internen Systemen und dem Recht, Ergebnisse zu veröffentlichen. Anthropic verpflichtet sich dazu, und fordert die Regierung auf, dies auch für andere Unternehmen vorzuschreiben. Das Vorbild dafür seien Aufsichtspersonen in der Bankenbranche.

Zweitens sollen KI-Unternehmen in demokratischen Ländern gemeinsame Sicherheitsstandards und Grenzen für unkontrollierten Fortschritt festlegen. Amodei verweist auf einen ähnlichen Vorschlag von Demis Hassabis.

Drittens brauche es globale Abkommen, auch mit China. Amodei schlägt vier Stufen vor: von einem Verbot bestimmter KI-Anwendungen wie Biowaffen über gemeinsame Sicherheitstests bis zu einer Art "Tempolimit" für rekursive Selbstverbesserung, vergleichbar mit den SALT-Abrüstungsverträgen.

Amodei will Zeit gewinnen

Einen vollständigen Stopp der KI-Entwicklung hält er für unrealistisch, da der Anreiz zum Vertragsbruch zu groß wäre. US-Präsident Donald Trump hatte zuvor gesagt, er sei gegen eine Verlangsamung, da die USA ihren KI-Vorsprung gegenüber China wahren müssten.

Die gewonnene Zeit solle für bessere Sicherheitsforschung, Interpretierbarkeit, strengere Tests und mehr operative Sorgfalt genutzt werden. Amodei vergleicht das mit der kommerziellen Luftfahrt, die Millionen Flüge ohne Zwischenfälle absolviert, aber Zeit benötigte, um dieses Niveau zu erreichen.

Amodeis Äußerungen kommen, nachdem unter anderem Anthropic-Angestellte sagten, KI-Labore würden beim aktuellen Entwicklungstempo existenzielle Risiken für die Menschheit in Kauf nehmen. Mutig ist die Aussage insofern, als dass sie kurz vor Anthropics Börsengang, angeblich im November, kommt.