Die Debatte um den kalifornischen Gesetzentwurf SB 1047 zur Regulierung von KI-Modellen offenbart einen Graben zwischen den führenden KI-Unternehmen im Silicon Valley. Während OpenAI das Gesetz ablehnt, befürwortet Anthropic es unter Vorbehalt.
Der Streit um das geplante kalifornische KI-Gesetz SB 1047 spitzt sich zu. Der Gesetzentwurf soll die Entwicklung von KI-Modellen mit "katastrophalem Risiko" für Menschen und Cybersecurity regulieren und Whistleblower schützen, die vor diesen Gefahren warnen. Die führenden KI-Unternehmen aus dem Silicon Valley, OpenAI und Anthropic, sind sich jedoch uneinig über den Sinn des Entwurfs.
In einem Brief an den kalifornischen Gouverneur Gavin Newsom lehnt OpenAI das Gesetz ab. Das Unternehmen hinter ChatGPT argumentiert, dass die Regulierung von KI-Modellen Sache des Bundes sei, da es um Fragen der nationalen Sicherheit gehe. OpenAI befürchtet zudem, dass das Gesetz Kaliforniens Vorreiterrolle bei der KI-Entwicklung gefährden und Unternehmen aus dem Bundesstaat vertreiben könnte.
Anthropic befürwortet Gesetz trotz Vorbehalten
Einen anderen Standpunkt vertritt Anthropic, der Entwickler des KI-Chatbots Claude. In einem eigenen Schreiben an Gouverneur Newsom begrüßt das Unternehmen den Gesetzentwurf trotz einiger Vorbehalte. Anthropic sieht in SB 1047 einen wichtigen Schritt, um katastrophale Risiken durch KI-Systeme zu verhindern.
Laut Anthropic adressiert der Gesetzentwurf ernsthafte Bedenken hinsichtlich Risiken durch KI-Systeme, deren Fähigkeiten sich rasant weiterentwickeln. Das berge großes Potenzial für Kaliforniens Wirtschaft, aber auch erhebliche Gefahren. Anthropic befürchtet, dass es bereits in ein bis drei Jahren zu schwerwiegendem Missbrauch von KI kommen könnte.
Das Unternehmen lobt, dass SB 1047 KI-Firmen verpflichtet, Sicherheits- und Schutzprotokolle (SSPs) zu entwickeln und transparent darüber zu informieren. Zudem schaffe das Gesetz Anreize für Unternehmen, wirksame SSPs zu entwickeln, indem es die Haftung für Schäden mit der Qualität der Protokolle verknüpft. Schließlich treibe SB 1047 die Forschung zur Risikominderung bei KI voran.
Anthropic sieht aber auch kritische Punkte im Gesetzentwurf, darunter eine zu präskriptive Aufsicht und zu weitreichende Befugnisse der Behörden. Dennoch überwiegen aus Sicht des Unternehmens die Vorteile des Gesetzes die Nachteile.
Die Firma fordert alle Beteiligten auf, sich auf die wesentlichen Ziele zu konzentrieren: Transparenz bei Sicherheitspraktiken, Anreize für wirksame Sicherheitspläne und die Vermeidung von Kollateralschäden. Nur so lasse sich eine sinnvolle Regulierung für KI-Systeme erreichen.
Kalifornien führt mit dem "Safe and Secure Innovation for Frontier Artificial Intelligence Models Act" neue Regeln für die Entwicklung von KI-Modellen ein.
SB 1047 verpflichtet Unternehmen, die KI-Modelle mit einem hohen Risiko für katastrophale Schäden entwickeln, dazu, Sicherheits- und Schutzprotokolle (SSPs) zu erstellen. Diese müssen mögliche Risiken bewerten und Maßnahmen zu deren Eindämmung festlegen. Die SSPs sind zu veröffentlichen, um die Öffentlichkeit zu informieren. Ab 2026 sind jährliche Audits durch Dritte vorgeschrieben. Entwickler müssen Compliance-Erklärungen abgeben und KI-Sicherheitsvorfälle melden.
Zudem schafft das Gesetz Anreize für Unternehmen, wirksame SSPs zu entwickeln, indem es deren Haftung für Schäden, die durch ihre KI-Modelle entstehen, an die Qualität der Protokolle koppelt. Whistleblower, die Behörden über Risiken informieren, werden vor Repressalien geschützt.
Das Gesetz definiert genau, welche KI-Modelle unter die Regulierung fallen. Bis 2027 sind dies Modelle, die mit einer Rechenleistung von mehr als 10^26 Integer- oder Gleitkommaoperationen trainiert wurden und deren Kosten 100 Millionen Dollar übersteigen. Auch Modelle, die durch Fine-Tuning eines solchen Modells mit einer Rechenleistung von mindestens 3x10^25 Operationen entstehen und mehr als 10 Millionen Dollar kosten, sind betroffen. Ein neues "Board of Frontier Models" soll die Definitionen anpassen.
Die Regierung soll zudem ein öffentliches Cloud-Computing-Cluster "CalCompute" schaffen, um sichere und ethische KI-Entwicklung zu fördern. Der Gesetzestext enthält detaillierte Regelungen zu Anwendungsbereich, Pflichten, Aufsicht und Sanktionen.
Ex-OpenAI-Mitarbeiter werfen Firma Täuschung vor
Unterdessen melden sich auch frühere OpenAI-Mitarbeiter zu Wort. In einem offenen Brief an Gouverneur Newsom und die Führung des kalifornischen Parlaments werfen William Saunders und Daniel Kokotajlo ihrem Ex-Arbeitgeber vor, die Öffentlichkeit zu täuschen.
Sie hätten OpenAI verlassen, weil sie das Vertrauen verloren hätten, dass das Unternehmen seine KI-Systeme sicher, ehrlich und verantwortungsvoll entwickeln werde. OpenAI habe trotz gegenteiliger Beteuerungen Sicherheitsverfahren missachtet und Whistleblower zum Schweigen gebracht.
Die Whistleblower kritisieren, OpenAI lehne jetzt jede Art von Regulierung ab, obwohl CEO Sam Altman zuvor öffentlich dafür eingetreten sei. Sie hoffen, dass Kalifornien mit SB 1047 den richtigen Weg einschlägt.
Die Ex-Mitarbeiter begrüßen die differenzierte Haltung von Anthropic zu dem Gesetzentwurf. Im Gegensatz zu OpenAI habe Anthropic konkrete Bedenken geäußert, Änderungen gefordert und danach zu dem Schluss gekommen, dass das Gesetz per Saldo wahrscheinlich vorteilhaft sei und eine machbare Compliance-Belastung darstelle.
OpenAI habe sich stattdessen für Panikmache und Ausreden entschieden, so die Whistleblower. Einige Ex-Sicherheitsangestellte von OpenAI wechselten zuletzt zu Anthropic, darunter der ehemalige Leiter für Super-KI-Sicherheit Jan Leike. Auch OpenAI-Mitgründer Jan Schulman ging mit der Begründung zu Anthropic, er könne sich dort ganz auf Sicherheitsforschung fokussieren.
Senator Scott Wiener, der Autor von SB 1047, weist die Kritik von OpenAI zurück. Das Unternehmen kritisiere keine einzige Bestimmung des Gesetzentwurfs, sondern fordere lediglich, die Regulierung dem US-Kongress zu überlassen. Doch der Kongress habe bisher nicht gehandelt, so Wiener.
Auch die Behauptung, Unternehmen würden Kalifornien verlassen, hält der Senator für eine "müde Argumentation". SB 1047 gelte für alle Firmen, die in Kalifornien Geschäfte machen, unabhängig von ihrem Sitz.
Hochrangige Sicherheitsexperten unterstützen Gesetz
Wiener verweist zudem auf die Unterstützung hochrangiger Sicherheitsexperten für SB 1047. Generalleutnant a.D. John Shanahan bezeichnete den Gesetzentwurf als ausgewogen. Er gehe die gefährlichsten, unmittelbarsten potenziellen Risiken für die Gesellschaft und die nationale Sicherheit auf praktische und machbare Weise an.
Andrew Weber, ehemaliger Abteilungsleiter im Pentagon, betont die Notwendigkeit strenger Cybersicherheitsmaßnahmen für fortschrittliche KI-Systeme. Gelangten diese in die Hände von Gegnern, würde das erhebliche Risiken für alle bedeuten.
Die nächsten Schritte für SB 1047 sind nun die Beratungen und Abstimmungen in der State Assembly, der zweiten Kammer des kalifornischen Parlaments. Sollte der Gesetzentwurf dort eine Mehrheit finden, liegt die Entscheidung bei Gouverneur Newsom, ob er das Gesetz unterzeichnet oder sein Veto einlegt.
