Ehemaliger OpenAI-Policy-Chef gründet Institut für unabhängige KI-Sicherheitsprüfungen

Miles Brundage, der sieben Jahre bei OpenAI die Policy-Forschung leitete, fordert mit seinem neuen Institut AVERI externe Audits für führende KI-Modelle. Die Branche soll ihre eigenen Hausaufgaben nicht mehr selbst benoten dürfen.

Miles Brundage hat das AI Verification and Evaluation Research Institute (AVERI) gegründet, eine gemeinnützige Organisation, die sich für unabhängige Sicherheitsprüfungen von Frontier-KI-Modellen einsetzt. Brundage verließ OpenAI im Oktober 2024, wo er als Berater für den Umgang mit künstlicher allgemeiner Intelligenz tätig war.

"Eine der Dinge, die ich bei OpenAI gelernt habe, ist, dass Unternehmen die Normen für diese Art von Dingen selbst herausfinden", sagte Brundage gegenüber Fortune. "Niemand zwingt sie, mit Drittexperten zusammenzuarbeiten. Sie schreiben quasi ihre eigenen Regeln."

Die führenden KI-Labore führen zwar Sicherheitstests durch und veröffentlichen technische Berichte, teilweise mit externen Red-Team-Organisationen. Doch Verbraucher und Regierungen müssen den Angaben derzeit schlicht vertrauen.

Insider-Spenden deuten auf Unbehagen in der Branche

AVERI hat bisher 7,5 Millionen Dollar eingesammelt und strebt 13 Millionen für 14 Mitarbeiter an. Zu den Geldgebern zählen unter anderem der ehemalige Y-Combinator-Präsident Geoff Ralston und die AI Underwriting Company, ein spezialisierter KI-Versicherer, der Policen für KI-bezogene Risiken anbietet. Das Institut erhält auch Spenden von Mitarbeitern führender KI-Unternehmen. "Das sind Leute, die wissen, wo die Leichen begraben sind", sagte Brundage, "und die sich mehr Rechenschaftspflicht wünschen würden."

Parallel zur Gründung veröffentlichte Brundage mit mehr als 30 KI-Sicherheitsforschern und Governance-Experten ein Forschungspapier, das einen detaillierten Rahmen für unabhängige Audits vorlegt. Das Papier schlägt sogenannte "AI Assurance Levels" vor: Level 1 entspricht etwa dem aktuellen Stand mit begrenzten Drittanbieter-Tests und eingeschränktem Zugang zu den Modellen. Level 4 hingegen soll eine "Treaty-Grade"-Sicherheit bieten – ein Prüfungsniveau, das robust genug wäre, um als Grundlage für internationale Abkommen zwischen Staaten zu dienen.

Versicherer und Investoren könnten Audits erzwingen

Auch ohne staatliche Vorgaben könnten mehrere Marktmechanismen KI-Firmen zu unabhängigen Prüfungen bewegen, vermutet Brundage. Große Unternehmen, die KI-Modelle für kritische Geschäftsprozesse einsetzen, könnten Audits als Bedingung für den Kauf verlangen, um sich gegen versteckte Risiken abzusichern.

Versicherungsunternehmen dürften laut Brundage eine besonders wichtige Rolle spielen. Anbieter von Business-Continuity-Versicherungen könnten unabhängige Prüfungen zur Voraussetzung machen, bevor sie Policen für Firmen zeichnen, die stark auf KI setzen. Auch Versicherer, die direkt mit KI-Unternehmen wie OpenAI, Anthropic oder Google zusammenarbeiten, könnten Audits fordern. "Versicherungen bewegen sich schnell", sagte Brundage.