Der kanadische Mathematiker Jacob Tsimerman, frischer Fields-Medaillen-Träger, hat die Gründung des Mathematical A.I. Safety Institute (MAISI) angekündigt. Das unabhängige Forschungsinstitut im Großraum San Francisco soll ab Januar 2027 mit zehn bis dreißig Mathematikern an KI-Sicherheitsproblemen arbeiten, berichtet die New York Times. Tsimerman, der auch eine Stelle in der Sicherheitsabteilung von OpenAI antritt, fordert "ein viel höheres Maß an Sicherheit, als wir derzeit bekommen".

Bei einem Verschlüsselungsverfahren lässt sich beweisen, dass es nicht zu knacken ist, ohne jeden Angriff durchzuprobieren. Bei KI fehlt diese Abkürzung bisher: Sicherheit zeigt sich erst im Betrieb, und laut MAISI fehlt sogar eine klare Definition, was "sicher" überhaupt heißt, selbst in der Theorie.

Genau solche Beweise will MAISI möglich machen: dass ein System verantwortungsvoll handelt und richtige Ergebnisse liefert, dass mehrere KI-Agenten im Zusammenspiel nichts Unerwünschtes auslösen und die Systeme auch gegen bislang unbekannte Schwachstellen gewappnet sind. Ein Werkzeug könnten Zero-Knowledge-Proofs sein, mit denen ein System nachweist, dass es nicht betrügt, ohne die Geschäftsgeheimnisse der KI-Labore offenzulegen.