OpenAI überarbeitet Sicherheitsrahmen für Hochrisiko-KI-Fähigkeiten

OpenAI hat sein Preparedness Framework überarbeitet, um Risiken durch fortgeschrittene KI-Modelle systematischer zu identifizieren und abzusichern.

OpenAIs Preparedness Team hatte Ende 2023 die erste Version des Preparedness Framework veröffentlicht. Das neue Rahmenwerk legt den nun Fokus auf Fähigkeiten, die potenziell schwerwiegende, neuartige und nicht rückgängig zu machende Schäden verursachen können. Um solche Risiken einheitlich zu bewerten, führt OpenAI fünf zentrale Kriterien ein: plausible, messbare, schwerwiegende, neue und sofortige bzw. irreversible Gefahren. Nur wenn alle Kriterien erfüllt sind, wird eine Fähigkeit als risikorelevant eingestuft.

Die Fähigkeiten werden künftig in zwei Hauptkategorien unterteilt: Tracked Categories und Research Categories. Erstere umfassen bekannte Hochrisikobereiche mit etablierten Schutzmaßnahmen, wie biologische und chemische Anwendungen, Cybersicherheit und KI-Selbstverbesserung. Die Research Categories hingegen benennen mögliche Gefahrenfelder, bei denen noch kein ausgereiftes Verständnis oder keine etablierten Prüfmethoden existieren – etwa autonome Replikation, Sandbagging oder die Unterwanderung von Schutzmechanismen. Für diese Bereiche entwickelt OpenAI derzeit neue Bedrohungsmodelle und Bewertungssysteme.

Zugleich definiert das Framework zwei Fähigkeitsstufen: High Capability und Critical Capability. Systeme mit hoher Fähigkeit müssen vor Einsatz abgesichert sein, kritische Systeme schon während der Entwicklung. Die interne Safety Advisory Group (SAG) bewertet, ob Schutzmaßnahmen ausreichen, und spricht Empfehlungen aus. Die endgültige Entscheidung über die Freigabe fällt das Management. Bei neuen Daten kann eine Neubewertung der Schutzmaßnahmen erzwungen werden.