OpenAI richtet ein "Preparedness Team" ein, um potenziell katastrophalen Risiken durch "Frontier KI"-Modelle vorzubeugen.
In einem neuen Blogbeitrag erkennt OpenAI die potenziellen Vorteile von "Frontier KI"-Modellen an, die weit über die Fähigkeiten bestehender Systeme hinausgehen könnten. Es ist sich aber auch der ernsthaften Risiken bewusst, die diese Modelle mit sich bringen.
Das selbsterklärte Ziel von OpenAI ist die Entwicklung von AGI, also einer mindestens menschenähnlich intelligenten Maschine, die in der Lage ist, sich schnell neues Wissen anzueignen und dieses über verschiedene Domänen hinweg zu verallgemeinern.
Um diesen Risiken zu begegnen, will OpenAI Fragen beantworten wie:
- Wie gefährlich ist der Missbrauch von Frontier-KI-Systemen heute und in Zukunft?
- Wie können wir einen robusten Rahmen für die Überwachung, Bewertung, Vorhersage und den Schutz vor den gefährlichen Fähigkeiten von Frontier-KI-Systemen entwickeln?
- Wenn unsere Frontier-KI-Modelle-Weights gestohlen würden, wie könnten böswillige Akteure sie nutzen?
Die Antworten auf diese Fragen sollen dazu beitragen, die Sicherheit hochleistungsfähiger KI-Systeme zu gewährleisten. Das Team wurde eingerichtet, nachdem OpenAI im Juli im Frontier Model Forum gemeinsam mit anderen führenden Labors freiwillige Verpflichtungen zur Förderung von Sicherheit, Schutz und Vertrauen in KI eingegangen war.
Die Ankündigung des neuen Sicherheitsteams erfolgt im Vorfeld der ersten KI-Sicherheitskonferenz, die Anfang November in England stattfindet.
Das neue "Prepardness Team" von OpenAI
Das Preparedness-Team unter der Leitung von Aleksander Madry wird sich auf die Leistungsbewertung, die Evaluierung und das interne Red Teaming der Frontier-Modelle konzentrieren.
Seine Aufgabe umfasst mehrere Risikokategorien, darunter individuelle Überzeugungsarbeit, Cybersicherheit, chemische, biologische, radiologische und nukleare Bedrohungen (CBRN) sowie autonome Replikation und Anpassung (ARA).
Das Team wird auch an der Entwicklung und Pflege einer Risk-Informed Development Policy (RDP) arbeiten, um eine Governance-Struktur für die Rechenschaftspflicht und Überwachung während des gesamten Entwicklungsprozesses zu etablieren.
Das RDP soll die bestehende Arbeit von OpenAI zur Risikominimierung ergänzen und erweitern und zur Sicherheit und Ausrichtung neuer Hochleistungssysteme vor und nach der Implementierung beitragen.
Zusätzlich zum Aufbau des Teams startet OpenAI eine AI Preparedness Challenge, um katastrophalen Missbrauch zu verhindern. Im Rahmen der Challenge werden API-Gutschriften im Wert von 25.000 US-Dollar für bis zu zehn Top-Einreichungen vergeben, und OpenAI wird innovative Ideen und Beiträge veröffentlichen. Das Labor wird außerdem unter den besten Bewerbern der Challenge nach Kandidaten für das Preparedness-Team suchen.
