Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

OpenAI richtet ein "Preparedness Team" ein, um potenziell katastrophalen Risiken durch "Frontier KI"-Modelle vorzubeugen.

In einem neuen Blogbeitrag erkennt OpenAI die potenziellen Vorteile von "Frontier KI"-Modellen an, die weit über die Fähigkeiten bestehender Systeme hinausgehen könnten. Es ist sich aber auch der ernsthaften Risiken bewusst, die diese Modelle mit sich bringen.

Das selbsterklärte Ziel von OpenAI ist die Entwicklung von AGI, also einer mindestens menschenähnlich intelligenten Maschine, die in der Lage ist, sich schnell neues Wissen anzueignen und dieses über verschiedene Domänen hinweg zu verallgemeinern.

Um diesen Risiken zu begegnen, will OpenAI Fragen beantworten wie:

Anzeige
Anzeige
  • Wie gefährlich ist der Missbrauch von Frontier-KI-Systemen heute und in Zukunft?
  • Wie können wir einen robusten Rahmen für die Überwachung, Bewertung, Vorhersage und den Schutz vor den gefährlichen Fähigkeiten von Frontier-KI-Systemen entwickeln?
  • Wenn unsere Frontier-KI-Modelle-Weights gestohlen würden, wie könnten böswillige Akteure sie nutzen?

Die Antworten auf diese Fragen sollen dazu beitragen, die Sicherheit hochleistungsfähiger KI-Systeme zu gewährleisten. Das Team wurde eingerichtet, nachdem OpenAI im Juli im Frontier Model Forum gemeinsam mit anderen führenden Labors freiwillige Verpflichtungen zur Förderung von Sicherheit, Schutz und Vertrauen in KI eingegangen war.

Die Ankündigung des neuen Sicherheitsteams erfolgt im Vorfeld der ersten KI-Sicherheitskonferenz, die Anfang November in England stattfindet.

Das neue "Prepardness Team" von OpenAI

Das Preparedness-Team unter der Leitung von Aleksander Madry wird sich auf die Leistungsbewertung, die Evaluierung und das interne Red Teaming der Frontier-Modelle konzentrieren.

Seine Aufgabe umfasst mehrere Risikokategorien, darunter individuelle Überzeugungsarbeit, Cybersicherheit, chemische, biologische, radiologische und nukleare Bedrohungen (CBRN) sowie autonome Replikation und Anpassung (ARA).

Das Team wird auch an der Entwicklung und Pflege einer Risk-Informed Development Policy (RDP) arbeiten, um eine Governance-Struktur für die Rechenschaftspflicht und Überwachung während des gesamten Entwicklungsprozesses zu etablieren.

Empfehlung

Das RDP soll die bestehende Arbeit von OpenAI zur Risikominimierung ergänzen und erweitern und zur Sicherheit und Ausrichtung neuer Hochleistungssysteme vor und nach der Implementierung beitragen.

Zusätzlich zum Aufbau des Teams startet OpenAI eine AI Preparedness Challenge, um katastrophalen Missbrauch zu verhindern. Im Rahmen der Challenge werden API-Gutschriften im Wert von 25.000 US-Dollar für bis zu zehn Top-Einreichungen vergeben, und OpenAI wird innovative Ideen und Beiträge veröffentlichen. Das Labor wird außerdem unter den besten Bewerbern der Challenge nach Kandidaten für das Preparedness-Team suchen.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • OpenAI richtet ein neues Preparedness-Team ein, das sich auf die Bewältigung von Katastrophenrisiken im Zusammenhang mit besonders leistungsfähigen KI-Modellen konzentriert und Fragen im Kontext der Gefahren und dem möglichen Missbrauch solcher Systeme behandelt.
  • Das Team unter der Leitung von Aleksander Madry wird sich mit der Beurteilung von Fähigkeiten, Bewertungen und internem Red Teaming befassen, mehrere Risikokategorien abdecken und eine risikobasierte Entwicklungspolitik für Governance und Rechenschaftspflicht entwickeln.
  • OpenAI rekrutiert Talente für das Preparedness-Team und startet eine AI Preparedness Challenge zur Verhinderung katastrophalen Missbrauchs, bei der 25.000 US-Dollar in Form von API-Gutschriften für die besten Einreichungen vergeben werden und potenzielle Kandidaten für das Team rekrutiert werden.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!