Ein OpenAI-Team unter der Leitung von Ilya Sutskever und Jan Leike beschäftigt sich mit der Herausforderung, Superintelligenz zu kontrollieren. Es soll sicherstellen, dass zukünftige KI-Systeme, die viel intelligenter sind als Menschen, den menschlichen Absichten folgen.
Das Team widmet sich der Suche nach wissenschaftlichen und technologischen Durchbrüchen, um die sichere Kontrolle von KI-Systemen zu gewährleisten, die beispiellose Fortschritte ermöglichen, sich aber auch als gefährlich erweisen könnten, da sie unbeabsichtigte Folgen für die Menschheit haben könnten.
Das ehrgeizige Ziel des neuen Teams für "Superalignment" ist es, "den ersten automatischen Alignment-Forscher" mit Fähigkeiten auf menschlichem Niveau zu schaffen. Das Team möchte "Superintelligenz iterativ ausrichten" und die wichtigsten technischen Herausforderungen in nur vier Jahren lösen. OpenAI widmet diesem Ziel 20 Prozent der heute verfügbaren Rechenleistung.
Der Abgleich von Superintelligenzen ist letzlich ein Problem des maschinellen Lernens, und wir glauben, dass großartige Experten für maschinelles Lernen - selbst wenn sie nicht bereits an der Ausrichtung arbeiten - für die Lösung dieses Problems entscheidend sein werden.
OpenAI
In den vergangenen Wochen kam Kritik auf, dass die Dystopien über die Auslöschung durch eine Super-KI von den aktuellen Gefahren der KI ablenken sollen.
"Ein unglaublich ehrgeiziges Ziel"
Um dieses "unglaublich ehrgeizige Ziel" zu erreichen, plant das Team die Entwicklung einer skalierbaren Trainingsmethode, die Validierung des daraus resultierenden Modells und Stresstests ihrer Alignment-Pipeline.
Die Forscher wollen sich auf eine skalierbare Beobachtungs- und Generalisierungsmethode konzentrieren, die dazu beitragen kann, ein Trainingssignal für Aufgaben zu liefern, die für den Menschen schwer zu beurteilen sind.
Außerdem soll die Suche nach problematischem Verhalten und problematischen internen Prozessen automatisiert werden, um die Ausrichtung des Systems zu validieren und die gesamte Pipeline durch gegnerische Tests zu evaluieren.
Das Team räumt ein, dass sich seine Forschungsprioritäten ändern können, und beabsichtigt, mehr über das Alignment-Problem zu lernen und möglicherweise neue Forschungsbereiche in seinen Ansatz einzubeziehen. OpenAI verspricht, "die Ergebnisse dieser Bemühungen auf breiter Basis zu teilen" und sucht nach Forschern und Ingenieuren, die sich dieser Initiative anschließen möchten.
Die Arbeit des neuen Teams wird laufende OpenAI-Projekte ergänzen, die darauf abzielen, die Sicherheit aktueller Modelle zu verbessern und andere Risiken im Zusammenhang mit KI zu verstehen und zu entschärfen, z. B. Missbrauch, wirtschaftliche Störungen, Desinformation, Voreingenommenheit und Diskriminierung sowie Sucht und Abhängigkeit.
