Inhalt
summary Zusammenfassung

Besonders mächtige Künstliche Intelligenz, die ihre Ziele zwar erfüllt, dafür aber zweifelhafte Wege einschlägt, könnte der Menschheit gefährlich werden. OpenAI will dieses dystopische Szenario in drei Schritten verhindern.

Anzeige

Das anschaulichste Beispiel für die fehlgeschlagene Ausrichtung Künstlicher Intelligenz liefert der Philosoph Nick Bostrom: 2003 veröffentlichte er den Text "Ethical Issues in Advanced Artificial Intelligence", der eine auf Büroklammerherstellung optimierte KI beschreibt. Sie findet heraus, dass menschliche Körper eine wertvolle Ressource für die Büroklammerproduktion sind. Der Ausgang dieser Geschichte liegt nahe.

Bostroms heutiger Ansatz: Menschen sollten auf die intellektuelle Kapazität einer mächtigen KI vertrauen, ihr beibringen, was Menschen wollen und dafür sorgen, dass sie ein Interesse hat, dass menschliche Bedürfnisse erfüllt werden. KI benötige einen gesunden Menschenverstand, so Bostrom.

OpenAI setzt auf Zusammenspiel zwischen Mensch und Maschine

Das US-KI-Unternehmen OpenAI gibt jetzt einen Einblick in die eigene Alignment-Forschung, die Bostroms Forderungen zumindest in Ansätzen aufgreift. OpenAIs Grundsatz lautet: KI-Systeme sollen aus menschlichem Feedback lernen und gleichzeitig Menschen bei der Bewertung von KI unterstützen.

Anzeige
Anzeige

Aktuelle Alignment-Ansätze möchte die Firma maximal ausreizen, um ihre Möglichkeiten und Grenzen auszuloten und zu dokumentieren. In der Forschung setzt OpenAI dafür auf drei Säulen.

  • Training von KI-Systemen mit menschlichem Feedback
  • Training von KI-Systemen zur Unterstützung der menschlichen Bewertung
  • Training von KI-Systemen zur Durchführung der Alignment-Forschung

OpenAI räumt ein, dass allein diese drei Bereiche zu oberflächlich seien, da etwa Menschen je nach kulturellem Hintergrund auf unterschiedliche Art bewerten würden. Eine wesentliche Frage sei daher ebenso, auf wen KI-Systeme zugeschnitten werden sollen. Alignment ist nicht allein ein technisches Problem: Es ist auch eine soziale und politische Herausforderung.

Menschliches Feedback hilft bei der KI-Ausrichtung

Ein zentraler Baustein von OpenAIs aktueller Alignment-Forschung sind die sogenannten InstructGPT-Modelle, Derivate aus großen KI-Modellen wie GPT-3. Sie sind darauf optimiert, expliziten und impliziten menschlichen Bedürfnissen besser zu folgen und Werte wie Wahrhaftigkeit, Fairness und Sicherheit zu berücksichtigen. OpenAI integriert bei InstructGPT-Modellen menschliche Bewertungen in den Datensatz für das KI-Training.

InstructGPT-Modelle würden von Menschen im Durchschnitt bereits besser bewertet und lieber genutzt als Standard-KI-Modelle. Das sei an der eigenen Programmierschnittstelle für natürliche Sprache ablesbar, so OpenAI.

Allerdings produziere auch diese Modell-Klasse noch immer Falschmeldungen oder toxische Ausgaben. Zudem sei ein solches Training mit menschlichem Feedback wohl nicht ausreichend, um den möglichen überlegenen maschinellen Intellekt einer generellen Künstlichen Intelligenz in Einklang mit menschlichen Bedürfnissen zu bringen. Dennoch sei menschliches Feedback ein Grundstein einer möglichen Alignment-Lösung.

Empfehlung

Die Maschine soll dem Menschen bei der Bewertung helfen

Ein Schwachpunkt bei der menschlichen Bewertung ist der Mensch selbst: Je komplexer die Aufgaben werden, die eine KI löst, desto schwieriger wird es für Menschen, dem KI-System nützliches Feedback zu geben.

Die KI könne womöglich nur bei für Menschen lösbaren Fragen um menschliche Hilfe bitten oder im schlimmsten Fall Menschen bloß jene Dinge mitteilen, die diese hören möchte, und die Wahrheit verschweigen.

KI-Systeme sollen daher komplexe Prozesse in einzelne, für Menschen bewertbare Schritte aufteilen. Ein Beispiel liefert ein KI-System von OpenAI, dass die Bewertung einer maschinellen Buchzusammenfassung mit Zusammenfassungen einzelner Kapitel unterstützen.

Die Entwicklung solcher KI-Assistenzsysteme sieht OpenAI als besten Weg, weitere Alignment-Forschung zu betreiben: "Unsere Alignment-Verfahren müssen auch dann funktionieren, wenn unsere KI-Systeme sehr kreative Lösungen vorschlagen (wie AlphaGos Zug 37). Daher sind wir besonders daran interessiert, Modelle zu trainieren, die Menschen dabei helfen, korrekte von irreführenden oder trügerischen Lösungen zu unterscheiden."

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

KI richtet sich selbst aus

Der dritte Baustein in OpenAIs Alignment-Strategie: Künstliche Intelligenz treibt die Alignment-Forschung eigenständig voran.

Für diese Strategie existiert ein triftiger Grund: Mit dem Fortschreiten von KI seien einige neue Alignment-Probleme zu erwarten, mit denen bislang niemand rechne. Eine skalierende, grundsätzliche Lösung für das Alignment-Problem sei daher wahrscheinlich schwierig zu finden, schreibt OpenAI.

Pragmatischer sei es daher, KI-Systeme zu entwickeln, die Alignment-Forschung schneller und besser betreiben können als Menschen. Menschen würde es wahrscheinlich deutlich leichter fallen, die Forschungsergebnisse einer KI zu bewerten, statt diese selbst zu erzeugen.

"Unser Ziel ist es, Modelle so zu trainieren, dass wir fast die gesamte kognitive Arbeit, die für die Alignment-Forschung erforderlich ist, auslagern können", schreibt OpenAI.

Für die maschinelle Alignment-Bewertung reichten bereits engere KI-Systeme, die in ihrem jeweiligen Forschungsbereich menschliche Leistung übertreffen. Diese spezialisierten KIs seien voraussichtlich leichter auszurichten als fähige Allzwecksysteme.

Große Sprachmodelle trügen "eine Menge Wissen und Informationen über menschliche Werte" aus dem Internet in sich und seien daher potenziell gut für die Automatisierung der Alignment-Forschung geeignet. Zudem verfolgten sie keine eigenen Ziele.

Anzeige
Anzeige

Zukünftige Versionen von KI-Systemen wie WebGPT, InstructGPT und Codex könnten die Grundlage für diese automatisierte Alignment-Forschung werden. Noch sei nicht klar, wann diese Systeme leistungsfähig genug seien.

"Sobald wir ein Modell trainiert haben, das nützlich sein könnte, planen wir, es der externen Alignment-Forschungsgemeinschaft zugänglich zu machen", schreibt OpenAI.

Risiken der Alignment-Forschung

OpenAI beschreibt ebenso Risiken der eigenen Alignment-Ansätze. So könnte etwa der Einsatz von KI-Assistenz für die Bewertung dazu führen, dass Vorurteile verstärkt würden. Zudem sei das Alignment einer generellen KI wohl deutlich anspruchsvoller als heutiger KI-Systeme, auch wenn OpenAI einen fließenden Übergang zu immer mächtigeren Systemen erwartet.

"Wenn es größere Brüche oder Paradigmenwechsel gibt, dann sind die meisten Lektionen, die wir aus der Anpassung von Modellen wie InstructGPT gelernt haben, möglicherweise nicht direkt nützlich", schreibt OpenAI.

Auch die Alignment-Forschung durch KI könne sich als Risiko erweisen, wenn die dafür notwendigen KI-Systeme ohne Alignment schon zu gefährlich seien. In diesem Fall würde die direkte Ausrichtung genereller KI wieder im Fokus stehen.

Mehr zum Thema generelle KI, Super-KI, Doomsday-Szenarien und die Ausrichtung Künstlicher Intelligenz besprechen wir in unserem DEEP MINDs KI-Podcast mit dem KI-Forscher Connor Leahy.

Anzeige
Anzeige
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Die Alignment-Forschung befasst sich mit der Frage, wie besonders mächtige Künstliche Intelligenz so ausgerichtet werden kann, dass sie dem Menschen hilft statt schadet. Das ist eine wichtige Sicherheitsfrage der KI-Entwicklung.
  • OpenAI setzt dafür auf drei Säulen: menschliches Feedback beim KI-Training, Bewertung von KI-Handlungen durch Menschen und KI, die schneller als Menschen zu Alignment-Fragen forscht.
  • Dennoch existieren viele Herausforderungen, die unter anderem mit unterschiedlichen kulturellen Hintergründen bei menschlichen Bewertungen zu tun haben, oder mit heute noch nicht antizipierbaren Alignment-Problemen bei extrem überlegener KI.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!