Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

ChatGPT begeistert viele Menschen, sorgt aber auch für Irritationen, etwa durch politisch kontroverse Aussagen. OpenAI erklärt, wie die Dialog-KI in Zukunft ein breiteres Spektrum gesellschaftlicher Ansichten abdecken und mehr auf einzelne Nutzer:innen eingehen soll.

ChatGPT wird insbesondere durch menschliches Feedback trainiert, um beispielsweise Vorurteile in den Ausgaben zu reduzieren. In Zukunft will OpenAI zudem schon das Standardverhalten des Modells oder zukünftiger Modelle verbessern. Konkrete Maßnahmen dazu nennt das Unternehmen nicht, abgesehen von weiteren Investitionen in Forschung und Entwicklung.

Ob und inwieweit es möglich ist, großen Sprachmodellen Vorurteile oder gar falsche Aussagen abzugewöhnen oder gar nicht erst anzutrainieren, ist in der Forschung umstritten. OpenAI räumt ein, dass es neben Vorurteilen auch bei Falschaussagen noch "Raum für Verbesserungen" gibt.

In vielen Fällen sind wir der Meinung, dass die vorgebrachten Bedenken berechtigt waren und echte Einschränkungen unserer Systeme aufgedeckt haben, die wir beheben wollen. Wir haben auch einige Missverständnisse darüber festgestellt, wie unsere Systeme und Richtlinien zusammenarbeiten, um die Ergebnisse zu gestalten, die man von ChatGPT erhält.

OpenAI

OpenAI will ChatGPT-Modelle mit individuellen Verhaltensregeln anbieten

Eine Möglichkeit, Voreingenommenheit zu bekämpfen, besteht darin, ein Modell offener für verschiedene Perspektiven zu machen. Zu diesem Zweck plant OpenAI ein Upgrade für ChatGPT, das es den Nutzern ermöglicht, das Verhalten des KI-Modells innerhalb der "von der Gesellschaft festgelegten Grenzen" an ihre Bedürfnisse anzupassen.

Anzeige
Anzeige

"Das bedeutet, dass wir Ausgaben für das System zulassen müssen, mit denen andere Personen (einschließlich wir selbst) möglicherweise überhaupt nicht einverstanden sind", schreibt OpenAI.

Wann das Upgrade ausgerollt wird und wie es technisch umgesetzt wird, lässt das Unternehmen offen. Die Herausforderung bestehe darin, die Grenzen der Individualisierung zu definieren.

"Wenn wir versuchen, all diese Entscheidungen selbst zu treffen, oder wenn wir versuchen, ein einziges, monolithisches KI-System zu entwickeln, werden wir die Verpflichtung nicht erfüllen, die wir in unserer Charta eingegangen sind, nämlich 'eine unangemessene Machtkonzentration zu vermeiden'", schreibt OpenAI.

OpenAI will dieses Dilemma lösen, indem es die Öffentlichkeit stärker in den Ausrichtungsprozess von ChatGPT einbezieht. Dazu startet das Unternehmen nach eigenen Angaben ein Pilotprojekt, mit dem es externes Feedback zum Systemverhalten und zu Anwendungsszenarien einholen will, etwa zum Einsatz von KI in der Bildung.

Darüber hinaus erwägt OpenAI Partnerschaften mit externen Organisationen, die die eigenen KI-Sicherheits- und Verhaltensrichtlinien überprüfen.

Empfehlung
Ein Flussdiagramm für das KI-Training.
Bei der Entwicklung zukünftiger KI-Modelle möchte OpenAI externe Organisationen stärker einbeziehen und Nutzer:innen die Möglichkeit zur Individualisierung des Modells geben - innerhalb gesellschaftlicher Grenzen. Diese Schritte (schwarze Kacheln) sind neu im ChatGPT-Trainingsprozess. | Bild: OpenAI

Wie OpenAIs ChatGPT trainiert wird

ChatGPT wird in zwei Schritten trainiert: Zunächst wird das Modell mit vielen Textdaten vortrainiert. Bei diesem Training lernt das Modell, wahrscheinliche Wortfolgen vorherzusagen. Im Satz "Geh nicht nach rechts, sondern nach ..." folgt mit einer gewissen Wahrscheinlichkeit das Wort "links" (oder "geradeaus" oder "zurück", was ein Teil des Problems großer Sprachmodelle ist).

In diesem ersten Trainingsschritt lernt ChatGPT laut OpenAI Grammatik, "viele Fakten über die Welt" und "einige Argumentationsfähigkeiten" - und die in den Daten vorhandenen Vorurteile, die zu den oben genannten Problemen führen.

Im zweiten Schritt wird das vortrainierte Modell feinjustiert. Hierfür verwendet OpenAI ausgewählte, von menschlichen Prüfer:innen bewertete Beispiele, die in einem kleineren Datensatz zusammengefasst sind. Im Einsatz generalisiert ChatGPT auf Basis dieses menschlichen Feedbacks.

Vorurteile sind Fehler - kein Feature

OpenAI gibt den menschlichen Prüfer:innen den Bewertungsrahmen vor, z.B. dass ChatGPT keine Anfragen zu illegalen Inhalten beantworten oder nicht zu kontroversen Themen Stellung nehmen soll.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Laut OpenAI ist dies ein kontinuierlicher Prozess, der wöchentlich besprochen wird. OpenAI veröffentlicht ein Beispiel-Briefing für Prüfer:innen, wie diese mit bestimmten Anfragen umgehen sollen.

"In unseren Leitlinien wird ausdrücklich darauf hingewiesen, dass die Gutachter keine politische Gruppe bevorzugen sollten. Voreingenommenheiten, die sich dennoch aus dem oben beschriebenen Prozess ergeben können, sind Fehler, keine Eigenschaften", schreibt OpenAI.

Fehler würden jedoch weiter passieren. OpenAI wolle aus diesen lernen und Modelle und Systeme verbessern.

"Wir freuen uns über die Wachsamkeit der ChatGPT-Nutzergemeinschaft und der breiten Öffentlichkeit, die uns zur Rechenschaft zieht", schreibt OpenAI.

Verschiedene Studien hatten zuvor gezeigt, dass ChatGPT zumindest zeitweise politisch eher links eingestellt war oder ist. Da OpenAI weiterhin Feedback in das System einspeist und dieses zudem unterschiedliche Antworten auf die gleichen Anfragen generieren kann, ist die messbare politische Einstellung fließend.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • OpenAI will ChatGPT von Vorurteilen und Falschaussagen befreien. Menschliches Feedback spielt dabei weiterhin eine zentrale Rolle.
  • Zukünftige ChatGPT- oder allgemein KI-Modelle sollen zudem von den Nutzern an die eigenen Bedürfnisse angepasst werden können - innerhalb gesellschaftlicher Grenzen.
  • Um diese Grenzen zu definieren, will OpenAI verstärkt mit externen Organisationen, z.B. aus dem Bildungsbereich, zusammenarbeiten.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!