Inhalt
summary Zusammenfassung

Große Sprachmodelle können Bevölkerungsgruppen simulieren. Warum das praktisch für die Sozialforschung und nützlich für Informationskriege ist.

Anzeige

Wer an Bias in KI-Modellen denkt, hat direkt negative Beispiele von automatisiertem Rassismus und Sexismus im Kopf. Gerade große Sprachmodelle wie OpenAIs GPT-3 sind in der Lage, die schlimmsten Vorurteile der Menschheit eloquent zu reproduzieren oder neue zu erfinden.

Die Ursache liegt in den riesigen Mengen Text, die für das Training der Modelle aus dem Internet gesammelt werden: Trotz Filtern und weiterer Methoden, finden sich immer Vorurteile in den Daten.

Für ein Modell wie GPT-3, das lediglich das nächste Token in einer Reihe von Token vorhersagt, macht es dabei keinen Unterschied, ob es um rassistische Vorurteile geht - im neuronalen Netz finden sich unzählige Bias. KI-Forschende der TU Darmstadt zeigten etwa, dass sich in Sprachmodellen auch deontologische, ethische Überlegungen zu "richtigem" und "falschem" Handeln wiederfinden.

Anzeige
Anzeige

OpenAIs GPT-3 Bias ist nuanciert

Forschende der Brigham Young University weisen jetzt nach, dass der algorithmische Bias in GPT-3 eine feinkörnige und demografisch korrelierte Eigenschaft des KI-Systems ist. Bei richtiger Konditionierung lässt sich die Antwortverteilung einer Vielzahl verschiedener Bevölkerungsgruppen nachbilden.

Die Autoren der Arbeit nutzen dafür tausende soziodemografischen Hintergrundgeschichten mehrerer großer Umfragen in den USA als Eingaben für GPT-3. Zusammen mit dem aus den Umfragen gewonnenen Input stellen sie dem GPT-3-Modell Fragen und überprüfen, ob das KI-System ähnliche Antworten wie echte Menschen mit gleichen demografischen Hintergrunddaten ausgibt.

In einem Beispiel fügen sie etwa Selbstbeschreibungen von starken Demokraten und starken Republikanern in das Prompt-Feld ein und lassen das GPT-3-Modell anschließend die beiden Parteien mit Stichpunkten beschreiben.

Der Input-Text ist schwarz, die GPT-3 generierten Ausgaben blau. | Bild: Argyle et al.

Sie kommen zu dem Ergebnis, dass ihr Modell Ergebnisse produziert, "die sowohl für als auch gegen bestimmte Gruppen und Perspektiven in einer Weise voreingenommen sind, die stark mit menschlichen Reaktionsmustern entlang feinkörniger demografischer Achsen übereinstimmen."

Die in GPT-3 enthaltenen Informationen gehen laut dem Team weit über oberflächliche Ähnlichkeiten hinaus: "Sie sind nuanciert, vielschichtig und spiegeln das komplexe Zusammenspiel zwischen Ideen, Einstellungen und soziokulturellem Kontext wider, das menschliche Einstellungen kennzeichnet."

Empfehlung

GPT-3 als Werkzeug für Sozialwissenschaft oder Informationskriege?

Sprachmodelle wie GPT-3 könnten daher ein neuartiges und leistungsfähiges Werkzeug darstellen, um das Verständnis von Mensch und Gesellschaft in verschiedenen Disziplinen zu verbessern, so die Forschenden.

Sie warnen jedoch auch vor potenziellem Missbrauch: In Verbindung mit anderen computergestützten und methodischen Fortschritten könnten die Erkenntnisse genutzt werden, um menschliche Gruppen gezielt auf ihre Anfälligkeit für Fehlinformationen, Manipulation oder Betrug zu testen.

Jack Clark, KI-Experte und Herausgeber des Import AI Newsletters fasst das wie folgt zusammen: "Sozialwissenschaftliche Simulationen sind cool, aber wissen Sie, was andere Leute cool finden? KI-gestützte Informationskriegsführung über das gesamte Spektrum! Da Modelle wie GPT-3 auf hohem Niveau simulieren können, wie verschiedene menschliche Populationen auf bestimmte Dinge reagieren, können wir uns vorstellen, dass Menschen diese Modelle nutzen, um groß angelegte Informationskriege und Beeinflussungsoperationen zu simulieren, bevor sie im Internet durchgeführt werden."

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Eine neue Studie zeigt, dass OpenAIs GPT-3 vielschichtige und nuancierte Bias enthält.
  • Die Forschenden reproduzieren in einem Test GPT-3-Antworten, die menschlichen Reaktionsmustern entlang feinkörniger demografischer Achsen übereinstimmen. Das Team sieht das als Hinweis, dass GPT-3 unterschiedliche Bevölkerungsgruppen simulieren kann.
  • GPT-3 und ähnliche Sprachmodelle können daher als Werkzeuge für Sozialwissenschaftler dienen. Die Erkenntnisse könnten jedoch auch für Informationskriege genutzt werden.
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!