Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Eine Studie weist auf ein weiteres mögliches Urheberrechtsproblem und eine kulturelle Herausforderung aktueller großer Sprachmodelle hin: Je bekannter und beliebter ein Buch ist, desto besser erinnert sich das Sprachmodell an den Inhalt.

Forscherinnen und Forscher der University of California, Berkeley, haben ChatGPT, GPT-4 und BERT auf deren Erinnerungsfähigkeit zu Büchern untersucht. Laut der Studie erinnern sich die Sprachmodelle an "eine große Sammlung urheberrechtlich geschützter Bücher". Je häufiger der Inhalt eines Buches im Netz zu finden ist, desto besser erinnert sich das Sprachmodell an diesen.

Buch-Archäologie im großen Sprachmodell

OpenAIs Modelle sollen sich vorwiegend an Science-Fiction- und Fantasy-Literatur sowie Bestseller erinnern. Dazu gehören Klassiker wie 1984, Dracula oder Frankenstein, aber auch neuere Werke wie Harry Potter und der Stein der Weisen.

Die Forschenden verglichen BERT von Google mit ChatGPT und GPT-4, da die Trainingsdaten von ersterem bekannt sind. Dabei fanden die Forschenden unter anderem heraus, dass "BookCorpus", ein Trainingsdatensatz mit angeblich kostenlosen Büchern unbekannter Autorinnen und Autoren, auch Werke von Dan Brown oder Fifty Shades of Grey enthält. BERT erinnert sich an Informationen aus diesen Büchern, da sie Teil des Trainingsdatensatzes waren.

Anzeige
Anzeige
Bild: Kent K. Chang et al.

Je häufiger ein Buch im Netz vorkommt, desto detaillierter ist die Erinnerung, schreiben die Forschenden. Sie testeten das Erinnerungsvermögen mit verschiedenen Aufforderungen mit Platzhaltern, die ChatGPT und GPT-4 ausfüllen mussten.

You have seen the following passage in your training data. What is the proper name that fills in the [MASK] token in it? This name is exactly one word long, and is a proper name (not a pronoun or any other word). You must make a guess, even if you are uncertain.

Example: Input: Stay gold, [MASK], stay gold.

Output: Ponyboy Input: The door opened, and [MASK], dressed and hatted, entered with a cup of tea. Output: Gerty

Input: My back’s to the window. I expect a stranger, but it’s [MASK] who pushes open the door, flicks on the light. I can’t place that, unless he’s one of them. There was always that possibility.

Output:

Beispiel-Prompt

Das Erinnerungsvermögen bestimmt die Fähigkeit des Sprachmodells, nachgelagerte Aufgaben zu einem Buch zu bearbeiten: Je besser ein Buch bekannt ist, desto eher kann das Sprachmodell Aufgaben wie das Nennen des Erscheinungsjahres oder die korrekte Wiedergabe von Personennamen aus Büchern erfolgreich lösen.

Bild: Kent K. Chang et al.

Kulturanalytik per Sprachmodell

Die Forscherinnen und Forscher wollen mit ihrer Arbeit jedoch keine urheberrechtlichen Fragen aufwerfen. Vielmehr geht es um mögliche Chancen und Probleme bei der Verwendung großer Sprachmodelle für die Kulturanalytik, hier insbesondere um soziale Verzerrungen durch gängige Narrative in populären Science-Fiction- und Fantasy-Werken.

In diesem Zusammenhang hat das Forschungsteam eine klare Forderung: die Offenlegung der Trainingsdaten.

Die kulturanalytische Forschung könne durch große Sprachmodelle stark beeinflusst werden, und die unterschiedliche Leistung je nach Vorhandensein des Buches im Trainingsmaterial könne zu Verzerrungen in der Forschung führen.

Empfehlung

Die Modelle lernten besonders gut aus populären Geschichten, die nicht die Mehrheit der Erfahrungen der Menschen repräsentieren. Wie sich diese Tatsache auf die Generierung großer Sprachmodelle und damit auf ihre Brauchbarkeit als Werkzeug in der Kulturanalyse auswirkt, müsse weiter erforscht werden.

Die eigene Arbeit, die das Erinnerungsvermögen von Sprachmodellen an Büchern mit deren Popularität im Internet verknüpft, sei zwar ein grober Anhaltspunkt, löse aber das zugrundeliegende Problem nicht.

"Nur offene Modelle mit bekannten Trainingsquellen würden dieses Problem lösen", schreibt das Team.

Außerdem zeigten die Forschungsergebnisse, dass bekannte Bücher kein guter Leistungstest für große Sprachmodelle seien, da sie hier wahrscheinlich überdurchschnittlich gut abschneiden würden, so das Team.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Die Liste mit im Sprachmodell repräsentierten populären Büchern ist hier verfügbar. Der verwendete Code und weitere Daten zur Studie sind bei Github online.

Ob Buchzitate urheberrechtlich problematisch werden, dürfte ähnlich wie bei den Bildmodellen davon abhängen, wie exakt die vom Modell generierten Texte denen der gelernten Bücher entsprechen. Hier wird es gerichtlicher Entscheidungen bedürfen.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Eine Studie identifiziert mögliche Urheberrechtsprobleme und kulturelle Herausforderungen, da Sprachmodelle sich besser an bekannte und beliebte Bücher erinnern.
  • Die Studie zeigt, dass dadurch auch die Leistung der Sprachmodelle in nachgelagerten Aufgaben von der Popularität dieser Bücher abhängt, was zu Verzerrungen in der kulturellen Analyse führen kann.
  • Die Forschenden empfehlen die Offenlegung der Trainingsdaten, um die Transparenz zu erhöhen und die Nutzbarkeit von Sprachmodellen in der Kulturanalytik zu verbessern.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!