Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Google Brain zeigt, dass große Sprachmodelle vom Feintuning mit Instruktionsdatensätzen profitieren.

Beim sogenannten "Finetuning" werden vortrainierte große Sprachmodelle mit weiteren Daten trainiert, um diese etwa auf bestimmte Anwendungsszenarien zu spezialisieren. Eine Forschungsgruppe von Google zeigt jetzt, dass das Feintuning mit Instruktionen die Leistung großer Sprachmodelle für viele Aufgaben verbessern kann.

Finetuning mit 1.836 Sprachaufgaben

Der Feintuning-Ansatz mit Instruktionen selbst ist nicht neu. Das Google-Brain-Team testete insbesondere die Skalierung der Methode und trainierte das eigene große Sprachmodell PaLM, U-PaLM und das Open-Source-Modell T5 mit insgesamt 1.836 Instruktionen nach.

Bild: Google Brain

Der größte Teil der Aufgaben stammt aus dem Natural Instructions v2-Datensatz, der etwa Instruktionen zum Commonsense Reasoning beinhaltet. Auf letzteres zielt laut des Forschungsteams auch ein Feintuning mit Beispielen zum sogenannten Chain-of-Thought-Reasoning ein.

Anzeige
Anzeige

Mit Chain-of-thought-Prompts wird die KI aufgefordert, Sprachaufgaben Schritt für Schritt zu lösen und dabei jeden Schritt zu dokumentieren. Das Training mit nur neun CoT-Datensätzen sorgte für eine signifikante Verbesserung bei dieser Fähigkeit im Vergleich zu früheren FLAN-Modellen.

Zudem wird das Prompting vereinfacht, da das FLAN-Modell kein CoT-Beispiel im Prompt benötigt. Die Aufforderung zur Begründung genügt.

Beispiel für eine Chain-of-Thought-Aufgabe, die von Flan-PaLM gelöst wird. | Bild: Google Brain

Insgesamt berichtet das Forschungsteam daher von einer "dramatischen Verbesserung" bei der Bedienung ("Prompting") und beim mehrstufigen Schlussfolgern. PaLM- und T5-Modelle profitieren in gängigen Benchmarks unabhängig ihrer Größe vom Feintuning mit Instruktionen und schlagen ohne Ausnahme Non-Flan-Modelle.

In einer ersten Evaluation mit 20 menschlichen Tester:innen bewerteten diese die Nutzbarkeit des Flan-PaLM-Modells in knapp 80 Prozent der Fälle besser als die des Non-Flan-PaLM-Modells, etwa in Punkten wie Kreativität, kontextuellen und insbesondere komplexen Begründungen.

Empfehlung

Feintuning mit Instruktionsdaten skaliert am Anfang stark

Die Skalierung der Performance des Sprachmodells durch das Instruktionsdaten-Training nimmt allerdings bei größeren Datenmengen signifikant ab. So gibt es einen deutlichen Sprung in der Performance zwischen Modellen ohne Feintuning und mit 282 Aufgaben feingetunten Modellen. Zwischen letztgenannten und dem 1.836-Aufgaben-Modell fällt der Unterschied allerdings geringfügig aus. Generell skaliert das Feintuning entlang der Modellgröße.

Bild: Google Brain

Flan-PaLM erreicht bei mehreren Benchmarks die beste Leistung, z. B. 75,2 % bei five-shot MMLU. Flan-PaLM hat auch eine verbesserte Benutzerfreundlichkeit - zum Beispiel kann es Zero-Shot-Reasoning ohne Prompt-Engineering- oder Few-Shot-Beispiele durchführen. Darüber hinaus zeigen wir, dass die Feinabstimmung der Prompts mit einer Reihe von Modellgrößen, Architekturen und Pretraining-Zielen kompatibel ist.

Fazit im Paper

Das Forschungsteam veröffentlicht das Flan-T5-Modell als Open Source bei Github. Eine Vergleichsdemo zwischen Flan-T5 und Vanilla T5 ist bei Hugging Face verfügbar.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Google Brain trainierte die großen Sprachmodelle T5 und PaLM mit mehr als 1.800 Instruktions- und Chain-of-Thought-Aufgaben nach.
  • Das Ergebnis ist eine durchweg verbesserte Performance der Sprachmodelle, speziell bei komplexen, nachvollziehbaren Begründungen, und eine bessere Benutzbarkeit.
  • Google Brain veröffentlicht das mit Instruktionsdaten feingetunte T5-Modell als Open Source.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!