Google-Forscher suchen nach dem Schlüssel für vorurteilsfreie und faktenbasierte Sprach-KIs - und haben einen möglichen Lösungsansatz gefunden.
Auf der diesjährigen I/O-Entwicklerkonferenz gab Google einen Einblick in die Zukunft der Suche: Große Sprachmodelle wie LaMDA und multimodale Modelle wie MUM sollen Suchanfragen besser verstehen und relevantere Ergebnisse liefern.
Transformer-basierte Modelle wie LaMDA oder OpenAIs GPT-3 repräsentieren zwar zahlreiche Informationen, die sie aus den Trainingsdaten ziehen - aber bislang fehlt eine Methode, die sicherstellt, dass die Systeme keine falschen Behauptungen oder Vorurteile ausgeben.
Im August 2020 stellte Google mit REALM einen Versuch für eine zuverlässigere Sprach-KI vor. REALM (Retrieval-Augmented Language Model Pre-Training) besteht neben einem klassischen großen Sprachmodell wie LaMDA oder GPT-3 zusätzlich aus einem sogenannten "Knowledge Retriever" - einem Wissenssammler: Ein neuronales Netz lernt, aus einer vom Sprachmodell unabhängigen Textdatenbank wie Wikipedia passende Kontextinformationen zu einer Sprachaufgabe zu finden.
Zwanzig Pfund für eine Handvoll Krimskrams
Soll REALM etwa den Satz „We paid twenty … at the Buckingham Palace gift shop” vervollständigen, sucht der Retriever aus der Textdatenbank passende Kontextinformationen wie „Buckingham Palace is the London residence of the British monarchy“ und „The official currency of the United Kingdom is the Pound” aus.
Diese Sätze werden dann zusammen mit der ursprünglichen Aufgabe in das Sprachmodell überführt. Durch den zusätzlichen Kontext erhöht sich die Wahrscheinlichkeit deutlich, dass REALM das korrekte Wort „pounds“ ergänzt.
In einem Frage-Benchmark in natürlicher Sprache von Google (Natural Questions) erreicht das 300 Millionen Parameter große REALM-Modell eine Genauigkeit von 38,8 Punkten. Eine erweiterte Version des 11 Milliarden große T5-Modell erreicht hingegen nur eine Genauigkeit von 36,6 Punkten – obwohl es mit deutlich mehr Daten trainiert wurde. Das spricht für die Effizienz des REALM-Ansatzes, die Ausgabe von Sprach-KIs durch zielgerichteten Kontext zu verbessern.
Knowledge Graphen als Faktenquelle
Nun hat Google eine neue Version von REALM vorgestellt, die neben Wikipedia-Text auf Knowledge Graphen als zusätzlichen Kontext zugreifen kann. Solche Graphen haben den großen Vorteil, dass sie etwa in der hier genutzten Wikidata-Webseite von Menschen gepflegt werden und ausschließlich dazu dienen, Fakten zu repräsentieren.
Damit sind die Graphen theoretisch eine ideale Quelle für faktenbasiertes Wissen für KI-Modelle. In der Praxis ist die Verarbeitung der Graphen durch Sprachmodelle jedoch ein Problem, da die Informationen nicht als Text vorliegen.
Damit die Knowledge Graphen vom Sprachmodell verarbeitet werden können, hat Google daher die Pipelin TEKGEN (Text from KG Generator) entwickelt, die aus den Graphen kurze Sätze formulieren. Diese Sätze können anschließend mit dem Wikipedia-Korpus kombiniert werden und vom Retriever in REALM als zusätzlicher Kontext an das Sprachmodell geliefert werden.
In zwei Frage-Benchmarks (Natural Questions und Web Questions) führen die zusätzlichen Informationen aus den Graphen zu einer weiteren Verbesserung von knapp drei Punkten im Vergleich zum REALM-Modell ohne Wikidata-Informationen. Das Testergebnis zeigt, dass die Qualität von Sprachmodellen wie REALM tatsächlich durch einen faktenbasierten Textkorpus verbessert werden kann.
Google sieht in dem Einsatz dieser sogenannten KELM-Technik (Knowledge Graph Based Synthetic Corpus Generation for Knowledge-Enhanced Language Model Pre-training) in REALM erst den Anfang. So sei der auf Github verfügbare KELM-Korpus abseits von REALM etwa als direkter Trainingsdatensatz für Sprachmodelle denkbar. Bereits das könne potenziell Vorurteile abmildern und die Faktengenauigkeit erhöhen.
Die Forscher hoffen außerdem, dass ihre Arbeit zu weiteren Fortschritten „bei der Integration von strukturierten Wissensquellen in das Vortraining von großen Sprachmodellen“ führt.
Via: Google
