Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Microsoft zeigt LLM-Augmenter, ein Framework, mit dem ChatGPT und andere Sprachmodelle weniger Falschinformationen produzieren sollen.

Mit ChatGPT von OpenAI, dem Chatbot Bing von Microsoft oder demnächst Bard von Google haben große Sprachmodelle Einzug in die Gesellschaft gehalten. Eine Schwäche dieser Modelle ist, dass sie Fakten halluzinieren und mit großer Überzeugung aussprechen.

Seit Jahren entwickeln Forschende verschiedene Methoden, um Halluzinationen in Sprachmodellen zu reduzieren. Mit dem Einsatz der Technologie in kritischen Bereichen, etwa in der Suche, wird eine Lösung immer dringender.

Mit dem LLM-Augmenter stellt Microsoft nun ein Framework vor, mit dem die Anzahl der Halluzinationen zumindest etwas reduziert werden kann.

Anzeige
Anzeige

Microsofts LLM-Augmenter setzt auf Plug-and-Play-Module

In ihrer Arbeit haben Forschende von Microsoft und der Columbia University ChatGPT um vier Module erweitert: Working Memory, Policy, Action Executor und Utility. Diese Module sind ChatGPT vorgeschaltet und erweitern die Anfragen der Nutzenden um Fakten, die dann in einem erweiterten Prompt an ChatGPT weitergeleitet werden.

Das Working Memory verfolgt den internen Dialog und speichert alle wichtigen Informationen einer Konversation, einschließlich der menschlichen Anfrage, der abgerufenen Fakten und der ChatGPT-Antworten.

Das Policy-Modul wählt die nächste Aktion des LLM-Augmenters aus, einschließlich der Abfrage von Wissen aus externen Datenbanken wie Wikipedia, des Aufrufs von ChatGPT, um einen Antwortkandidaten zu generieren, der vom Utility-Modul geprüft wird, und des Sendens einer Antwort an die Nutzenden, wenn die Antwort die Prüfung durch das Utility-Modul besteht.

Microsofts LLM-Augmenter setzt auf externe Module, um Fakten zu sammeln und präzisere Antworten zu liefern. | Bild: Microsoft

Die Strategien des Policy-Moduls können von Hand geschrieben oder erlernt werden. Im Paper setzt Microsoft für ChatGPT aufgrund der geringen Bandbreite zum Zeitpunkt der Tests auf manuell geschriebene Regeln, wie "Rufe immer externe Quellen auf", zeigt aber anhand eines T5-Modells, dass der LLM-Augmenter Verfizierungsstrategien auch lernen kann.

Der Action Executor wird vom Policy-Modul gesteuert und kann Wissen aus externen Quellen sammeln und verknüpfen sowie aus diesen Fakten und den Antwortkandidaten von ChatGPT neue Prompts generieren, die diese Fakten enthalten und wiederum an ChatGPT weitergeleitet werden. Das Utility-Modul stellt fest, ob die Antwortkandidaten von ChatGPT dem gewünschten Ziel einer Konversation entsprechen und gibt eine Rückmeldung an das Policy-Modul.

Empfehlung

In einem Dialog zur Informationssuche prüft das Utility-Modul beispielsweise, ob alle Antworten durch externe Quellen belegt sind. In einem Dialog zur Reservierung in einem Restaurant sollten die Antworten dagegen eher gesprächsartig sein und den Benutzer ohne abzuschweifen durch den Reservierungsprozess führen. Auch hier kann laut Microsoft eine Mischung aus spezialisierten Sprachmodellen und handgeschriebenen Regeln verwendet werden.

LLM-Augmenter verringert Chatbot-Fehler, aber weitere Forschung ist notwendig

In den von Microsoft durchgeführten Tests zeigt das Team, dass der LLM-Augmenter die ChatGPT-Ergebnisse verbessern kann: In einem Kundendienst-Test bewerteten Menschen die generierten Antworten als 32,3 Prozent nützlicher - laut Microsoft ein Wert, der Fundiertheit oder Halluzinationen der Antworten misst - und als 12,9 Prozent menschlicher als die nativen ChatGPT-Antworten.

Im Wiki-QA-Benchmark, bei dem das Modell Sachfragen beantworten muss, die oft Informationen erfordern, die über mehrere Wikipedia-Seiten verteilt sind, erhöht LLM-Augmenter die Anzahl richtiger Aussagen ebenfalls deutlich, kommt aber nicht an speziell für diese Aufgabe trainierte Modelle heran.

Ein Beispiel zeigt, wie LLM-Augmenter Informationen über mehrere Seiten sammeln kann und Antwortkandidaten korrigiert. | Bild: Microsoft

Microsoft plant ein Update der Arbeit mit einem mit ChatGPT trainierten Modell und mehr menschlichem Feedback für die eigenen Ergebnisse. Feedback von und Interaktionen mit Menschen sollen auch für das Training von LLM-Augmentern genutzt werden. Das Team vermutet, dass weitere Verbesserungen mit verfeinerten Prompt-Designs möglich sind.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Ob LLM-Augmenter oder ein ähnliches Framework für Bing genutzt wird, verrät das Paper nicht.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Große Sprachmodelle halluzinieren Informationen, das zeigen auch moderne Varianten wie ChatGPT von OpenAI oder der Bing-Chatbot von Microsoft.
  • Microsoft stellt mit LLM-Augmenter eine Methode vor, die externe Plug-and-Play-Module vor ChatGPT schaltet und durch externe Datenbanken und Prompt-Feedback bessere Antworten generieren soll
  • In Tests zeigt das Team, dass LLM-Augmenter die Halluzinationen von ChatGPT reduziert.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!