Inhalt
summary Zusammenfassung

Wenn ChatGPT & Co. ihre Antworten selbst überprüfen müssen, machen sie weniger Fehler, zeigt eine neue Studie von Meta.

Anzeige

ChatGPT und andere Sprachmodelle geben immer wieder falsche Informationen wieder - auch wenn sie eigentlich die richtige Information gelernt haben. Es gibt verschiedene Ansätze, um diese Fehlinformationen zu reduzieren. Forschende von Meta AI stellen nun mit Chain-of-Verification (CoVe) eine auf Prompts basierende Methode vor, die dieses Problem deutlich reduziert.

Neue Methode setzt auf Selbstverifikation des Sprachmodells

Bei CoVe gibt der Chatbot zunächst eine Ausgabe auf einen Prompt wie "Nenne einige Politiker, die in New York geboren wurden". Ausgehend von dieser Ausgabe, die oft bereits Fehler enthält, generiert das Sprachmodell dann Fragen, die die Aussagen verifizieren sollen, etwa "Wo wurde Donald Trump geboren?".

CoVe setzt auf separat gepromptete Verifikationsfragen. | Bild: Meta AI

Diese "Verifizierungsfragen" werden dann jeweils als neuer Prompt unabhängig von der ersten Eingabe ausgeführt, um die mögliche Übernahme falscher Informationen aus der ersten Ausgabe zu verhindern. Das Sprachmodell überprüft dann die erste Eingabe anhand der separat gesammelten Fakten. Alle Tests wurden mit Llama 65B durchgeführt.

Anzeige
Anzeige

Chain-of-Verification reduziert Halluzinationen in Sprachmodellen deutlich

Das Team zeigt, dass die Antworten auf einzelne Fragen deutlich weniger Fehler enthalten und CoVe somit die Endausgabe auf einen Prompt deutlich verbessert. Bei listenbasierten Fragen, wie dem Politiker-Beispiel, kann CoVe die Genauigkeit mehr als verdoppeln und damit die Fehlerquote deutlich reduzieren.

In komplexeren Frage-Antwort-Szenarien bringt die Methode immer noch eine Verbesserung von 23 Prozent und auch in Langform-Inhalten steigert CoVe die Faktengenauigkeit um 28 Prozent. Allerdings lässt das Team bei solchen längeren Inhalten das Sprachmodell zusätzlich die Verifikationsantworten auf Inkonsistenzen gegenchecken.

In seinen Tests kann das Meta-Team auch zeigen, dass Instruction-Tuning und Chain-of-Thought-Prompting Halluzinationen nicht reduzieren, so schlägt Llama 65B mit CoVe das neuere, Instruction-tuned Modell Llama 2. In längeren Inhalten hängt das Modell mit CoVe auch ChatGPT und PerplexityAI ab, das sogar externe Fakten für seine Generierungen sammeln kann. CoVe arbeitet vollständig mit im Modell gespeichertem Wissen.

In Zukunft könnte die Methode aber auch durch externes Wissen verbessert werden, indem das Sprachmodell beispielsweise durch Zugriff auf eine externe Datenbank die Verifikationsfragen beantworten kann.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  •  Meta AI hat eine neue Methode namens Chain-of-Verification (CoVe) entwickelt, die Fehlinformationen durch Sprachmodelle wie ChatGPT erheblich reduziert.
  •  CoVe funktioniert, indem der Chatbot basierend auf seiner ersten Antwort Verifizierungsfragen generiert und diese dann unabhängig von der ersten Eingabe ausführt, um die Übernahme falscher Informationen zu verhindern. Das Sprachmodell vergleicht dann die ursprüngliche Eingabe mit den separat erfassten Fakten.
  • Die Methode hat gezeigt, dass sich die Genauigkeit bei listenbasierten Fragen mehr als verdoppelt und die Faktengenauigkeit auch bei langen Inhalten um 28 % verbessert. In Zukunft könnte CoVe durch die Integration von externem Wissen verbessert werden, z.B. durch den Zugriff auf eine externe Datenbank zur Beantwortung von Verifizierungsfragen.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!