Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Missverständnisse treten häufig in der menschlichen Kommunikation auf, aber auch zwischen Menschen und großen Sprachmodellen (LLMs). Eine neue Prompting-Technik könnte Abhilfe schaffen.

Wenn Missverständnisse auftreten, geben LLMs nutzlose Antworten oder, schlimmer noch, sie beginnen zu halluzinieren. Um das zu verhindern, haben Forscherinnen und Forscher der University of California (UCLA) eine neue Prompting-Technik namens "Rephrase and Respond" (RaR) entwickelt, die die Leistung von LLMs bei der Beantwortung von Fragen verbessern kann.

Neue Prompting-Technik: Rephrase and Respond

Die RaR-Methode ermöglicht es LLMs, Fragen, die von Menschen gestellt werden, umzuformulieren und zu erweitern, bevor sie eine Antwort generieren. Die grundlegende Idee ist, dass man eine bessere Antwort erhält, wenn man eine klarere Frage stellt.

Bild: Deng et al.

Der Prozess ähnelt der Art und Weise, wie Menschen manchmal eine Frage in ihrem Kopf umformulieren, um sie besser zu verstehen, bevor sie antworten. Indem man den LLM Zeit gibt, über die Frage nachzudenken und sie zu klären, kann die Genauigkeit der Antworten erheblich verbessert werden.

Anzeige
Anzeige
One-step RaR:
"{question}"
Rephrase and expand the question, and respond.

In den von den Forschenden durchgeführten Experimenten konnte die RaR-Methode die Genauigkeit von zuvor für GPT-4 schwierigen Aufgaben in einigen Fällen auf nahezu 100 Prozent steigern.

Bei den Testaufgaben der Forscher zu Wissen und Logik führte die RaR-Methode zu signifikant besseren Ergebnissen im Sinne von genaueren oder richtigen Antworten. | Bild: Deng et al.

Andere LLMs wie GPT-3.5 und Vicuna zeigten ebenfalls deutliche Leistungsverbesserungen. Das gilt insbesondere für eine zweistufige Variante von RaR, bei der eine ursprüngliche Anfrage von einem leistungsfähigen großen Sprachmodell (LLM) wie GPT-4 umformuliert und dann zur Erstellung einer verfeinerten Anfrage verwendet wird.

Bild: Deng et al.
Two-step RaR:
"{question}"
Given the above question, rephrase and expand it to help you do better answering. Maintain all information in the original question.
Die zweistufige RaR-Methode griff auch bei weiteren.
Die zweistufige RaR-Methode verbessert auch weniger leistungsfähige Sprachmodelle. | Bild: Deng et al.

Die Forscher verglichen die RaR-Methode mit der bekannten Chain-of-Thought-Technik (CoT). Beide Methoden zielen darauf ab, die Leistung von LLMs zu verbessern.

RaR erwies sich in den Experimenten der Forscherinnen und Forscher als effektiv bei Aufgaben, bei denen CoT keine Leistungssteigerung brachte. Außerdem können RaR und CoT miteinander kombiniert werden, indem man an den RaR-Prompt das typische "Denke Schritt für Schritt" anhängt.

RaR + CoT
Given the above question, rephrase and expand it to help you do better answering.  Lastly, let’s think step by step to answer.

Empfehlung

Die für LLMs sehr anspruchsvolle Aufgabe "Last Letter Concatenation" konnte von GPT-4 mit dem RaR-CoT-Prompt auch bei bis zu vier Namen zu fast 100 Prozent zuverlässig gelöst werden. Dabei muss das Sprachmodell die Endbuchstaben einer vorgegebenen Namensliste zu einem neuen Wort zusammensetzen.

Bild: Deng et al.

Die Fragen und Beispiele aus der Studie sowie die Prompt-Varianten sind im Paper oder bei Github verfügbar.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forscher der University of California (UCLA) haben eine neue Prompting-Technik namens "Rephrase and Respond" (RaR) entwickelt, um die Leistung von großen Sprachmodellen (LLMs) bei der Beantwortung von Fragen zu verbessern.
  • Die RaR-Methode ermöglicht es LLMs, gestellte Fragen vor der Generierung einer Antwort umzuformulieren und zu erweitern, wodurch die Genauigkeit der Fragen und damit auch die Genauigkeit der Antworten erhöht wird.
  • In Experimenten konnte die RaR-Methode die Genauigkeit von LLMs wie GPT-4, GPT-3.5 und Vicuna bei schwierigen Aufgaben auf bis zu 100 Prozent steigern. Die RaR-Methode kann mit anderen Techniken wie Chain-of-Thought (CoT) kombiniert werden, um noch bessere Ergebnisse zu erzielen.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!