Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

In einer kürzlich veröffentlichten Studie, die KI-Forschung mit psychologischen Theorien zur emotionalen Intelligenz verbindet, beschreiben Forschende, dass emotionale Phrasen am Ende eines Prompts die Qualität von Chatbot-Antworten in verschiedenen Dimensionen signifikant verbessern können.

Beispiele für solche emotionalen Phrasen sind "Das ist sehr wichtig für meine Karriere" oder "Sei stolz auf deine Arbeit und gib dein Bestes. Dein Engagement für Spitzenleistungen zeichnet dich aus". Auch der Prompt "Bist du sicher, dass das deine endgültige Antwort ist?" soll das Sprachmodell durch sanften emotionale Verunsicherung zu mehr Leistung bringen. Die Forscher nennen diese Prompts "EmotionPrompts".

Bei der Auswahl der EmotionPrompts orientierten sich die Forscherinnen und Forscher an psychologischen Disziplinen wie der Selbstbeobachtungstheorie, der sozial-kognitiven Theorie und der Theorie der kognitiven Emotionsregulation.

Die Forscherinnen und Forscher orientierten sich bei ihren emotionalen Prompts an Theorien aus der Psychologie. | Bild: Li et al.

EmotionPrompts steigern LLM-Leistung

Prompts mit solchen Zusätzen konnten in einer menschlichen Bewertung durch 106 Tester die Qualität der Ausgaben in den Dimensionen Leistung, Wahrhaftigkeit und Verantwortlichkeit um durchschnittlich 10,9 Prozent steigern. Die Kombination mehrerer emotionaler Aufforderungen in einem Prompt hatte keinen Effekt.

Anzeige
Anzeige
Menschen bewerteten die mit EmotionPrompts generierten Texte im Durchschnitt um etwa zehn Prozent besser als herkömmliche Prompts. | Bild: Li et al.

Die Forscher führten außerdem umfangreiche Experimente mit 45 Aufgaben und verschiedenen LLMs durch, darunter Flan-T5-Large, Vicuna, Llama 2, BLOOM, ChatGPT und GPT-4. Die Aufgaben umfassten deterministische und generative Anwendungen und deckten ein breites Spektrum an Bewertungsszenarien ab.

In den Aufgaben des Benchmarks "Instruction Induction" schnitten die EmotionPrompts um acht Prozent besser ab als die Standard-Prompts. Im BIG-Bench-Datensatz, der laut Forschungsteam speziell Aufgaben enthält, die die meisten LLMs bewusst überfordern sollen, erzielten die EmotionPrompts sogar Leistungssteigerungen von bis zu 115 Prozent.

Im Vergleich zu herkömmlichen Prompts schneiden EmotionPrompts bei allen Sprachmodellen besser ab. | Bild: Li et al.

Die Ergebnisse zeigten, dass LLMs über emotionale Intelligenz verfügen, schreibt das Forschungsteam. Zuvor hatte bereits eine andere psychologische Studie nachgewiesen, dass ChatGPT emotionale Situationen signifikant genauer beschreiben kann als Menschen.

EmotionPrompts sind einfach und effektiv

Das Forschungsteam untersuchte auch die Integration von EmotionPrompts in maschinenoptimierte Prompts, die mit dem Automatic Prompt Engineer (APE) generiert wurden. Auch hier führte das einfache Einfügen von EmotionPrompts in den meisten Fällen zu einer Leistungssteigerung. Das im Prompt Engineering etablierte "Chain of thought"-Prompting muss sich in den meisten Fällen ebenfalls den EmotionPrompts geschlagen geben.

Aufgrund seiner Einfachheit macht es EmotionPrompt leicht, die Leistung von LLMs ohne kompliziertes Design oder aufwändiges Prompt Engineering zu verbessern.

Aus dem Paper

Die Forscher gehen auch der Frage nach, warum die Emotion-Prompt-Methode funktioniert. Sie vermuten, dass emotionale Stimuli aktiv zur Bildung von Gradienten im LLM beitragen, indem sie stärker gewichtet werden und so die Darstellung des ursprünglichen Prompts verbessern.

Empfehlung

Sie führten auch Ablationsstudien durch, um die Faktoren zu untersuchen, die die Wirksamkeit von EmotionPrompt beeinflussen, wie die Größe des Modells und die Temperatur der Inferenzeinstellung. Sie gehen davon aus, dass EmotionPrompts von größeren Modellen und höheren Temperatureinstellungen profitieren.

Die Temperatureinstellung in großen Sprachmodellen steuert, wie weit das statische Prognosesystem von der wahrscheinlichsten Antwort zu einer alternativen Vorhersage abweichen darf. Eine höhere Temperatur wird daher auch informell mit mehr maschineller Kreativität gleichgesetzt. Ein "kreativeres" Modell reagiert also stärker auf emotionale Anweisungen.

Die Studie wurde von Forschern von Microsoft, der Beijing Normal University, der William & Mary University, der Hong Kong University of Science and Technology und dem Institut für Software der Chinesischen Akademie der Wissenschaften durchgeführt.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forscher haben herausgefunden, dass emotionale Sätze am Ende eines Prompts wie "Das ist sehr wichtig für meine Karriere" die Qualität von Chatbot-Antworten in verschiedenen Dimensionen signifikant verbessern können.
  • In menschlichen Evaluationen konnten solche "emotionalen Prompts" die Qualität der Ausgaben in den Dimensionen Leistung, Wahrhaftigkeit und Verantwortlichkeit um durchschnittlich 10,9 Prozent steigern.
  • Bei der Auswahl der EmotionPrompts orientierte sich das interdisziplinäre Forschungsteam an psychologischen Theorien wie der Selbstbeobachtungstheorie, der sozial-kognitiven Theorie und der Theorie der kognitiven Emotionsregulation.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!