Inhalt
summary Zusammenfassung

Ein komplexer Prompt des Cloud-Marketing-Unternehmens Salesforce soll die Qualität von Artikelzusammenfassungen mit GPT-4 verbessern.

Der Prompt "Chain of Density" fordert GPT-4 zunächst auf, einen ersten Entwurf einer Zusammenfassung mit möglichst wenigen Elementen zu erstellen. In den nächsten Schritten fordert der Prompt GPT-4 auf, diese Zusammenfassung zu überarbeiten und weitere Details hinzuzufügen.

Wie beim "Chain-of-Thought"-Prompting verwendet das Modell dann den ersten generierten Output als Vorlage für die nächste Generierung. Je öfter das Modell diesen Prozess durchläuft, desto höher wird die Informationsdichte in der Zusammenfassung bei gleicher Zeichenlänge.

"Mit CoD erstellte Zusammenfassungen sind stärker abstrahiert, zeigen mehr Zusammenhänge und sind weniger voreingenommen als GPT-4-Zusammenfassungen, die mit einem generischen Prompt erstellt wurden", schreibt das Team.

Anzeige
Anzeige

Article: {{article}
You will generate increasingly concise entity-dense summaries of the above article. Repeat the following 2 steps 5 times.

Step 1: Identify 1-3 informative entities (delimited) from the article which are missing from the previously generated summary.
Step 2: Write a new denser summary of identical length which covers every entity and detail from the previous summary plus the missing entities.

A missing entity is
- Relevant: to the main storys.
- Specific: descriptive yet concise (5 words or fewer).
- Novel: not in the previous summary.
- Faithful: present in the article.
- Anywhere: located in the article.

Guidelines:
- The first summary should be long (4-5 sentences, ~80 words), yet highly non-specific, containing little information beyond the entities marked as missing. Use overly verbose language and fillers (e.g., "this article discusses") to reach ~80 words.
- Make every word count. Rewrite the previous summary to improve flow and make space for additional entities.
- Make space with fusion, compression, and removal of uninformative phrases like "the article discusses".
- The summaries should become highly dense and concise, yet self-contained, e.g., easily understood without the article.
- Missing entities can appear anywhere in the new summary.
- Never drop entities from the previous summary. If space cannot be made, add fewer new entities.

Remember: Use the exact same number of words for each summary.

Empfehlung

Answer in JSON. The JSON should be a list (length 5) of dictionaries whose keys are "missing_entities" and "denser_summary".

Bild: Salesforce

Die Komplexität guter Zusammenfassungen

Das Forschungsteam testete den Prompt mit 100 Nachrichtenartikeln von CNN und DailyMail. Menschen, in diesem Fall vier der Autoren des Papers, bewerteten die Zusammenfassungen nach etwa drei Durchgängen am besten.

GPT-4 bewertete die Zusammenfassungen in den Dimensionen Information, Qualität, Kohärenz, Attributierbarkeit und "Insgesamt" nach zwei Durchgängen im Durchschnitt am höchsten. Die CoD-Methode soll einem einfacheren getesteten Prompt ("Write a VERY short summary of the Article. Do not exceed 70 words.") überlegen sein.

"Wir glauben, dass ein gewisses Maß an Verdichtung wünschenswert ist, aber wenn die Zusammenfassungen zu viele Entitäten pro Token enthalten, ist es sehr schwierig, die Lesbarkeit und Kohärenz aufrechtzuerhalten", schreibt das Team.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Bild: Salesforce

Im Allgemeinen schneiden der erste und der letzte Schritt am schlechtesten ab, wobei die drei mittleren Zusammenfassungen nahe beieinander liegen. Dass die erste Zusammenfassung schlechter bewertet wird, ist logisch, da das Modell in diesem Prompt aufgefordert wird, zunächst eine oberflächliche Zusammenfassung zu schreiben.

Dass die Ergebnisse so eng beieinander liegen, zeigt auch, wie schwierig es ist, Texte ab einem bestimmten Niveau zu bewerten. Das wiederum macht es schwierig, die Wirkung des "Prompt Engineering" zu messen.

Das Forschungsteam veröffentlicht neben dem Prompt einen Datensatz mit 500 kommentierten und 5000 unkommentierten CoD-Zusammenfassungen.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Der komplexe "Chain of Density" (CoD) Prompt von Salesforce zielt darauf ab, die Qualität der von GPT-4 generierten Artikelzusammenfassungen zu verbessern, indem die Informationsdichte schrittweise erhöht wird.
  • Die CoD-Methode beinhaltet die iterative Erstellung und Überarbeitung von Zusammenfassungen, was zu abstrakteren, kohärenteren und weniger voreingenommenen Zusammenfassungen als bei einem generischen Prompt führen soll.
  • Das Forschungsteam testete den Prompt anhand von 100 Nachrichtenartikeln von CNN und DailyMail, wobei menschliche Beurteiler die Zusammenfassungen, die nach etwa drei Iterationen erstellt wurden, als die besten beurteilten.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!