Mit "Dramatron" stellt Deepmind eine neue Prompt-Methode für große Sprachmodelle vor. Für die Demo verwendet Deepmind Technologie von OpenAI.
Mit Dramatron will Deepmind eine gängige Limitierung aktueller großer Sprachmodelle (Large Language Model, LLM) überwinden: Die Fähigkeit, lange, zusammenhängende Storys mit konsistenten Charakteren und fortlaufender Handlung zu generieren.
Grundlegend für Dramatron ist das sogenannte "Prompt-Chaining". Die Methode verkettete Prompts auf niedrigeren Hierarchie-Ebenen mit Prompts samt Ausgaben aus höheren Hierarchie-Ebenen.
Das Forschungsteam von Deepmind und der Stanford Universität kann so zusammenhängende Skripte und Drehbücher für Theater und Film erzeugen - vom Titel über die Charaktere, Handlungsstränge, Ortsbeschreibungen bis zu den Dialogen.
Menschliche Editor:innen können in den Prozess eingreifen, laut der Forschenden müssen sie das aber nicht - im Gegensatz zu vergleichbaren Experimenten. Dramatron soll ohne menschliche Hilfe konsistent erzählen können.
Hierarchisches Prompting für konsistente Storys
Ausgangspunkt für Dramatron ist die Kurzusammenfassung einer Handlung, die sogenannte "Log Line". Sie enthält für gewöhnlich den Schauplatz, die Protagonisten und Antagonisten, einen Konflikt oder ein Ziel oder ein besonderes Ereignis. Die Zusammenfassung beantwortet die für eine Handlung entscheidenden Fragen nach dem wer, was, wann und wo, wie und warum.
Nach der Eingabe der Log Line durch einen Menschen erzeugt Dramatron eine Liste der Charaktere, die Handlung und Orte samt ihrer Beschreibungen. All diese Parameter sollen mit der Log Line konsistent sein. Abschließend generiert das System die Dialoge für jede einzelne Szene.
Video: Deepmind
Dramatron verwendet dafür fünf fix vorgegebene Prompts, die anhand der Log Line und aufeinander aufbauend ihren jeweiligen Text generieren.
- Der Titel-Prompt generiert den Titel anhand der Log Line.
- Der Character-Description-Prompt generiert die Figurenbeschreibungen anhand der Log Line.
- Der Plot-Outline-Prompt generiert anhand der Log Line und der Charakterliste die Handlung und kompakte Szenenbeschreibungen samt Ortsangaben. Er generiert zudem Zusammenfassungen der Aussagen involvierter Protagonisten.
- Der Location-Description-Prompt generiert eine detaillierte Szene anhand eines Ortsnamens und der Log Line.
- Abschließend generiert der Dialogue-Prompt anhand der Szenenzusammenfassungen, der Orts- und Charakterbeschreibungen und, für die Konsistenz der Story, der Log Line die Dialoge. Der Prompt verarbeitet Informationen der aktuellen Szene und vergangener Szenen.
Nach jedem Schritt kann ein Mensch in den Prozess eingreifen, die Generierung wiederholen, fortführen oder die Ausgabe manuell editieren.
Für die Entwicklung des Systems verwendete Deepmind ein mit 70 Milliarden Parametern trainiertes Chinchilla-Modell aus eigenem Hause. Die zur Verfügung gestellte Demo hingegen verbindet sich mit GPT-3 und benötigt daher einen OpenAI API-Schlüssel. Die kommerziell orientierte Deepmind-Schwester Google hat zwar zahlreiche große Sprachmodelle wie PaLM in Entwicklung, bislang ist davon aber keines am Markt verfügbar.
Hilfreiches Schreibwerkzeug, aber kein Mensch-Ersatz
Das Team generierte gemeinsam mit 15 Fachleuten aus der Theater- und Filmindustrie ko-kreativ Dramatron-Stücke und evaluierte sie anschließend mit denselben Personen in offenen Interviews.
Die Bewertungen fielen überwiegend positiv aus. 92 Prozent der befragten Personen zeigten sich überrascht von den KI-Ausgaben, 84 Prozent empfanden das System als hilfreich. 77 Prozent empfanden die Zusammenarbeit als kollaborativ und hatten zudem weiter das Gefühl, im Prozess selbst kreativ zu sein. Tendenziell bewerteten Film-Fachleute die generierten Skripte besser als Theater-Fachleute.
Kritisiert wurde unter anderem in den Skripten auftretender Sexismus, das Risiko von Plagiarismus und die Auswirkungen des Systems auf die Kreativbranche. Eine Rückmeldung lautete, dass Dramatron Künstler:innen davon befreien könne, formelhafte Skripte zu schreiben, dadurch aber Arbeitsgelegenheiten zerstört würden.
Innerhalb der generierten Texte kritisierten einige Teilnehmende mangelnde Konsistenz, fehlendes Verständnis für die Welt und dafür, welche Elemente man auf einer Bühne gut inszenieren könne. Weitere Kritik bezog sich auf mangelnden Subtext und fehlende Nuancen. Handlungen und Charaktere seien nicht auserzählt.
"KI wird niemals 'Casablanca' oder 'Ein wunderbares Leben' schreiben. Sie könnte in der Lage sein, genretypische Erzählungen zu schreiben", urteilt eine teilnehmende Person.
Auch Fragen nach der Autor:innenschaft stehen im Raum: Mehr als die Hälfte der Teilnehmenden gab an, das Gefühl zu haben, dass ihnen die Ausgabe des KI-Systems nicht gehöre. Jedoch fanden alle Teilnehmenden Dramatron nützlich als Inspiration im Schreibprozess.
Entsprechend lautet auch das Fazit des Forschungsteams, dass Dramatron als "ko-kreatives Schreibwerkzeug" verwendet werden könne, dank dem menschliche Autor:innen gemeinsam mit LLMs Drehbücher und Theaterskripts schreiben.
Beispiele für generierte Texte gibt es im Paper, eine GPT-3-basierte Demo ist hier verfügbar.