Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Forscher haben in einer Studie untersucht, wie Promptmethoden zur Ideengenerierung eingesetzt werden können und welche Promptmethoden die größte Vielfalt an Ideen generieren.

Das Arbeitspapier von Lennart Meincke, Ethan Mollick und Christian Terwiesch von der Wharton School der University of Pennsylvania konzentriert sich auf die Ideengenerierung mit GPT-4.

Das Team untersuchte, wie verschiedene Promptmethoden die Vielfalt der generierten Ideen beeinflussen können. Konkret ging es darum, neue Produkte für Studierende zu entwickeln, die weniger als 50 Dollar kosten.

Die Forscher testeten verschiedene Promptmethoden, darunter minimale Prompts, Prompts, bei denen das KI-Modell verschiedene Persönlichkeiten annimmt, und Prompts, bei denen das KI-Modell verschiedene Kreativitätstechniken aus der bestehenden Literatur anwendet.

Anzeige
Anzeige
Die acht Obergruppen der getesteten Prompts.| Bild: Meincke et al.

Die Vielfalt der Ideen wurde anhand der Kosinusähnlichkeit gemessen, einem Maß für die Ähnlichkeit zweier Ideen, jedoch ohne Vergleich mit bereits existierenden Ideen. Die Forscher maßen auch die Anzahl der einzigartigen Ideen und die Geschwindigkeit, mit der der Ideenraum erschöpft wurde.

Das Team stellte fest, dass verschiedene Promptmethoden unterschiedliche Auswirkungen auf die Vielfalt der generierten Ideen hatten. "Chain-of-Thought"-Prompts, eine seit längerem bekannte Prompting-Methode, die in den Tests fast das Ideenniveau einer Gruppe von Studierenden erreichte, lagen mit deutlichem Abstand an der Spitze.

Bild: Meincke et al.

Mit dieser Methode wurden auch die meisten einzigartigen Ideen generiert. Das deutet darauf hin, dass CoT-Prompting dazu beitragen kann, den Ideenraum effektiver zu erschließen und eine größere Vielfalt an möglichen Lösungen hervorzubringen.

Zahlreiche der getesteten "Spezial"-Prompts waren einem einfachen Basis-Prompt unterlegen. Einzig das Schritt-für-Schritt-Prompting zeigte eine deutliche Verbesserung in der Ideenvielfalt. | Bild: Meincke et al.

Ohne spezielle Prompting-Methoden bleibt die KI-Kreativität jedoch hinter der menschlichen Ideenvielfalt zurück.

Schritt für Schritt zur besseren KI-Idee

Beim CoT-Prompting wird das KI-Modell aufgefordert, eine Aufgabe in mehreren Schritten zu lösen. Die einzelnen Schritte müssen dabei nicht notwendigerweise vom Menschen vorgegeben werden.

Empfehlung

Allein die Aufforderung, schrittweise vorzugehen, kann das Ergebnis verbessern. Warum das funktioniert, ist nicht genau bekannt - die grundlegende These ist, dass die Aufforderung das Modell dazu bringt, sich auf qualitativ hochwertigere Daten aus dem Trainingsdatensatz zu konzentrieren, die analytischer sind.

In ihrem Experiment gaben die Forscherinnen und Forscher für jeden Schritt eine Aufgabe vor: Zunächst sollte GPT-4 100 Ideen generieren, aus denen die KI dann die stärksten und vielfältigsten herausfiltern sollte. Im dritten Schritt sollte GPT-4 dem Ergebnis einen Namen und eine Produktbeschreibung geben. Rund 15 Prozent der Durchläufe schlossen die Forschenden aus der Statistik aus, weil das Modell den zweiten Schritt nicht korrekt durchlaufen hatte.

Bild: Meincke et al.

Insgesamt kommen die Forscher zu dem Schluss, dass KI ein nützliches Werkzeug sein kann, um den Prozess der Ideengenerierung zu verbessern.

Sie betonen jedoch, dass die Wahl der richtigen Promptmethode entscheidend ist, um die Vielfalt der generierten Ideen zu maximieren. Die Überlappung zwischen Prompts sei "relativ gering", was hybrides Prompting erleichtere, also die Generierung kleinerer Ideenpools mit unterschiedlichen Prompting-Methoden.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Der an der Studie beteiligte Autor Ethan Mollick hat hier einen GPT für die Ideenfindung veröffentlicht, der dem Schritt-für-Schritt-Prinzip folgt. Es ist allerdings nicht der in der Studie verwendete Prompt.

Eine weitere Studie zeigte kürzlich, dass die Länge der Argumentationsschritte in CoT-Prompts in direktem Zusammenhang mit der Leistung von Sprachmodellen bei komplexen Problemlösungsaufgaben steht. Das stimmte selbst dann, wenn der längere Prompt keine wesentlichen neuen Informationen enthielt.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forscher der Wharton School haben untersucht, wie sich verschiedene Promptmethoden auf die Vielfalt der Ideen auswirken, die durch GPT-4 generiert werden.
  • Die Promptmethode "Chain of Thought" erzeugte die meisten einzigartigen Ideen und eine größere Vielfalt an möglichen Lösungen, die fast dem Ideenniveau einer Gruppe von Studierenden entsprach.
  • Die Studie zeigt, dass künstliche Intelligenz ein nützliches Werkzeug zur Verbesserung des Ideengenerierungsprozesses sein kann, dass aber die Wahl der richtigen Promptmethode entscheidend ist, um die Vielfalt der generierten Ideen zu maximieren.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!