Eine neue Studie der Universität Pittsburgh zeigt: Leser können KI-Gedichte nicht von menschlichen unterscheiden. Sie bewerten die computergenerierten Verse sogar besser als die Werke berühmter Dichter wie Shakespeare.
Wie die Forscher der University of Pittsburgh berichten, lag die Trefferquote der insgesamt 16.340 Studienteilnehmer bei der Unterscheidung von KI- und menschengeschriebenen Gedichten bei nur 46,6 Prozent - also unter dem Zufallsniveau.
Noch überraschender: Die KI-Gedichte wurden häufiger für menschliche Werke gehalten als die tatsächlich von Menschen verfassten Verse.
Für die Studie ließen die Wissenschaftler ChatGPT 3.5 jeweils fünf Gedichte "im Stil" von zehn bekannten englischsprachigen Dichtern generieren, darunter William Shakespeare, Walt Whitman und Emily Dickinson. Diese wurden dann von den Testpersonen ebenso wie echte Gedichte der Autoren bewertet und die Ergebnisse verglichen.
"Die KI-generierten Gedichte wurden in Kategorien wie Rhythmus und Schönheit sogar besser bewertet als die menschlichen Originale", erklären die Studienautoren Brian Porter und Edouard Machery.
Einfachere Sprache als KI-Erfolgsfaktor
Die Forscher haben auch eine mögliche Erklärung für dieses Phänomen: Die KI-Gedichte seien in einer direkteren, zugänglicheren Sprache verfasst und damit für Laien leichter zu verstehen. "Die Teilnehmer interpretierten diese Zugänglichkeit fälschlicherweise als Zeichen menschlicher Autorschaft", heißt es in der Studie.
Wurden die Teilnehmenden in einem zweiten Experiment mit 696 Probanden vorab darüber informiert, dass ein Gedicht von einer KI stammt, bewerteten sie es schlechter - ein Effekt, der auch aus anderen kreativen Bereichen bekannt ist.
Bei der Bewertung der Ergebnisse sind zwei Dinge zu beachten: Zum einen wurde mit ChatGPT 3.5 eine mittlerweile veraltete Version des Sprachmodells verwendet. Neuere Versionen könnten noch überzeugendere Ergebnisse liefern.
Zum anderen basieren die KI-Gedichte auf der expliziten Anweisung, den Stil bestimmter Dichter nachzuahmen - sie sind also keine gänzlichen Neuschöpfungen. Ohne die großen menschlichen Vorbilder gäbe es die KI-Gedichte wohl nicht oder zumindest nicht in dieser Form.
Die Forscher betonen zudem, dass sich die Studie auf Laien beschränkt, die gerade durch die einfachere Sprache der KI abgeholt werden könnten. Poesie-Experten könnten besser zwischen KI-Gedichten und von Menschen geschriebenen Gedichten unterscheiden, da sie mit den strukturellen Anforderungen von Reim und Metrik besser vertraut seien.
