Leser bewerten ChatGPT-Geschichten höher als menschliche, bis sie die KI-Herkunft erfahren

KI-Geschichten schneiden bei Qualität und Immersion sogar besser ab

Im ersten Experiment las jeder der 1.682 Teilnehmenden eine von sechs Kurzgeschichten mit jeweils rund 1.000 Wörtern. Drei davon stammten aus renommierten Literaturzeitschriften und Kurzgeschichtensammlungen, die anderen drei wurden mit ChatGPT 4.0 generiert. Die KI-Prompts orientierten sich dabei an Thema, Stil und Erzählperspektive der menschlichen Vorlagen.

Der Hälfte der Teilnehmenden wurde gesagt, die Geschichte sei von einem Menschen geschrieben, der anderen Hälfte, sie stamme von ChatGPT. Diese Information stimmte jeweils nur bei der Hälfte der Probanden mit der Wahrheit überein, schreiben die Forscherinnen Sydney Sears und Deena Skolnick Weisberg in ihrer im Fachjournal "Judgment and Decision Making" veröffentlichten Studie.

Die von ChatGPT generierten Geschichten wurden sowohl bei der wahrgenommenen Qualität als auch beim Grad des Eintauchens signifikant besser bewertet als die menschlich verfassten Texte. Bei der Qualität lag der Mittelwert der KI-Geschichten bei 1,54 gegenüber 0,97 für die menschlichen Geschichten (auf einer Skala von minus 3 bis plus 3). Beim Eintauchen betrug der Unterschied 1,42 zu 1,00.

Gleichzeitig beeinflusste die eigene Einstellung zum Thema KI die Bewertung: Unabhängig davon, wer die Geschichte tatsächlich geschrieben hatte, bewerteten die Teilnehmenden sie besser, wenn ihnen gesagt wurde, sie stamme von einem Menschen.

Teilnehmende mit positiver Einstellung gegenüber KI hingegen gaben generell höhere Bewertungen ab. Wurde ihnen zusätzlich gesagt, die Geschichte stamme von ChatGPT, stiegen ihre Bewertungen noch weiter an. Bei KI-skeptischen Teilnehmenden kehrte sich dieser Effekt um. Eine solche Verzerrung wurde auch in einer früheren Studie zu KI-generierten Gedichten festgestellt.

In zwei weiteren Experimenten mit insgesamt 905 Teilnehmenden verschärften die Forscherinnen die Aufgabe: Jede Person las sowohl eine menschliche als auch eine KI-generierte Geschichte und sollte anschließend bestimmen, welche von wem stammt. Trotz des direkten Vergleichs lagen die Probanden laut der Studie nicht besser als der Zufall.

Selbsteingeschätzte Erfahrung mit KI-Systemen korrelierte positiv mit der Fähigkeit, die Geschichten korrekt zuzuordnen. Selbsteingeschätzte Erfahrung mit fiktionaler Literatur hingegen half den Teilnehmenden nicht bei der Unterscheidung.

Was ist eigentlich Qualität?

KI-generierte Texte sind typischerweise flüssiger, leichter verständlich und emotional positiver im Ton als menschlich geschriebene Texte. Diese Eigenschaften könnten die höheren Bewertungen erklären, ohne dass die KI-Geschichten im literarischen Sinne tatsächlich besser wären, so die Autoren. Menschen würden Material bevorzugen, das leichter zu verarbeiten ist.

Hochwertige literarische Fiktion hingegen sei oft absichtlich schwer zugänglich und fordere Leserinnen und Leser heraus, einfache Bedeutungen zu finden. Eine Geschichte könne also qualitativ hochwertig, aber wenig fesselnd sein, und umgekehrt.

Auch das Genre Kurzgeschichte dürfte der KI in die Karten spielen: Eine Geschichte konsistent über 1000 Wörter zu erzählen, ist eine deutlich andere Anforderung, als dies über Hunderte Seiten oder gar über einen ganzen Roman hinweg zu tun.

Das Fazit der Forscherinnen: KI-Programme können kreative Werke erzeugen, die als mindestens gleichwertig mit menschlicher Arbeit wahrgenommen werden, doch Menschen trauen ihnen genau das nicht zu. Sämtliche Daten und Materialien der Studie sind auf dem Open Science Framework frei zugänglich.

Dass die Expertise der Rezipienten nur bis zu einem gewissen Grad eine Rolle spielt, zeigt eine Studie der Stony Brook University und Columbia Law School aus dem letzten Oktober. Bei einfachem Prompting bevorzugten professionelle Leserinnen und Leser klar die menschlichen Texte. Wurden die Modelle jedoch speziell auf den Stil einzelner Autoren trainiert, bevorzugten die Expertinnen und Experten die KI-Texte achtmal häufiger bei der Stilnachahmung und doppelt so häufig bei der Schreibqualität.