OpenAIs Sprach-KI GPT-3 schreibt Texte wie ein Mensch. Fallen Professoren darauf rein?
Bei der Vorstellung von GPT-3 im Mai 2020 lieferte OpenAI direkt die Beweisführung, dass die neue Premium-Sprach-KI Menschen hinters Licht führen kann: 80 Probanden sollten von GPT-3 geschriebene Fake-News erkennen. Das gelang ihnen nur in 52 Prozent der Fälle - knapp über Zufall.
In den Folgemonaten machte GPT-3 Schlagzeilen als Fake-Bloggerin für Lebenshilfe-Texte und als Reddit-Autorin. In beiden Fällen wurde die KI nicht oder erst spät als Textmaschine identifiziert. Eine Untersuchung zeigt jetzt, dass auch Professoren auf GPT-3 hereinfallen können.
Aufsätze von GPT-3 können Uni-Kurse bestehen
Die Webseite Eduref ließ GPT-3 Aufsätzen schreiben über die Geschichte der USA, Forschungsmethoden, kreatives Schreiben und das Gesetz. Unter die KI-Texte mischte EduRef anonymisierte Aufsätze von Studierenden und freien Autoren.
Die KI-Texte wurden leicht gekürzt und Wiederholungen entfernt. Außerdem wählten die Studienmacher zwischen zwei Versionen die besser geeignete aus. Die Grammatik und die dargestellten Fakten ließen sie unverändert.
Alle Aufsätze ließ Eduref dann von ausgewählten Professoren bewerten: GPT-3 erzielte in den besten Arbeiten jeweils eine 2- für einen Geschichtsaufsatz über den amerikanischen Exzeptionalismus und ein politisches Memo für einen Rechtskurs.
Die Geschichtsaufsätze der Studierenden wurden mit einer 2 respektive 3+ bewertet. Beim Memo erhielt nur einer von drei Studierenden eine bessere Note als GPT-3. Eine Arbeit über Forschungsmethoden für eine COVID-19-Impfung wurde mit einer 3 bewertet, die Studierenden erhielten eine 2 und eine 4.
Beim kreativen Schreiben fiel die KI allerdings durch, während die menschlichen Autoren Noten zwischen einer 1 und einer 4+ erhielten. Dem KI-Text fehlte laut professoraler Bewertung der rote Faden in der Handlung.
GPT-3 fällt beim kreativen Schreiben durch
Dass GPT-3 ausgerechnet bei kreativen Texten schlecht abschneidet, ist aus Sicht des Studienmanagers Sam Larson systembedingt: GPT-3 schöpfe aus einem Fundus von Ereignissen, Geschichte und Rechtsinformationen in Datenbanken.
Für Rechts- und Geschichtsthemen könne die KI gut aus diesen Datenbanken zitieren. Kreatives Schreiben jedoch beruhe "mehr auf Vorstellungskraft und der Synthese von Gedanken zu Ideen, als auf dem Wiederkäuen von bereits vorhandenen Daten."
Insgesamt fällt das Urteil der Professoren durchwachsen aus. GPT-3s Aufsätze hätten wohl gereicht, entsprechende Hausarbeiten zu bestehen, das zeigen die Noten - und es spricht für den erstaunlichen Fortschritt von Sprach-KI in den letzten rund zwei Jahren.
Die Professoren lobten teils die Sprachfähigkeiten, zum Beispiel "hervorragende Eröffnungen und Übergänge". Auf inhaltlicher Ebene kritisierten sie die KI-Texte jedoch beispielsweise als vage, stumpf und unbeholfen.
Allerdings zeigt die Studie auch, dass GPT-3 bei Aufsätzen schon jetzt mindestens eine hilfreiche Unterstützung sein kann. Insbesondere wenn man bedenkt, dass die KI ihre Texte innerhalb von Minuten statt Stunden generiert.
Und: Noch stärkere Sprach-KI-Modelle in den nächsten Jahren sind wahrscheinlich. Der Bildungsapparat sollte sich darüber Gedanken machen, wie er mit den neuen KI-Generatoren umgehen mag, die neben Sprache in andere Bereiche vordringen wie Design.
GPT-3 ist zwar derzeit nur gegen Bezahlung und für ausgewählte Kunden zugänglich, allerdings könnten schon ab Sommer vergleichbar leistungsfähige Open-Source-Generatoren verfügbar sein.
Quelle: Eduref | Titelbild: Eduref
