Die Harvard-Studentin Maya Bodnick wollte herausfinden, ob sich GPT-4 für Prüfungen im ersten Studienjahr der Geistes- und Sozialwissenschaften an der Harvard University eignet.
Zu diesem Zweck ließ Bodnick GPT-4 sieben Aufsätze zu Themen wie Wirtschaftskonzepte, Präsidialismus in Lateinamerika und eine literarische Analyse einer Passage von Proust schreiben.
Anschließend gab sie die Aufsätze den Professorinnen und Professoren zur Benotung, wobei sie aus Gründen der Voreingenommenheit angab, dass der Aufsatz entweder von ihr oder von GPT-4 verfasst worden war. GPT-4 schrieb alle eingereichten Aufsätze auf der Grundlage der Aufsatzaufgabe als Prompt.
Das Ergebnis: A. A. A. A-. B. B-. Bestanden. GPT-4 erreichte einen "respektablen" Notendurchschnitt von 3,57 GPA, so Bodnick.
Die Studentin gab an, GPT-4s Antworten unbearbeitet eingereicht zu haben, allerdings mit zwei Einschränkungen: Sie setzte den Aufsatz aus mehreren Antworten zusammen, um die vorgegebene Wortzahl zu erreichen, da GPT-4 maximal 750 Wörter auf einmal schrieb.
Außerdem bat sie die Gutachter, die fehlenden Zitate, die GPT-4 nicht angeben konnte, zu ignorieren. Normalerweise wären diese als Grundlage einer wissenschaftlichen Arbeit Teil der Benotung.
Tolle Noten mit Sonderlob und wenig Kritik
Neben den teilweise sehr guten Noten vergaben die Gutachter Sonderlob wie "schön geschrieben" oder "sehr klarer Ausdruck". Bei einer Arbeit zur Konfliktlösung bemängelte der Gutachter einen blumigen Schreibstil mit zu vielen Adjektiven und Metaphern.
Inhaltlich fielen die Bewertungen ebenfalls positiv aus, z.B. wurde der hohe Detaillierungsgrad gelobt oder dass jede Frage strukturiert abgehandelt wurde. Die schlechteste Note "B-" erhielt die Arbeit zum lateinamerikanischen Präsidentialismus, bei der der Gutachter bemängelte, dass die Arbeit positive Einschätzungen des Präsidentialismus sowie ökonomische Aspekte ignoriere.
"Ich denke, wir können aus der soliden Gesamtleistung von ChatGPT-4 extrapolieren, dass KI-generierte Essays an den meisten Universitäten des Landes wahrscheinlich gute Noten in geisteswissenschaftlichen Kursen erhalten würden", schreibt Bodnick.
In Princeton oder an der UC Berkeley hätten die Noten vielleicht B und C statt A und B gelautet. GPT-4 hätte dennoch bestanden. Die sieben Aufsätze sind hier einsehbar.
Ein neues Lern- und Lehrparadigma
KI würde daher die Art und Weise, wie Geistes- und Sozialwissenschaften gelehrt werden, völlig verändern. Es sei noch nie so einfach gewesen, bei einer Hausarbeit zu schummeln, und die Technologie würde voraussichtlich noch besser werden, zum Beispiel beim Zitieren. Detektoren hätten ihren Nutzen noch nicht bewiesen, und Bodnick bezweifelt, dass sich das ändern werde.
Kürzlich haben sich große KI-Firmen freiwillig verpflichtet, ein Watermarking-System zu entwickeln. Allerdings hat OpenAI seinen eigenen Detektor wegen mangelnder Genauigkeit zurückgezogen, und OpenAI-CEO Sam Altman hat immer wieder Zweifel an einem mittel- bis langfristig funktionierenden KI-Text-Detektionssystem geäußert.
Tests müssten daher zumindest teilweise wieder in persönlichen Gesprächen statt in Aufsätzen stattfinden, meint Bodnick. Die Tatsache, dass GPT-4 ihre Aufsätze schreiben konnte, sei ein Hinweis auf mögliche Entwicklungen in ihrem zukünftigen Berufsfeld.
Daher sei es wichtig, dass das Bildungssystem diese Erkenntnis nutzt, um darüber nachzudenken, wie sich Berufe verändern und darauf vorzubereiten - anstatt zu versuchen, KI-Aufsätze zu identifizieren und zu bestrafen.
"Mein Gefühl sagt mir, dass Geisteswissenschaftler - die den größten Teil ihrer akademischen Laufbahn damit verbringen, Essays zu schreiben - in einer Welt nach der KI noch größere Schwierigkeiten haben werden. KI kommt nicht nur für die akademischen Aufsätze, sondern auch für die intellektuelle Klasse."
