Wie nützlich sind KI-Tutoren beim Lernen? Eine Studie mit 1.200 Teilnehmenden untersucht, ob GPT-4 beim Mathematiklernen helfen kann.
ChatGPT und andere KI-Tools, die große Sprachmodelle nutzen, werden von Schüler:innen, Studierenden und Lehrer:innen genutzt. Eine erste umfassende Studie untersucht nun, ob diese Tools tatsächlich zu Lernerfolgen führen.
Das Paper "Math Education With Large Language Models: Peril or Promise?" von Forscher:innen der University of Toronto und Microsoft Research untersucht konkret, welche Auswirkungen GPT-4 auf das Lernen im Mathematikunterricht haben kann.
An der Studie nahmen fast 1.200 Personen teil, die Mathematikaufgaben lösen mussten.
Mathe-Nachhilfe mit GPT-4 zeigt positiven Einfluss
Das Experiment bestand aus zwei Phasen: einer Lernphase, in der die Teilnehmer die Aufgaben entweder selbst ausprobierten oder zuerst die richtigen Antworten sahen, und einer Testphase, in der sie ähnliche Aufgaben ohne Hilfe lösen mussten.
Den Teilnehmern wurden drei Arten von Erklärungen präsentiert: keine Erklärung, eine GPT-4 generierte Erklärung oder eine vom Team angepasste GPT-4 Erklärung mit maßgeschneiderten Problemlösestrategien.
Während der Testphase wurden alle Teilnehmer mit neuen Fragen getestet, um zu überprüfen, ob sie die grundlegenden Konzepte aus den Beispielen verstanden hatten.
Das Team stellte fest, dass die GPT-4-Erklärungen die Lernergebnisse im Vergleich zur bloßen Anzeige der richtigen Antworten verbesserten. Teilnehmer, die die Aufgaben selbst ausprobierten, bevor sie die Erklärungen sahen, zeigten den größten Lernzuwachs. Dieser positive Effekt blieb auch bei den Teilnehmern bestehen, die die Erklärungen sahen, bevor sie die Aufgaben selbst ausprobierten.
Eine qualitative Analyse, die die Studie begleitete, zeigte laut den Forschern, dass diese Leistungsverbesserungen tatsächlich darauf zurückzuführen waren, dass die Teilnehmer die in den Erklärungen gezeigten Strategien übernahmen. Nach Angaben der Teilnehmenden verringerten die Erklärungen auch die wahrgenommene Schwierigkeit der Testaufgaben.
Umfassende Studie mit umfassenden Einschränkungen
Die Forscher weisen jedoch auch auf einige Einschränkungen der Studie hin. So beschränkte sie sich auf kurzfristiges Lernen und konzentrierte sich auf SAT-Mathematikaufgaben mit Multiple-Choice-Antworten. Außerdem wurde die Studie in einer kontrollierten Umgebung über Amazon Mechanical Turk durchgeführt - die Auswirkungen von KI-Erklärungen müssten in breiteren Bildungskontexten über längere Zeiträume untersucht werden.
Zukünftige Arbeiten sollten daher in anderen Lernbereichen, Kontexten und Antwortformaten untersuchen, wie KI-Unterstützung das Lernen über längere Zeiträume beeinflusst. Darüber hinaus sollte untersucht werden, wie sich eine zu große Abhängigkeit in Verbindung mit möglicherweise falschen Antworten im Bildungskontext negativ auswirken kann.
