Ein Experiment des MIT zeigt, dass KI-Tools wie ChatGPT die Produktivität und Qualität der Arbeit von geschulten Fachkräften, insbesondere von solchen mit geringeren Fähigkeiten, erheblich steigern können.
An der Studie, die von Shakked Noy und Whitney Zhang vom Department of Economics des Massachusetts Institute of Technology durchgeführt wurde, nahmen 453 Fachkräfte mit Hochschulabschluss aus Bereichen wie Marketing, Datenanalyse und Personalwesen teil, die mit Schreibarbeiten betraut waren.
Diejenigen, die aufgefordert wurden, ChatGPT mit GPT 3.5 zu verwenden, konnten ihre Produktivität erheblich steigern - die Arbeit wurde um 40 % schneller abgeschlossen und die Qualität der Ergebnisse verbesserte sich um 18 %.
Fachkräfte mit Hochschulabschluss, die Schreibaufgaben auf mittlerem Niveau erledigten, konnten ihre Produktivität deutlich steigern, als sie Zugang zu ChatGPT erhielten. Das generative Schreibtool verbesserte die Qualität des Outputs von Mitarbeitern mit geringen Fähigkeiten und verkürzte die für die Aufgaben benötigte Zeit für Mitarbeiter aller Fähigkeitsstufen.
Aus der Studie
Die Teilnehmer, denen ChatGPT zugewiesen wurde, berichteten, dass sie mehr Spaß an ihren Aufgaben hatten und dass sie das KI-Tool zwei Wochen nach dem Experiment doppelt so häufig und zwei Monate später 1,6-mal so häufig in ihrer täglichen Arbeit einsetzten.
ChatGPT zeichnet sich durch klares und überzeugendes Schreiben aus
Die Aufgaben, die den Teilnehmern gestellt wurden, wie z.B. das Verfassen von Pressemitteilungen oder kurzen analytischen Berichten, entsprachen den tatsächlichen Aufgaben, denen die Teilnehmer in ihrem Arbeitsalltag begegnen könnten.
Die Hälfte der Teilnehmer wurde nach dem Zufallsprinzip einer Gruppe zugeteilt, die das KI-Tool für ihre zweite Aufgabe verwenden durfte. Die andere Hälfte bildete die Kontrollgruppe und wurde angewiesen, ein anderes Tool (ohne KI) zu verwenden, wurde aber nicht ermutigt, es für ihre Aufgaben zu nutzen.
Die Arbeit dieser Experten wurde dann von anderen Experten desselben Fachgebiets bewertet. Sie wurden gebeten, die Arbeit so zu beurteilen, dass sie möglichst genau dem entspricht, was sie in ihrem normalen Arbeitsumfeld vorfinden würden. Sie bewerteten die Qualität der Arbeit auf einer Skala von 1 bis 7.
Die Forscher sammelten Daten und Informationen über die Zeit, die die Teilnehmer mit den Aufgaben verbrachten, und über die Qualität ihrer Arbeit. Sie überwachten auch den Fortschritt der Teilnehmer während der gesamten Aufgabe, maßen das Aktivitätsniveau und überprüften, ob die Teilnehmer das KI-Tool nutzten.
Ferner wurden einige Kontextvariablen wie die Abbrecherquote und der Beschäftigungsstatus der Teilnehmer erfasst und überprüft, ob es sich bei den Teilnehmern um Personalverantwortliche handelte. Damit sollte überprüft werden, ob diese externen Faktoren die Ergebnisse beeinflussen. Es zeigte sich, dass diese Variablen keinen signifikanten Einfluss auf die Ergebnisse hatten.
Die Studie stieß jedoch auf einige Einschränkungen: Das KI-Tool war weniger geeignet für Aufgaben, die kontextbezogenes Wissen oder präzise Faktengenauigkeit erforderten, oder für eher vage Anforderungen, die viel Eigeninitiative erforderten.
Trotz dieser Einschränkungen berichteten viele Teilnehmer, dass sie ChatGPT in ihrer realen Arbeit bereits jetzt hilfreich fanden, was darauf hindeutet, dass neuere Versionen des Tools zunehmend nützlich sein könnten. Beispielsweise kann ChatGPT darauf trainiert werden, kontextbezogene Faktoren in seine Antworten einzubeziehen, was es für eine wachsende Zahl von Berufen nützlich machen könnte.
Die Ergebnisse dieser Studie deuten darauf hin, dass KI-Tools wie ChatGPT menschliche Fähigkeiten ergänzen, die Produktivität steigern und gleichzeitig die Ungleichheit zwischen Arbeitnehmern verringern können.
Ein widersprüchliches Ergebnis ist jedoch, dass die Teilnehmer, die ChatGPT nutzten, in der Regel nur leicht bearbeitete oder sogar unbearbeitete Ergebnisse der KI weitergaben. Dies deutet darauf hin, dass die Technologie in diesem Experiment die menschliche Arbeit eher ersetzte als ergänzte.
In jedem Fall geben die Ergebnisse der Studie von Noy und Zhang nur einen Einblick in die unmittelbaren Produktivitätseffekte von KI-Tools wie ChatGPT, nicht aber in die möglichen längerfristigen Auswirkungen auf Arbeitsmärkte und Organisationsstrukturen. Das Ausmaß, in dem LLMs verbessert werden können, ist eine der Schlüsselfragen für ihre Auswirkungen.
Die reale Welt ist komplexer als ein Studienaufbau
Die Forscher weisen auf zahlreiche Einschränkungen ihrer Arbeit hin. Die Studie konzentrierte sich hauptsächlich auf spezifische Aufgaben, die ein allgemeines Schreiben erforderten - klar, überzeugend und nicht wesentlich kontextabhängig.
Obwohl ChatGPT bei solchen Aufgaben überlegen war, erfordern die meisten realen beruflichen Projekte kontextspezifisches Wissen und ein hohes Maß an faktischer Genauigkeit – Bereiche, in denen die aktuelle Generation von KI-Schreibwerkzeugen wie ChatGPT, wie erwähnt, möglicherweise nicht ausreicht.
Viele der Aufgaben, mit denen Fachkräfte konfrontiert sind, können auch mehrdeutige Ziele und Anweisungen beinhalten, bei denen die menschliche Kreativität, Anpassungsfähigkeit und Entscheidungsfähigkeit von entscheidender Bedeutung sein können. Im Gegensatz zu menschlichen Arbeitskräften können KI-Tools die feinen Nuancen und die Komplexität von Aufgaben nicht vollständig verstehen oder sich selbst anpassen, wenn die Anweisungen ungenau sind.
Eine weitere Einschränkung ist, dass das Experiment auf direkten Leistungsanreizen in Form von Prämien für die Qualität des Outputs basierte. Die Teilnehmer erhielten einen Grundbetrag (10 $) und konnten einen zusätzlichen Bonus von bis zu 14 $ auf der Grundlage der Qualität ihrer Arbeit verdienen, um hohe Leistungen zu fördern.
Diese kurzfristigen Prämien spiegeln möglicherweise nicht genau die tatsächlichen Anreize wider, zu denen in der Regel längerfristige Beförderungsaussichten, berufliche Entwicklungsziele und die Bedeutung der Pflege eines persönlichen Stils oder einer Marke gehören. Solche langfristigen Anreize können den Nutzen von KI-Schreibwerkzeugen wie ChatGPT tatsächlich verringern, wenn mit anderer Motivation gearbeitet wird.
Die auffälligste Auslassung: In der Studie wurde der Zeit- und Arbeitsaufwand für die Überprüfung der von ChatGPT erstellten Texte nicht berücksichtigt.
Insgesamt gehen wir davon aus, dass die direkten Produktivitätseffekte von ChatGPT in der Realwirtschaft im Vergleich zu unseren experimentellen Ergebnissen etwas geringer ausfallen werden und dass die Technologie eher eine Ergänzung zur menschlichen Arbeitskraft darstellt. Inwieweit beides zutrifft, bleibt offen.
Aus dem Papier
Während KI-Tools den Prozess beschleunigen und sogar die Qualität des Schreibens verbessern können, könnte die erforderliche Überprüfung der Fakten diese Zeitersparnis wieder zunichte machen, insbesondere bei Aufgaben, die eine genaue sachliche Richtigkeit erfordern. Künftige Fortschritte in der KI-Technologie müssten hier erhebliche Verbesserungen bringen, um wirklich nützlich zu sein.
Potenzielle Auswirkungen von KI auf den Arbeitsmarkt
Ein entscheidender Faktor, der die Produktivitätseffekte von KI-Technologien wie ChatGPT vermittelt, ist die potenziell steigende Nachfrage nach Dienstleistungen, da diese aufgrund der Produktivitätssteigerung durch KI billiger werden, so die Forscher.
Wenn beispielsweise der Preis für Programmierdienstleistungen aufgrund der Effizienz von KI deutlich sinken würde, könnte dies zu einem Anstieg der Nachfrage und damit der Beschäftigung in diesem Sektor führen. Dies gilt jedoch nicht für Berufe wie Werbung oder Kommunikation, wo die Nachfrage stagnieren und die Beschäftigung zurückgehen könnte, da weniger Arbeitskräfte benötigt werden.
Darüber hinaus kann sich die Einführung von KI auch auf die Zusammensetzung der Arbeitskräfte auswirken. Angesichts der Kreativität und des Urteilsvermögens, die in Berufen wie der Werbung erforderlich sind, könnten sich die Rollen innerhalb der Unternehmen verschieben. So könnte sich die Frage stellen, ob jüngere Arbeitnehmer für die Feinabstimmung von KI-Ergebnissen zuständig sein könnten, während ältere Arbeitnehmer konzeptionelle Beiträge leisten. Diese Aufteilung könnte die Branchenstruktur und die Beschäftigungsdynamik erheblich verändern.
Die Rolle der KI in Bereichen wie der Programmierung könnte unterschiedliche Auswirkungen auf die Löhne haben. Wenn das KI-Tool einen erfahrenen Programmierer erfordert, der die Ausgabe überprüft und die Eingabeaufforderungen verfeinert, könnten die Löhne aufgrund der erhöhten Nachfrage nach Fachkräften steigen. Wenn jedoch nur grundlegende Programmierkenntnisse für die Arbeit mit KI erforderlich sind, könnte dies zu einem Überangebot an qualifizierten Programmierern führen, was trotz höherer Produktivität niedrigere Löhne zur Folge haben könnte.
Die breite Einführung von KI-Technologien wie ChatGPT könnte sich auch auf die traditionellen Beförderungs- und Einstellungspraktiken auswirken. Beispielsweise könnten KI-Tools die Art und Weise verändern, wie die Leistung von Arbeitnehmern durch Aufzeichnung und Beobachtung bewertet wird. Dieser Prozess könnte sich auf die Gehaltsskala und die Einstellungspraktiken auswirken und auch die Unternehmenskultur in Bezug auf Aufwand und Leistung verändern.
