Warum KI-Modelle Wissenschaftler dazu bringen könnten, schlechter zu forschen

Ein theoretisches Paper von Forschenden unter anderem aus Princeton und von der University of Washington widerspricht dem. Genau weil LLMs Zeit sparen, würden Forschende ihre Projekte schlechter ausarbeiten, nicht besser.

Wenn Zeit wertvoller wird, wird sie knapper eingesetzt

Wenn KI einem Wissenschaftler Arbeit abnimmt, wird dessen Zeit wertvoller. Jede Stunde, die er in ein bestehendes Projekt steckt, ist eine Stunde, in der er kein neues beginnen kann. Ökonomen nennen das Opportunitätskosten.

Die Forschenden bauten ihr mathematisches Modell auf der Optimal Foraging Theory aus der Verhaltensökologie auf. Das Rahmenwerk beschreibt, wie Organismen ihren Aufwand auf konkurrierende Möglichkeiten verteilen. Auf die Wissenschaft übertragen simuliert es, wie Forschende ihre Arbeit auf Projekte verteilen und was passiert, wenn LLMs verschiedene Phasen des Projektzyklus verkürzen.

Für die Analyse idealisieren die Autoren LLMs bewusst. Sie modellieren sie als Werkzeuge, die Zeitkosten senken, ohne zusätzliche Fehler zu verursachen, und das bei vernachlässigbaren finanziellen Kosten. So wollen sie den reinen Effekt der Zeitersparnis isolieren, unabhängig von den bekannten Schwächen der Technologie.

Ein Forschungsprojekt läuft im Modell in zwei Phasen ab. Zuerst prüft der Forschende, ob eine Idee überhaupt geeignet ist. Ist der Wert klar, entscheidet er, ob er aufgibt oder weitermacht. Beim Weitermachen gibt es einen Pflichtteil wie Figuren erstellen, Text formatieren und einreichen sowie einen freiwilligen Teil wie zusätzliche Experimente, tiefere Analysen oder bessere Prosa. Genau dieser freiwillige Teil wird geopfert, wenn Zeit knapp und wertvoll wird.

Drei Fälle, zwei Verlierer

Entscheidend ist, an welcher Stelle im Forschungsprozess die KI ansetzt. Das Paper unterscheidet drei Szenarien. Erstens kann KI beim Bewerten früher Ideen helfen. Forschende werden dann wählerischer, weil sich ein Neustart schneller lohnt. Nur noch die aussichtsreichsten Projekte werden weiterentwickelt, und auch sie weniger gründlich. Das ist typisch für technische Felder.

Zweitens kann KI beim Publizieren helfen, also beim Schreiben, Formatieren und Analysieren. Weil eine Publikation schneller zu haben ist, lohnen sich auch schwächere Projekte. Mehr Paper landen im Umlauf, jedes einzelne wird aber oberflächlicher. Das ist typisch für feldarbeitsbasierte Disziplinen.

Drittens kann KI die freiwillige Vertiefungsphase beschleunigen. Nur hier führt der Zeitgewinn tatsächlich zu gründlicherer Arbeit, weil KI dort ansetzt, wo Forschende bisher aus Zeitmangel kürzen.

In zwei von drei Fällen sinkt also die Gründlichkeit. Wenn Zeit wertvoller wird, lohnt es sich nicht mehr, ein bereits publizierbares Paper weiter zu verbessern. Die Zeit fließt besser in ein neues Projekt.

Der Trugschluss der gewonnenen Zeit

"Als arbeitsverstärkende Technologie erhöhen LLMs die Opportunitätskosten unserer Zeit und treiben uns dazu, mehr zu tun, weniger gut, statt gleich viel, besser", schreiben die Autoren. Die Vorstellung, gesparte Zeit fließe automatisch in tiefere Analyse, greife zu kurz.

Einzelne Forschende können ihr Verhalten schneller anpassen als Institutionen ihre Regeln. Eine Phase der Diskrepanz zwischen Forschungspraxis und institutionellen Vorgaben sei deshalb unvermeidlich. In Feldern, in denen LLMs das Schreiben beschleunigen, steige die Zahl der Einreichungen bereits stark und belaste das ohnehin überlastete Peer-Review-System.

Institutionelle Reaktionen müssten disziplinspezifisch ausfallen, so das Paper. Der Effekt von KI auf die Forschung sei keine gleichmäßige Beschleunigung, sondern hänge davon ab, welche Phase des Prozesses beschleunigt werde.

Was das Modell theoretisch beschreibt, deutet sich in der Praxis bereits an. Ein Feldbericht von OpenAI mit acht wissenschaftlichen Fallstudien zeigt teils 60-fache Beschleunigung beim Umschreiben von Forschungssoftware. Doch der Engpass verschiebt sich vom Programmieren zur Validierung und Langzeitpflege.

Der wahrgenommene Zeitgewinn muss dabei nicht einmal real sein. Eine METR-Studie fand, dass erfahrene Open-Source-Entwickler mit KI-Unterstützung 19 Prozent länger brauchen, sich aber 24 Prozent schneller fühlen.

Auch am Publikationssystem zeigen sich die Reibungen bereits. Sakana AIs "AI Scientist-v2" brachte ein vollständig KI-generiertes Paper durch einen ICLR-Workshop, samt Zitierfehlern. Arxiv reagierte mit verschärften Strafen. Bei halluzinierten Quellen oder KI-Meta-Kommentaren im Text droht ein einjähriger Einreichungsausschluss.

Eine strukturelle Parallele findet sich in der Softwareentwicklung. Eine aktuelle Studie beschreibt den Effekt dort als Tragödie der Allmende. Individuelle Produktivitätsgewinne gehen auf Kosten derer, die den Output später prüfen und pflegen müssen.