KI macht es so einfach wie nie zuvor, wissenschaftliche Fachzeitschriften mit irreführenden Studien zu überschwemmen. Gastautor David Comerford plädiert daher für eine dringend notwendige Reform des Peer-Review-Systems, um das Vertrauen in die Wissenschaft zu schützen.
Wir laufen Gefahr, von KI-verfasster „Wissenschaft“ im Dienste von Konzerninteressen überflutet zu werden – so können wir dagegen vorgehen
In den 2000er Jahren wurde das US-Pharmaunternehmen Wyeth von Tausenden Frauen verklagt, die nach der Einnahme seiner Hormonersatzpräparate an Brustkrebs erkrankten. Aus den Gerichtsakten ging hervor, dass „Dutzende von Ghostwriting-Artikeln und Kommentaren, die in medizinischen Fachzeitschriften und Nahrungsergänzungsjournalen erschienen waren, dazu dienten, unbewiesene Vorteile zu bewerben und Risiken herunterzuspielen“, die mit den Medikamenten verbunden waren.
Wyeth, das 2009 von Pfizer übernommen wurde, hatte eine medizinische Kommunikationsagentur dafür bezahlt, diese Beiträge zu verfassen. Anschließend wurden sie mit Zustimmung der jeweiligen Ärzte unter deren Namen veröffentlicht. Ärztinnen und Ärzte, die diese Artikel lasen und sich bei der Verordnung von Medikamenten darauf stützten, ahnten nicht, dass Wyeth dahinterstand.
Das Unternehmen betonte, alles Geschriebene sei wissenschaftlich korrekt gewesen, und – erstaunlicherweise – sei die Bezahlung von Ghostwritern für solche Dienstleistungen branchenüblich. Letztlich musste Pfizer über eine Milliarde US-Dollar Schadenersatz für die verursachten Schäden zahlen.
Diese Artikel sind ein Paradebeispiel für sogenannte „Resmearch“ – also für „Bullshit-Wissenschaft“ im Dienste wirtschaftlicher Interessen. Während die überwältigende Mehrheit der Forschenden danach strebt, die Wahrheit zu ergründen und ihre Ergebnisse gewissenhaft zu prüfen, zielt „Resmearch“ nicht auf Wahrheit ab, sondern ausschließlich auf Überzeugungskraft.
In den letzten Jahren gab es zahlreiche weitere Beispiele – etwa, wenn Studien von Softdrink- oder Fleischproduzenten finanziert wurden und seltener als unabhängige Untersuchungen einen Zusammenhang zwischen deren Produkten und Gesundheitsrisiken feststellten.
Eine große Sorge ist heute, dass KI-Tools die Erstellung solcher „Belege“ praktisch kostenlos machen. Wo früher die Ausarbeitung einer einzigen Studie Monate dauern konnte, kann heute eine Person mithilfe von KI in wenigen Stunden mehrere professionell wirkende Dokumente erstellen.
In der Fachliteratur zur öffentlichen Gesundheit häufen sich bereits Studien, die sich auf Datensätze stützen, die für die KI-Nutzung optimiert wurden, um Ergebnisse zu einzelnen Faktoren zu liefern. Solche Einzelfaktorergebnisse stellen beispielsweise einen Zusammenhang zwischen dem Verzehr von Eiern und der Entwicklung von Demenz her.
Solche Studien sind anfällig für fragwürdige Ergebnisse. Enthalten Datensätze Tausende Personen und Hunderte Variablen, werden Forscher zwangsläufig auf zufällige, aber irreführende Korrelationen stoßen.
Eine Recherche in den führenden akademischen Datenbanken Scopus und PubMed ergab, dass zwischen 2014 und 2021 im Durchschnitt vier Einzelfaktorstudien pro Jahr veröffentlicht wurden. In den ersten zehn Monaten des Jahres 2024 waren es bereits ganze 190.
Diese Zunahme ist nicht zwingend auf Unternehmensinteressen zurückzuführen – manche Studien könnten auch von Wissenschaftlern stammen, die mit mehr Veröffentlichungen ihre Karrierechancen verbessern wollen. Entscheidend ist, dass KI die Produktion dieser Studien vereinfacht und damit auch für Unternehmen attraktiver macht, die mit solchen Ergebnissen für ihre Produkte werben möchten.
Übrigens hat das Vereinigte Königreich kürzlich Unternehmen einen zusätzlichen Anreiz gegeben, solche Studien zu produzieren: Ein neuer Regierungsleitfaden empfiehlt Herstellern von Babynahrung, gesundheitsbezogene Werbeaussagen nur zu machen, wenn sie wissenschaftlich belegt sind.
Das ist zwar gut gemeint, könnte Unternehmen aber dazu verleiten, gezielt Studien zu generieren, die die gesundheitlichen Vorteile ihrer Produkte „belegen“. Die Nachfrage nach KI-gestützten „wissenschaftlichen Beweisen“ dürfte dadurch weiter steigen.
Wie lässt sich das Problem lösen?
Ein Problem ist, dass Forschungsergebnisse nicht immer einem Peer-Review-Verfahren unterzogen werden, bevor sie in politische Entscheidungsfindungen einfließen. So zitierte 2021 beispielsweise der US-Supreme-Court-Richter Samuel Alito in einer Stellungnahme zum Waffenrecht ein Briefing eines Georgetown-Wissenschaftlers, das Umfragedaten zum Waffengebrauch enthielt.
Der Wissenschaftler und die Umfrage wurden vom Constitutional Defence Fund finanziert, den die New York Times als „gemeinnützige Pro-Waffen-Organisation“ bezeichnet.
Da die Umfragedaten nicht öffentlich verfügbar sind und der Forscher Fragen dazu nicht beantwortet hat, ist nicht überprüfbar, wie belastbar die Ergebnisse tatsächlich sind. Dennoch berufen sich Anwälte in Gerichtsverfahren in den USA auf diese Studie, um Waffeninteressen zu verteidigen.
Eine naheliegende Lehre daraus ist, dass jeder, der wissenschaftliche Ergebnisse nutzt, vorsichtig sein sollte, wenn diese nicht von Fachleuten geprüft wurden. Weniger offensichtlich, aber ebenso wichtig, ist die Notwendigkeit, das Peer-Review-Verfahren selbst zu reformieren. In den vergangenen Jahren gab es intensive Debatten über die Flut an Veröffentlichungen und die Frage, wie sorgfältig Gutachter ihrer Aufgabe nachkommen.
In den letzten zehn Jahren haben verschiedene Forschungsgruppen wichtige Fortschritte bei der Entwicklung von Verfahren erzielt, die das Risiko fragwürdiger Ergebnisse verringern. Dazu gehören beispielsweise die Verpflichtung zur Veröffentlichung eines Forschungsplans , bevor die Studie beginnt (Vorregistrierung), die lückenlose Dokumentation aller Forschungsschritte innerhalb einer Studie und die Überprüfung der Ordnungsmäßigkeit durch die Gutachter.
Für Ein-Faktor-Studien gibt es zudem eine neuere Methode, die sogenannte Spezifikationskurvenanalyse, die testet, wie robust die behauptete Beziehung gegenüber alternativen Auswertungen der Daten ist.
Viele Fachzeitschriften haben diese Empfehlungen bereits übernommen und ihre Richtlinien in weiteren Punkten angepasst. So verlangen sie nun oft, dass Autoren ihre Daten, den verwendeten Code sowie sämtliche Materialien (beispielsweise Fragebögen oder Stimuli) offenlegen. Ebenso müssen Interessenkonflikte und Finanzierungsquellen angegeben werden.
Einige Zeitschriften sind noch einen Schritt weiter gegangen und verlangen etwa, dass die Autoren im Zuge der Diskussion um KI-optimierte Datensätze sämtliche ähnlichen Sekundäranalysen zitieren und offenlegen, inwiefern KI in ihrer Arbeit zum Einsatz kam.
Nicht alle Fachbereiche sind gleich reformfreudig. Nach meiner Erfahrung etwa ist die Psychologie bei der Umsetzung dieser Verfahren deutlich weiter als die Wirtschaftswissenschaften.
So wurden in einer aktuellen Studie Analysen aus der renommierten Zeitschrift American Economic Review zusätzlich auf Robustheit geprüft – mit dem Ergebnis, dass die dort veröffentlichten Studien die Stärke ihrer Befunde systematisch überschätzen.
Insgesamt zeigt sich: Das derzeitige System ist kaum in der Lage, mit der von KI getriebenen Veröffentlichungsflut Schritt zu halten. Gutachter müssen viel Zeit, Energie und Sorgfalt investieren, um Vorregistrierungen, Spezifikationskurvenanalysen, Daten, Code und mehr zu prüfen.
Dafür braucht es einen Peer-Review-Mechanismus, der Gutachter für die Qualität ihrer Arbeit belohnt.
Das Vertrauen der Öffentlichkeit in die Wissenschaft ist weltweit nach wie vor hoch – und das ist gut so. Denn die wissenschaftliche Methode stellt Wahrheit und Sinnhaftigkeit über das, was populär oder profitabel ist, und bleibt so ein unparteiischer Maßstab.
Doch Künstliche Intelligenz droht, uns von diesem Ideal weiter zu entfernen als je zuvor. Wenn die Wissenschaft ihre Glaubwürdigkeit bewahren will, müssen wir dringend Anreize für eine qualitätsvolle Peer-Review schaffen.
