Der Wissenschaftsverlag Springer Nature hat zwei neue KI-Tools entwickelt, um gefälschte Forschungsergebnisse und duplizierte Bilder in wissenschaftlichen Artikeln zu erkennen und so die Integrität der veröffentlichten Forschung zu schützen.
Die zunehmenden Fälle gefälschter Forschungsergebnisse belasten laut Springer Nature bereits heute die wissenschaftliche Verlagsbranche. Nach einer Pilotphase führt der Verlag nun zwei KI-Tools ein, um Artikel zu identifizieren, die KI-generierte gefälschte Inhalte und/oder problematische Bilder enthalten - beides sind Indikatoren für Probleme mit der Forschungsintegrität.
"Geppetto" erkennt KI-generierte Inhalte, ein klassisches Anzeichen für die Aktivität von "Paper Mills", die gefälschte Forschungsarbeiten produzieren. Das Tool teilt das Paper in Abschnitte auf und überprüft die Konsistenz des Textes in jedem Abschnitt mit eigenen Algorithmen.
Jeder Abschnitt erhält dann eine Punktzahl, die auf der Wahrscheinlichkeit basiert, dass der Text von einer KI generiert wurde. Eine hohe Punktzahl löst eine manuelle Überprüfung durch Mitarbeitende von Springer Nature aus. Nach Angaben von Springer Nature hat das Tool bereits Hunderte von gefälschten Artikeln vor der Veröffentlichung identifiziert.
Über die Funktionsweise des Tools schweigt sich Springer Nature aus. Bisher bekannte Textdetektoren für KI-Inhalte haben sich als unzuverlässig erwiesen. Auch OpenAI musste den eigenen Detektor zurückziehen.
"SnappShot" ist ein KI-basiertes Werkzeug zur Analyse der Bildintegrität. Es wird derzeit verwendet, um PDF-Dateien mit Gel- und Blot-Bildern zu analysieren und nach Duplikaten zu suchen - ein weiteres bekanntes Integritätsproblem in der Industrie. Das Tool soll auf andere Bildtypen und Integritätsprobleme ausgeweitet werden, um die Überprüfung von Artikeln zu beschleunigen.
Laut Springer Nature geben beide Werkzeuge nur ein Signal, ob eine manuelle Bewertung erforderlich ist. Weitere Tools sind in der Entwicklung.
Laut Chris Graf, Director of Research Integrity bei Springer Nature, sieht sich die Verlagsbranche einer entschlossenen und böswilligen Bedrohung durch Paper Mills oder böswillige Akteure gegenüber, die gefälschte Artikel mit fabrizierten Daten einreichen - mit potenziell schwerwiegenden Folgen für das Vertrauen in die Wissenschaft. Die Untersuchung und Behebung dieser Probleme verschlinge viel Zeit und Ressourcen.