Paper Mills im Visier: Springer Nature bekämpft KI-Forschungsbetrug mit KI-Tools
Kurz & Knapp
- Springer Nature hat zwei KI-Tools entwickelt, um gefälschte Forschungsergebnisse und manipulierte Bilder in wissenschaftlichen Artikeln zu erkennen: "Geppetto" identifiziert KI-generierte Inhalte, während "SnappShot" die Integrität von Bildern überprüft.
- "Geppetto" unterteilt Artikel in Abschnitte, bewertet die Wahrscheinlichkeit von KI-generierten Inhalten in jedem Abschnitt und löst bei einer hohen Punktzahl eine manuelle Überprüfung aus. Laut Springer Nature hat das Tool bereits Hunderte von gefälschten Artikeln vor der Veröffentlichung erkannt.
- Laut Springer Nature stellen gefälschte Artikel mit fabrizierten Daten, die von "Paper Mills" oder böswilligen Akteuren eingereicht werden, eine Bedrohung für die Verlagsbranche dar und können das Vertrauen in die Wissenschaft untergraben. Die Untersuchung und Behebung dieser Probleme erfordere viel Zeit und Ressourcen.
Der Wissenschaftsverlag Springer Nature hat zwei neue KI-Tools entwickelt, um gefälschte Forschungsergebnisse und duplizierte Bilder in wissenschaftlichen Artikeln zu erkennen und so die Integrität der veröffentlichten Forschung zu schützen.
Die zunehmenden Fälle gefälschter Forschungsergebnisse belasten laut Springer Nature bereits heute die wissenschaftliche Verlagsbranche. Nach einer Pilotphase führt der Verlag nun zwei KI-Tools ein, um Artikel zu identifizieren, die KI-generierte gefälschte Inhalte und/oder problematische Bilder enthalten - beides sind Indikatoren für Probleme mit der Forschungsintegrität.
"Geppetto" erkennt KI-generierte Inhalte, ein klassisches Anzeichen für die Aktivität von "Paper Mills", die gefälschte Forschungsarbeiten produzieren. Das Tool teilt das Paper in Abschnitte auf und überprüft die Konsistenz des Textes in jedem Abschnitt mit eigenen Algorithmen.
Jeder Abschnitt erhält dann eine Punktzahl, die auf der Wahrscheinlichkeit basiert, dass der Text von einer KI generiert wurde. Eine hohe Punktzahl löst eine manuelle Überprüfung durch Mitarbeitende von Springer Nature aus. Nach Angaben von Springer Nature hat das Tool bereits Hunderte von gefälschten Artikeln vor der Veröffentlichung identifiziert.
Über die Funktionsweise des Tools schweigt sich Springer Nature aus. Bisher bekannte Textdetektoren für KI-Inhalte haben sich als unzuverlässig erwiesen. Auch OpenAI musste den eigenen Detektor zurückziehen.
"SnappShot" ist ein KI-basiertes Werkzeug zur Analyse der Bildintegrität. Es wird derzeit verwendet, um PDF-Dateien mit Gel- und Blot-Bildern zu analysieren und nach Duplikaten zu suchen - ein weiteres bekanntes Integritätsproblem in der Industrie. Das Tool soll auf andere Bildtypen und Integritätsprobleme ausgeweitet werden, um die Überprüfung von Artikeln zu beschleunigen.
Laut Springer Nature geben beide Werkzeuge nur ein Signal, ob eine manuelle Bewertung erforderlich ist. Weitere Tools sind in der Entwicklung.
Laut Chris Graf, Director of Research Integrity bei Springer Nature, sieht sich die Verlagsbranche einer entschlossenen und böswilligen Bedrohung durch Paper Mills oder böswillige Akteure gegenüber, die gefälschte Artikel mit fabrizierten Daten einreichen - mit potenziell schwerwiegenden Folgen für das Vertrauen in die Wissenschaft. Die Untersuchung und Behebung dieser Probleme verschlinge viel Zeit und Ressourcen.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.