KI-System schreibt Paper, das Peer-Review-Verfahren besteht
Kurz & Knapp
- Das KI-System "The AI Scientist-v2" von Sakana AI hat eine wissenschaftliche Arbeit verfasst, die den Peer-Review-Prozess bei einem ICLR-Workshop bestand. Die Arbeit über Regularisierungsmethoden für neuronale Netze wurde nach Plan zurückgezogen.
- Das System entwickelte selbstständig Hypothesen, schrieb Code, führte Experimente durch und verfasste das Manuskript. Menschen gaben nur das Thema vor und wählten die besten Arbeiten zur Einreichung aus. Die Annahmequote bei Workshops (60-70%) liegt höher als bei Hauptkonferenzen (20-30%).
- Bei der internen Überprüfung fanden die Forscher Zitierfehler in der KI-generierten Arbeit.
Ein von Sakana AI entwickeltes KI-System hat ein Paper für einen KI-Workshop generiert, das im Peer-Review-Verfahren akzeptiert wurde. Die Arbeit wurde nach dem Review-Prozess zurückgezogen.
Das KI-System "The AI Scientist-v2" von Sakana AI hat eine wissenschaftliche Publikation erstellt, die den Peer-Review-Prozess bei einem Workshop der wichtigen KI-Konferenz "International Conference on Learning Representations" (ICLR) bestand. Laut Sakana AI ist dies der erste Fall, bei dem eine vollständig KI-generierte wissenschaftliche Arbeit einen regulären Begutachtungsprozess durchlief. Das Unternehmen hatte den Vorgänger im August letzten Jahres vorgestellt.
Das Experiment wurde in Zusammenarbeit mit der ICLR-Konferenzleitung und den Organisatoren des Workshops durchgeführt. Von drei eingereichten KI-generierten Papieren wurde eines mit einer durchschnittlichen Bewertung von 6,33 akzeptiert, was knapp über der Annahmeschwelle des Workshops lag.
Das akzeptierte Paper mit dem Titel "Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization" befasste sich mit Regularisierungsmethoden für neuronale Netze und berichtete über negative Forschungsergebnisse.
KI-generierter Forschungsprozess mit Einschränkungen
The AI Scientist-v2 entwickelte selbstständig die wissenschaftliche Hypothese, schlug Experimente vor, schrieb den Code, führte die Experimente durch, analysierte die Daten und schrieb das Manuskript. Die menschlichen Forscher gaben lediglich das Thema vor und wählten die vielversprechendsten Papers für die Einreichung aus.
Wichtig ist jedoch, dass das Paper nur auf Workshop-Ebene akzeptiert wurde, nicht für die Hauptkonferenz. Workshops haben mit 60-70% deutlich höhere Annahmequoten als Hauptkonferenzen mit 20-30%. Sakana AI räumt ein, dass keines der drei Papiere in der vorliegenden Form die internen Kriterien für eine Annahme bei der ICLR-Hauptkonferenz erfüllt hätte.
Geplanter Rückzug und Fehler
Entsprechend einer vorherigen Vereinbarung wurde das Paper nach Abschluss des Peer-Review-Prozesses zurückgezogen. Diese Entscheidung war Teil des Versuchsprotokolls, da die wissenschaftliche Gemeinschaft noch keine etablierten Standards für den Umgang mit KI-generierten Manuskripten entwickelt hat.
Bei ihrer internen Überprüfung stellten die Forscher fest, dass The AI Scientist v2 gelegentlich Zitierfehler machte. So wurde beispielsweise "LSTM-basiertes neuronales Netzwerk" fälschlicherweise Goodfellow (2016) statt den korrekten Autoren Hochreiter und Schmidhuber (1997) zugeschrieben.
Auch Sakanas System weist also die üblichen Mängel moderner Sprachmodelle auf.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.