Ein von Sakana AI entwickeltes KI-System hat ein Paper für einen KI-Workshop generiert, das im Peer-Review-Verfahren akzeptiert wurde. Die Arbeit wurde nach dem Review-Prozess zurückgezogen.
Das KI-System "The AI Scientist-v2" von Sakana AI hat eine wissenschaftliche Publikation erstellt, die den Peer-Review-Prozess bei einem Workshop der wichtigen KI-Konferenz "International Conference on Learning Representations" (ICLR) bestand. Laut Sakana AI ist dies der erste Fall, bei dem eine vollständig KI-generierte wissenschaftliche Arbeit einen regulären Begutachtungsprozess durchlief. Das Unternehmen hatte den Vorgänger im August letzten Jahres vorgestellt.
Das Experiment wurde in Zusammenarbeit mit der ICLR-Konferenzleitung und den Organisatoren des Workshops durchgeführt. Von drei eingereichten KI-generierten Papieren wurde eines mit einer durchschnittlichen Bewertung von 6,33 akzeptiert, was knapp über der Annahmeschwelle des Workshops lag.
Das akzeptierte Paper mit dem Titel "Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization" befasste sich mit Regularisierungsmethoden für neuronale Netze und berichtete über negative Forschungsergebnisse.
KI-generierter Forschungsprozess mit Einschränkungen
The AI Scientist-v2 entwickelte selbstständig die wissenschaftliche Hypothese, schlug Experimente vor, schrieb den Code, führte die Experimente durch, analysierte die Daten und schrieb das Manuskript. Die menschlichen Forscher gaben lediglich das Thema vor und wählten die vielversprechendsten Papers für die Einreichung aus.
Wichtig ist jedoch, dass das Paper nur auf Workshop-Ebene akzeptiert wurde, nicht für die Hauptkonferenz. Workshops haben mit 60-70% deutlich höhere Annahmequoten als Hauptkonferenzen mit 20-30%. Sakana AI räumt ein, dass keines der drei Papiere in der vorliegenden Form die internen Kriterien für eine Annahme bei der ICLR-Hauptkonferenz erfüllt hätte.
Geplanter Rückzug und Fehler
Entsprechend einer vorherigen Vereinbarung wurde das Paper nach Abschluss des Peer-Review-Prozesses zurückgezogen. Diese Entscheidung war Teil des Versuchsprotokolls, da die wissenschaftliche Gemeinschaft noch keine etablierten Standards für den Umgang mit KI-generierten Manuskripten entwickelt hat.
Bei ihrer internen Überprüfung stellten die Forscher fest, dass The AI Scientist v2 gelegentlich Zitierfehler machte. So wurde beispielsweise "LSTM-basiertes neuronales Netzwerk" fälschlicherweise Goodfellow (2016) statt den korrekten Autoren Hochreiter und Schmidhuber (1997) zugeschrieben.
Auch Sakanas System weist also die üblichen Mängel moderner Sprachmodelle auf.
