Ein neues KI-System namens "The AI Scientist" kann vollständig autonom wissenschaftliche Forschung betreiben - von der Ideenfindung über Experimente bis hin zum Verfassen kompletter Paper.
Forschende der University of British Columbia, der University of Oxford und des KI-Startups Sakana AI haben ein KI-System entwickelt, das in der Lage ist, eigenständig wissenschaftliche Forschung zu betreiben. Das System mit dem Namen "The AI Scientist" kann neue Forschungsideen generieren, Code schreiben, Experimente durchführen, Ergebnisse visualisieren und sogar komplette wissenschaftliche Paper verfassen.
Der Prozess funktioniert folgendermaßen: Zunächst generiert The AI Scientist auf Basis einer Forschungsrichtung und eines einfachen Code-Gerüsts neue Ideen. Diese werden auf Neuheit geprüft, indem die KI in wissenschaftlichen Datenbanken nach ähnlichen Arbeiten sucht. Vielversprechende Ideen werden dann in Code umgesetzt und die Experimente automatisch durchgeführt.
Anschließend erstellt das System Visualisierungen der Ergebnisse und verfasst ein vollständiges Paper im Stil einer typischen Konferenzeinreichung. Dabei werden die Ergebnisse beschrieben, interpretiert und in den Forschungskontext eingeordnet. Schließlich führt The AI Scientist noch einen simulierten Peer-Review-Prozess durch, um die Qualität des Papers zu bewerten.
Das Team demonstrierte den Ansatz, indem es The AI Scientist auf drei Bereiche des maschinellen Lernens ansetzte: Diffusionsmodelle, Transformer-basierte Sprachmodelle und Lernprozesse. Für jeden Bereich produzierte das System ein vollständiges Paper zu Kosten von weniger als 15 Dollar pro Stück.
Zur Bewertung der generierten Paper entwickelten die Forschenden einen automatisierten Gutachter auf Basis eines großen Sprachmodells. Dieser erreichte in Tests laut dem Paper eine mit Menschen vergleichbare Leistung bei der Beurteilung von Einreichungen. Laut dem KI-Gutachter überschreiten einige der von The AI Scientist verfassten Paper die Annahmeschwelle einer Top-Konferenz für maschinelles Lernen.
The AI Scientist liefert aktuell eher Anregungen statt echter Wissenschaft
Doch was taugt die automatisierte Forschung? The AI Scientist weist in seiner aktuellen Form mehrere bedeutende Einschränkungen auf: Der automatisierte Gutachter kann keine Rückfragen an Autoren stellen und ist nicht in der Lage, Abbildungen zu interpretieren. Bei der Ideengenerierung entstehen oft sehr ähnliche Vorschläge über verschiedene Durchläufe und Modelle hinweg. Die Umsetzung der Ideen scheitert häufig oder wird fehlerhaft implementiert. Aufgrund der begrenzten Anzahl an Experimenten erreichen die Ergebnisse oft nicht die in der ML-Community übliche Tiefe und Genauigkeit. Zudem kämpft The AI Scientist mit visuellen Aspekten wie unlesbaren Diagrammen oder suboptimalem Seitenlayout.
Weitere Schwachstellen betreffen die Zitierpraxis und die korrekte Interpretation von Ergebnissen. The AI Scientist hat Schwierigkeiten, die relevantesten Quellen zu finden und zu zitieren. Bei der Auswertung von Resultaten treten gelegentlich kritische Fehler auf, etwa beim Vergleich von Zahlenwerten oder bei der Berücksichtigung geänderter Metriken. In seltenen Fällen werden sogar ganze Ergebnisse halluziniert. Die Autoren raten daher davon ab, den wissenschaftlichen Inhalt der generierten Arbeiten für bare Münze zu nehmen. Stattdessen sollten die Papiere als Anregungen für vielversprechende Ideen betrachtet werden, die von Fachleuten weiterverfolgt werden können.
Ein Framework für die Zukunft?
The AI Scientist hat also viele Schwächen, ist aber dennoch eine interessante Zukunftsvision, in der Maschinen selbstständig forschen und wissenschaftliche Durchbrüche erzielen. Einige der aktuellen Probleme könnten mit multimodalen Modellen gelöst werden, andere erfordern deutlich leistungsfähigere Modelle, die besser logische Schlussfolgerungen ziehen können. Diese könnten dann in das Framework der Entwickler integriert werden.
Die Forscher sehen ihr System daher als Beginn einer neuen Ära wissenschaftlicher Entdeckungen im Bereich des maschinellen Lernens. KI-Systeme könnten demnach bald den gesamten Forschungsprozess der KI-Entwicklung selbst übernehmen.
Einen kritischen Blick auf solche Pläne warf kürzlich der KI-Forscher Andrew J Peterson - er warnte vor einem "Wissenskollaps" durch Sprachmodelle.
Mehr Informationen gibt es auf der Projektseite.
