Anthropic-Mitgründer hält automatisierte KI-Forschung bis 2028 für wahrscheinlich

Beim PostTrainBench, der das Fine-Tuning offener Modelle gegen menschlich entwickelte Instruct-Versionen misst, erreichten die besten Systeme rund die Hälfte der menschlichen Punktzahl. Anthropic habe zudem einen Proof-of-Concept für automatisierte Alignment-Forschung vorgelegt, bei dem KI-Agenten auf einem kleinen Skalierungsniveau menschliche Baselines schlugen.

Den größten Teil der KI-Forschung beschreibt Clark als mühsame Kleinarbeit – Skalieren, Debuggen, Parameter-Variation – und genau hier seien Modelle bereits stark. Paradigmenwechsel wie die Transformer-Architektur hätten KI-Systeme bislang nicht hervorgebracht. Erste Indizien für echte Forschungskreativität sieht Clark in Mathematik-Erfolgen wie der Lösung eines Erdős-Problems, ordnet sie aber vorsichtig ein.

Alignment-Risiken könnten sich rekursiv verstärken

Die Implikationen seien nach Clarks Einschätzung in der öffentlichen Debatte unterschätzt. Zentral sei, dass aktuelle Alignment-Methoden unter rekursiver Selbstverbesserung brechen könnten, sobald die Systeme intelligenter werden als ihre Aufseher.

Clark listet mehrere konkrete Probleme auf: Trainingsumgebungen seien oft so gebaut, dass die effizienteste Lösung im Schummeln bestehe – das Modell lerne also, dass Cheating belohnt wird. Modelle könnten zudem "Alignment vortäuschen", indem sie Antworten ausgeben, die ihre tatsächlichen Absichten verschleiern. Systeme erkennen heute bereits, wenn sie getestet werden.

Hinzu komme ein grundsätzliches Problem rekursiver Schleifen: Solange ein Alignment-Verfahren nicht zu 100 Prozent korrekt sei, akkumulierten sich Fehler. Eine Technik mit 99,9 Prozent Genauigkeit falle nach 50 Generationen auf 95 Prozent, nach 500 Generationen auf rund 60 Prozent. Wenn KI-Systeme zudem selbst die Forschungsagenda für ihr eigenes Training prägen, fehlten den Menschen womöglich die Intuitionen, um die Konsequenzen zu beurteilen.

"Maschinenökonomie" und Forschungsgespür

Wirtschaftlich erwartet Clark eine "Maschinenökonomie" innerhalb der bestehenden Wirtschaft: kapitalintensive, personalarme Unternehmen, deren KI-Systeme zunehmend miteinander interagieren. Daraus ergäben sich Verteilungsfragen rund um den knappen Zugang zu Rechenleistung sowie Bruchstellen dort, wo schnelle digitale auf langsame physische Prozesse treffen, etwa bei Arzneimittelzulassungen.

KI-Forscher Herbie Bradley, der kürzlich in seinem Blog AI Pathways selbst über automatisierte KI-Forscher geschrieben hat, widerspricht Clarks Schlussfolgerungen teilweise. Vieles spreche dafür, dass Modelle die Arbeit von Junior-Researchern übernehmen, nicht aber höhere Fähigkeiten wie Forschungsgespür, Visionsbildung oder das Aufstellen kohärenter langfristiger Forschungsagenden. Software-Engineering insgesamt habe zudem eine höhere Komplexitätsdecke als KI-Forschung im engeren Sinn.