KI-Entwicklung mit KI-Agenten: KI übernimmt mehr Arbeit, trifft aber kaum Entscheidungen

Anlass war die Entwicklung eines agentischen Sprachmodells namens Atria Dawn Preview, das auf einem Mixture-of-Experts-Modell mit 744 Milliarden Parametern aufsetzt und für Forschungs- und Engineering-Aufgaben gedacht ist.

Trainiert wurde es über eine Pipeline, die jede Aufgabe an eine reale Ausführungsumgebung koppelt. Das Modell ruft Werkzeuge auf, erzeugt Zwischenergebnisse und wird gegen externe Signale wie Tests, Metriken oder Quellenbelege geprüft. Nach eigenen Angaben liegt es auf fünf von 16 Benchmarks vorn, etwa bei Websuche und Cybersicherheit. Einen generellen Vorsprung gegenüber der Konkurrenz verzeichnet es allerdings nicht.

Ein Drittel der Aufgaben wäre ohne KI gar nicht angegangen worden

In 96,5 Prozent der geprüften Aufgaben kam KI zum Einsatz. Die Beteiligten delegierten im Projektverlauf immer mehr: Das Verhältnis von Agenten-Aktionen zu menschlichen Eingaben stieg über vier Wochen von einem Median von 11 auf 28,5. Das Team warnt jedoch davor, darin wachsende Autonomie zu sehen. Jede menschliche Entscheidung setze sich lediglich über mehr Agenten-Schritte fort, nicht über weniger.

Die Teilnehmenden sollten zudem einschätzen, ob sie ihren Anteil einer Aufgabe auch ohne KI hätten erledigen können, bei gleichem Umfang und gleicher Qualität. Von 455 abgeschlossenen KI-gestützten Aufgaben galten 151 als ohne KI nicht machbar, also gut ein Drittel. Sie verteilten sich auf 27 der 56 Beteiligten und stammten damit nicht von wenigen Vielnutzern. KI habe hier keine Arbeit beschleunigt, sondern Arbeit überhaupt erst ermöglicht, die sonst nie in Angriff genommen worden wäre.

Vorschläge von der KI, Auswahl vom Menschen

Bei Methoden und Parametern war das Muster "KI schlägt vor, Mensch wählt" mit 55,4 Prozent am häufigsten. Insgesamt trafen Menschen 85,5 Prozent der Entscheidungen über Methoden und Parameter, die KI nur 9,2 Prozent. Bei Zielen und Umfang lag die menschliche Endentscheidung sogar bei 93,4 Prozent.

Der Anteil der KI an den Vorschlägen schwankte je nach Entscheidungsart zwischen 17 und 55 Prozent, ihr Anteil an den Endentscheidungen blieb konstant im einstelligen Bereich. Wer die Optionen erzeugt, änderte sich also stark, wer auswählt, kaum. Selbst bei den 151 als unverzichtbar eingestuften KI-Aufgaben wählten Menschen in 95,4 Prozent der Fälle das Ziel.

Agenten liefern oft die Methodenvorschläge, die endgültige Entscheidung treffen aber in über 80 Prozent der Fälle Menschen. | Bild: Atria Team

Menschen liefern Kontext, keine Handarbeit

Auch bei Problemen zeigt sich das gleiche Bild. Von 588 Aufgaben mit einer festgehaltenen Schwierigkeit kamen 76 Prozent durch menschliches Eingreifen voran, in 23 Prozent löste der Agent das Problem selbst. Die menschliche Hilfe bestand fast immer aus Information, etwa durch ergänzenden Kontext oder geklärte Anforderungen (35,2 Prozent) sowie durch Diagnosen oder Methodenwechsel (34,7 Prozent). Dass ein Mensch selbst Hand anlegte, war die Ausnahme: Teilbearbeitungen machten 3,2 Prozent aus, komplette Übernahmen nur 0,7 Prozent.

Bei Überarbeitungen der KI-Ergebnisse übernahm die KI in 75,4 Prozent der Fälle die Änderungen selbst, nachdem ein Mensch Rückmeldung gegeben hatte. Knapp war damit das Urteilsvermögen der Menschen, nicht die Ausführung.

Das Team ordnet die Beobachtungen in drei Phasen ein. Zunächst diente KI als reines Forschungsobjekt, dann als Ausführende einzelner Aufgaben und aktuell als Projektpartnerin, die innerhalb menschlich gesetzter Ziele Pläne entwirft und anpasst. Eine spekulative vierte Stufe wäre die rekursive Selbstverbesserung, bei der stärkere Modelle wiederum stärkere Nachfolger hervorbringen.

Ein Modell könne den Autoren zufolge besser in seinen Trainingsaufgaben werden, ohne besser darin zu werden, seinen Nachfolger zu entwickeln. Offen sei etwa, wie KI vielfältige Forschungsrichtungen erzeugen und deren Wert einschätzen könne, bevor Ergebnisse vorliegen.

Warnung vor der Zustimmungs-Maschine

Wenn jede Entscheidung auf einer längeren Kette von Agenten-Arbeit ruht, als ein Mensch prüfen kann, wird Aufsicht schwierig. Im schlimmsten Fall würden Menschen zu Prüfern, die nur noch abnicken können, schreibt das Team. Viele der Beteiligten ließen die Agenten zudem in autonomen Modi laufen, um lange Läufe nicht durch ständige Freigaben zu unterbrechen. Die Grenze sei aus Bequemlichkeit entstanden, nicht aus einer bewussten Entscheidung darüber, wie viel Autorität eine KI haben sollte.

Das Paper erscheint mitten in einer Debatte über rekursive Selbstverbesserung. Anthropic hält eine KI, die ihren Nachfolger selbst entwickelt, für früher möglich als erwartet. Firmenchef Dario Amodei fordert deshalb ein Tempolimit für die Branche. Laut Anthropic treffen Menschen dort nur noch einen einstelligen Anteil der Richtungsentscheidungen. OpenAI setzt GPT-5.6 Sol im gesamten Entwicklungszyklus ein. Google und DeepMind lassen KI-Agenten mit Dream-RSI in aufgezeichneten Suchverläufen alternative Strategien durchspielen, verbessern dabei allerdings nur die Suchstrategie, nicht das Modell selbst.