Huxley-Gödel Machine: KI-Agent verbessert sich selbst durch Code-Optimierung

Um diese "metaleistungsbezogene" Dynamik zu messen, führt das Team ein neues Kriterium ein: die Clade-Metaproductivity (CMP), oder auf deutsch in etwa die "Abstammungslinien-Metaproduktivität". Damit soll die Leistung aller Nachkommen eines Agenten und somit die Produktivität einer gesamten Abstammungslinie bewertet werden, nicht nur die eines einzelnen Programms.

In der Praxis schätzt die Huxley‑Gödel Machine (HGM) diese CMP-Werte und nutzt sie zur Entscheidungsfindung bei der Selbstmodifikation. Dafür kombiniert der Algorithmus verschiedene Methoden wie Baum‑Suche, bayessches Sampling und adaptives Scheduling. Das System trifft also Entscheidungen darüber, wann neue Agenten erzeugt und wann bestehende weiter getestet werden, ähnlich einem kontinuierlichen Experimentierprozess.

Konkret verändert HGM das Framework rund um das Sprachmodell. Der Selbstverbesserungsprozess zielt auf die Steuerlogik, den Werkzeug‑Zugriff und die Fehleranalyse – also darauf, wie das Modell programmiert, nicht was es weiß.

Der Agent optimiert dafür seinen eigenen Code: Er schreibt Python‑Dateien, Testskripte und Tools um, testet die Änderungen und integriert erfolgreiche Varianten dauerhaft. So entstehen Agentenversionen, die ihre Architektur, Strategien und Kontrollabläufe selbst verfeinern.

SWE‑Bench Verified: Menschliches Niveau mit GPT‑5‑mini

HGM wurde zunächst auf dem SWE‑Bench Verified‑Benchmark erprobt, einer Sammlung von 500 realen Programmieraufgaben aus GitHub‑Repositories. In diesem Hauptszenario erreichte der mit GPT‑5‑mini optimierte Agent 61,4 Prozent gelöste Aufgaben – der bislang höchste dokumentierte Wert für diesen Modell-Backbone. Er übertraf damit auch den besten menschlich entworfenen GPT‑5‑mini‑Agenten auf der offiziellen Rangliste und platzierte sich zugleich unter den zehn besten Systemen insgesamt, obwohl einige der Konkurrenzmodelle auf deutlich größeren - und teureren - Sprachmodellen wie Claude 3.7 basieren.

Zur Überprüfung der Generalisierung setzten die Forschenden denselben Agenten anschließend auf der leichteren Variante SWE‑Bench Lite ein. Diese umfasst 300 neue Programmieraufgaben, von denen ein Teil mit SWE‑Bench Verified überlappt. In dem Test, der mit GPT‑5‑mini - und hier auch mit GPT‑5 - durchgeführt wurde, schnitt der Agent mit dem größeren Modell klar besser ab: Mit GPT‑5‑mini löste er 40 Prozent der nicht überlappenden und 49 Prozent der gesamten Aufgaben. Mit GPT‑5 stieg seine Erfolgsquote auf 48 bzw. 57 Prozent.

Damit liegt die GPT‑5‑Variante laut dem Team praktisch gleichauf mit den besten von Menschen entwickelten Systemen, unter anderem SWE‑Agent + Claude 4 Sonnet.

Im Polyglot‑Benchmark, der Aufgaben in verschiedenen Programmiersprachen umfasst, demonstrierte HGM ebenfalls klare Vorteile gegenüber bisherigen Ansätzen. Gleichzeitig benötigte der Ansatz laut dem Team deutlich weniger Rechenzeit, etwa zwei‑ bis sechsfach weniger als die Vergleichssysteme.

Ein neuer Weg zu selbstverbessernden Maschinen?

Das Team hebt hervor, dass dieser Fortschritt nicht auf stärkere Sprachmodelle, sondern auf die eigenständige Verbesserung der Agentenarchitektur zurückzuführen sei. Das System zeige, dass "Abstammungslinien" von KI‑Agenten eigenständig wertvollere Prinzipien des Lernens und Selbstausbaus entwickeln könnten.

Laut den Forschenden könnte dieser Ansatz in Zukunft die Grundlage für adaptive, ressourceneffiziente KI-Systeme schaffen, die mit minimalem menschlichen Eingriff fortlaufend bessere Versionen ihrer selbst entwickeln. Für eine echte "Gödel Machine” reicht es jedoch noch nicht.