Nvidia-Forschung zeigt Roboterflotte, die sich selbst neue Handgriffe beibringt

Der Kern der Idee ist eine wiederholbare Rückkopplungsschleife, die direkt auf echter Hardware läuft: Arbeitsbereich zurücksetzen, eine Strategie ausführen, das Ergebnis prüfen und den nächsten Versuch verbessern. Laut den Forschern ist genau das die fehlende Abstraktion, um Robotik-Forschung zu automatisieren. Bisherige Coding-Agenten hätten ihre Erfolge fast ausschließlich in digitalen Umgebungen erzielt, nicht in der physischen Welt.

Der Agent baut sich seine Prüfwerkzeuge selbst

ENPIRE läuft in zwei Phasen. In der ersten richtet der Agent mit etwas menschlichem Feedback eine Arbeitsumgebung ein. Dazu gehören Sicherheitsgrenzen, ein automatischer Reset und vor allem eine automatische Erfolgskontrolle. Statt einen Menschen jeden Versuch bewerten zu lassen, schreibt der Agent selbst eine Belohnungsfunktion, die Erfolg von Misserfolg unterscheidet. Grundlage sind nur wenige Minuten Beispielvideos von gelungenen und misslungenen Versuchen.

Beim Einstecken eines Pins etwa entwickelte der Agent eine Prüfung aus visueller Ausrichtung, Greiferhöhe und geschätzter Kraft. Für das Verschließen eines Kabelbinders kombinierte er zwei Kameraperspektiven, um Fehlmeldungen zu vermeiden, und drückte die Reaktionszeit unter 150 Millisekunden. Diese Werkzeuge werden einmal erstellt und danach unverändert weiterverwendet.

In der zweiten Phase arbeitet der Agent vollständig allein. Er liest Fachliteratur, stellt Hypothesen auf und ändert direkt den Trainingscode. Dabei nutzt er Methoden wie Behavior Cloning, bei dem die Strategie menschliche Demonstrationen nachahmt, oder Reinforcement Learning, bei dem die Strategie durch Versuch und Irrtum besser wird. Welche Methode er wählt, entscheidet der Agent selbst anhand der realen Erfolgssignale.

Roboter als Forschungsteam, koordiniert über Git

ENPIRE skaliert dabei auf eine ganze Flotte: acht zweiarmige YAM-Roboterstationen, jede mit eigener Hardware, eigenem Rechner und eigenem Coding-Agenten. Die Agenten testen unterschiedliche Hypothesen gleichzeitig und tauschen sich ausschließlich über Git aus, das gängige Werkzeug zur Versionsverwaltung von Software. Erfolgreiche Trainingsrezepte übernehmen sie eigenständig voneinander, schlechte Ideen verwerfen sie. So verbreitet sich ein Fortschritt, der an einer Station entdeckt wird, über die gesamte Flotte.

Laut der Studie erreichten die Agenten so bis zu 99 Prozent Erfolg bei anspruchsvollen Aufgaben wie dem Push-T-Test,  bei dem der Roboter einen T-förmigen Block in eine vorgegebene Zielposition und -ausrichtung schieben muss, dem Einsortieren von Pins in eine Box oder dem Durchschneiden eines Kabelbinders mit einem Cutter. Beim Pin-Einstecken konvergierte die Strategie schneller zu 100 Prozent als eine vergleichbare Methode mit Mensch in der Schleife.

Die Skalierung zahlt sich auch in Zeit aus: Beim Push-T-Test sank die Dauer bis zum vollen Erfolg von rund fünf auf zwei Stunden, als die Forscher von einem auf acht Agenten erhöhten. Beim Pin-Einstecken fiel sie von über anderthalb Stunden auf etwa 40 Minuten. Getestet wurden drei aktuelle Coding-Agenten: Codex mit GPT-5.5, Claude Code mit Opus 4.7 und Kimi Code mit Kimi K2.6. Codex schnitt in den meisten Fällen am besten ab.

Die echte Welt bleibt der härteste Prüfstein

Die Tests zeigen auch, dass die reale Welt deutlich schwieriger ist als die Simulation. Im Push-T-Test gelang die Aufgabe allen drei Agenten in der Simulation, in der realen Umgebung scheiterten dagegen zwei von drei. Grund seien unvorhersehbare und schwankende Bedingungen wie Roboterdynamik, Reibung und Objektbewegungen. In der Simulation RoboCasa übertraf ENPIRE sowohl ein durchgängiges Vision-Language-Action-Modell (GR00T) als auch einen Werkzeug-Ansatz ohne Autoresearch (CaP-X).

Um die Effizienz zu messen, schlagen die Forscher zwei Kennzahlen vor: Mean Robot Utilization (MRU) beschreibt, wie viel Forschungszeit der Roboter tatsächlich aktiv arbeitet, Mean Token Utilization (MTU) zählt den Sprachmodell-Verbrauch pro Minute. Zudem lasse sich erlerntes Wissen übertragen: Erfahrung aus dem Pin-Einstecken half den Agenten, Grafikkarten mit den Roboterarmen in ein Mainboard zu stecken.

Die Studie nennt aber auch klare Grenzen: Roboter und Rechenleistung würden nicht voll ausgelastet, weil die Agenten viel Zeit mit Lesen von Logs, Schreiben von Code und Warten verbringen. Je mehr Roboter zum Einsatz kommen, desto niedriger fällt die Auslastung pro Roboter aus, weil die Agenten mehr Zeit damit verbringen, die Ergebnisse der anderen zusammenzufassen. Gleichzeitig wachsen die Token-Kosten überproportional: Größere Flotten erreichen das Ziel zwar schneller, brauchen dafür aber unverhältnismäßig mehr Rechenbudget. Die Forscher sehen in ENPIRE dennoch einen praktikablen Weg, um Robotik in der echten Welt eigenständig voranzutreiben.