Neuer Benchmark misst, wie gut KI-Agenten 3D-Szenen aus einzelnen Fotos rekonstruieren

Der Ansatz heißt "Image-to-Code": Ein Coding-Agent bekommt ein einzelnes Bild und schreibt daraufhin Code für die etablierte 3D-Software Blender. Statt die Szene in einem Durchgang zu erzeugen, arbeitet der Agent laut den Forschern iterativ. Er schreibt Code, führt ihn aus, betrachtet das Ergebnis und bessert nach, bis die Szene dem Vorbild entspricht.

Der Vorteil gegenüber anderen 3D-Darstellungen liegt darin, dass ein solches Programm Objekte, Geometrie, Anordnung und Kameraposition explizit festhält. Die Szene lässt sich damit wie jeder andere Code ausführen, prüfen und verändern.

Simulator-Szenen liefern die exakte Vorlage

Um zu messen, wie gut die Agenten arbeiten, stellt das Team den Benchmark LEGO-Bench vor. Er umfasst 208 Bilder aus 104 Innen- und Außenszenen und verwendet insgesamt 443 registrierte Assets.

Echte Fotos liefern laut der Forschenden keine präzise 3D-Vorlage, mit der sich die Ergebnisse abgleichen ließen. Einfache synthetische Szenen wirken dagegen unrealistisch. LEGO-Bench rendert seine Bilder deshalb aus professionell erstellten Simulator-Szenen. So wirken die Eingaben natürlich, während die exakte Geometrie, Tiefe und Objektzuordnung als Lösung verborgen bleibt und zum automatischen Bewerten dient. Zudem lässt sich die Komplexität der Szenen gezielt steigern, ohne dass sich Beleuchtung oder Kamera ändern.

Bewertet wird in drei Kategorien. Die erste prüft, ob überhaupt ein brauchbares Szenen-Artefakt geliefert wurde (Validity). Die zweite misst, wie genau die sichtbare Geometrie stimmt (Reconstruction). Die dritte erfasst, wie ähnlich das Erscheinungsbild dem Original ist (Appearance). Für die letzte Kategorie rendert der Evaluator die eingereichte Szene neu und vergleicht sie pixelweise mit dem Referenzbild.

Brauchbare Artefakte, aber schwache Geometrie

Zwischen dem Liefern eines Ergebnisses und einer treuen Rekonstruktion liegt eine deutliche Lücke. Alle sechs getesteten GPT-Konfigurationen schaffen es nahezu zuverlässig, eine funktionierende Szene abzuliefern. Bei der Genauigkeit gehen die Werte aber weit auseinander: Das beste getestete Modell GPT-6 Astra erreicht einen Gesamtwert von 53,4 Prozent bei Innen- und 39,6 Prozent bei Außenszenen. Schwächere Konfigurationen kommen nur auf rund 15 Prozent.

Je komplexer eine Szene ist, desto stärker sinkt die Treue, Außenszenen sind dabei schwieriger als Innenräume. Erhöhte man den Reasoning-Aufwand der Modelle, verbesserten sich die GPT-6-Varianten deutlich: Bei Astra stieg der Wert auf einem Office-Testabschnitt von 32,3 auf 61,8 Prozent.

Um die Schwächen zu verstehen, analysierten die Forscher die Arbeitsschritte der Agenten. Dabei fanden sie einen schlechten Start, Änderungen, die bereits erreichte Fortschritte wieder zunichtemachten, und eine unzuverlässige Selbsteinschätzung als wiederkehrende Probleme.

Sollten die Modelle entscheiden, welche von zwei Versionen besser zum Original passt, lagen ihre Urteile bei der Geometrie nahe am oder unter dem Zufallsniveau. Ein Agent kann also kaum beurteilen, ob seine eigene Szene besser geworden ist. Die Forscher schließen daraus, dass sich die Verfeinerung auf konkrete Messungen stützen sollte statt auf das Selbsturteil.

Daraus leiten die Autoren LEGO-Plugin ab, eine Erweiterung ohne zusätzliches Training. Sie verankert die Startszene im Referenzbild, ersetzt das unzuverlässige Selbsturteil durch konkrete Messungen und schützt bereits korrekte Fortschritte vor rückschrittigen Änderungen. Das Plugin verbesserte alle sechs Modelle. Die größten Gewinne erzielten die schwächeren Agenten mit bis zu 62,7 Prozent. Das ohnehin starke Spitzenmodell legte dagegen nur um gut zwei Prozent zu.

Bis jetzt nicht präzise genug

Abschließend prüfte das Team, ob sich die rekonstruierten Szenen als Grundlage für klassische Bildaufgaben eignen. Weil jede Szene ein ausführbares Programm ist, lassen sich daraus direkt Objekterkennung, Segmentierung und Tiefenschätzung ableiten.

Ohne zusätzliches Training lieferten die Szenen auf allen drei Aufgaben brauchbare, aber keine herausragenden Werte. Am besten schnitt die Objekterkennung ab. Hier erreichten die rekonstruierten Szenen etwa die Hälfte der Leistung des spezialisierten Modells DINO. Bei der Segmentierung und der Tiefenschätzung war der Abstand zu Spezialmodellen wie SAM 3 und Depth Anything 3 größer. Laut den Autoren sind ausführbare Szenenprogramme aktueller Coding-Agenten damit vielversprechend, aber noch nicht präzise genug. Zwischen einem funktionierenden Ergebnis und einer treuen Rekonstruktion bleibt eine erhebliche Lücke.

Dass GPT-6 Astra in LEGO-Bench mit Abstand vorne liegt, deckt sich mit anderen Beobachtungen. Der KI-Forscher Yoav Artzi sieht in dem Modell einen klaren Sprung beim räumlichen Verständnis und vermutet ein Training mit großen Mengen an 3D-Daten wie Blender-Szenen. Hersteller von 3D-Software bereiten sich auf solche Agenten vor. Unity etwa hat offizielle Plugins für Claude Code und Codex veröffentlicht. Andere Ansätze rekonstruieren Szenen direkt im Modell statt über Code, etwa das Weltmodell Atlas von World Labs. Google Deepmind nutzt mit GenCeption wiederum ein Videomodell für Tiefenschätzung und Segmentierung und erreicht damit das Niveau von Spezialmodellen.