GPT-6 Astra taugt als Überwachungsdrohnen-Pilot und als autonomer Händler

In beiden Benchmarks erreicht Astra Ergebnisse, die zuvor kein getestetes Modell erzielt hatte. Beim simulierten Betrieb eines Verkaufsautomaten verdient das Modell fast dreimal so viel wie Claude Fable 5.1. Bei Drone-Bench ist Astra laut Andon Labs das erste Modell, dessen beste Versuche bei allen fünf Teilaufgaben die von Menschen mit KI-Unterstützung entwickelte Baseline übertreffen.

Astra kauft günstiger ein als Claude Fable 5.1

In Vending-Bench erhält das Modell 500 Dollar und muss über ein simuliertes Jahr einen Verkaufsautomaten betreiben. Es sucht Lieferanten, verhandelt Einkaufspreise, bestellt Waren, legt Verkaufspreise fest und versucht, den Kontostand zu maximieren.

Über sechs Durchläufe kommt GPT-6 Astra laut Andon Labs auf durchschnittlich 15.515 Dollar. Claude Fable 5.1 erreicht 5.422 Dollar. Selbst Fables bester Lauf mit 9.874 Dollar liegt deutlich unter Astras schlechtestem Ergebnis von 13.272 Dollar. Astra ist damit das erste OpenAI-Modell an der Spitze von Vending-Bench 2. Laut Andon Labs ist auch der Abstand zum zweitplatzierten Modell der bislang größte im Benchmark.

Einer der wichtigsten Unterschiede zeigt sich beim Einkauf. Fable akzeptiert mit der Zeit immer schlechtere Konditionen. Bei einer normalen Coca-Cola-Dose steigt der durchschnittlich gezahlte Preis von 1,17 Dollar in den ersten 90 Tagen auf 2,21 Dollar gegen Ende des simulierten Jahres. Astra verhandelt konsequenter. In einem von Andon Labs dokumentierten Fall verlangt ein Lieferant für einen Warenkorb zunächst 226,32 Dollar. Astra bleibt bei seinem Gebot von 108 Dollar und setzt sich damit schließlich durch.

Auch mit unzuverlässigen Lieferanten kommt Astra besser zurecht. Fable 5.1 leistet in sechs Runs 45 Vorauszahlungen an Lieferanten, die ihr Geschäft bereits eingestellt haben, und verliert dabei insgesamt 14.331 Dollar. Astra trifft sogar auf 64 Lieferantenschließungen, verzeichnet laut Andon Labs aber keine identifizierten Verluste durch solche Vorauszahlungen. Fable erkennt das Problem zwar selbst und schreibt sich die Regel, erst nach einer schriftlichen Bestätigung zu bezahlen. Wenige Tage später verstößt das Modell wieder gegen seine eigene Vorgabe.

Astra lehnt Preisabsprachen ab

Andon Labs testet die Modelle außerdem in Vending-Bench Arena, wo mehrere KI-Agenten gleichzeitig eigene Verkaufsautomaten am selben Standort betreiben. Hier lehnt Astra einen Vorschlag des chinesischen Modells GLM-5.3 zur Preisabsprache ausdrücklich ab. In den drei untersuchten Arena-Spielen beobachtete Andon Labs bei Astra auch keine Lügen.

Claude Fable 5.1 beteiligt sich dagegen an einer von Andon Labs als illegal eingestuften Preisabsprache mit GLM-5.3. Gleichzeitig hält sich das Modell selbst nur dann an die Vereinbarung, wenn diese den eigenen Interessen dient. Astra gewinnt alle drei Spiele.

Andon Labs bewertet Astra deshalb als wirtschaftlich stärker und zugleich besser aligned. Diese Einschätzung bezieht sich allerdings auf die im Benchmark beobachteten Verhaltensweisen und lässt sich nicht automatisch auf andere Situationen übertragen.

Astra schafft erstmals alle fünf Drone-Bench-Aufgaben

Bei Drone-Bench geht es um eine gänzlich andere Form von Agentenfähigkeit: Die Modelle sollen Code schreiben, mit dem eine günstige DJI Tello EDU autonom durch ein Büro navigieren, eine bestimmte Person erkennen und ihr folgen kann. Der Benchmark zerlegt diese Aufgabe in fünf Schritte: 3D-Rekonstruktion der Umgebung, Lokalisierung der Drohne, Navigation, Erkennung der Zielperson und Verfolgung.

Die Aufgaben werden zunächst einzeln bewertet. Als Referenz dient Code für Andons eigene Demo, den ein Mensch mithilfe von Coding-Agenten entwickelt hat. Jedes Modell absolviert zehn Runs pro Aufgabe und kann innerhalb eines Runs bis zu zehn Code-Versionen einreichen. Nach jedem Versuch erhält es einen Score und kann die Lösung verbessern.

Im ursprünglichen Paper vom Juli war Claude Fable 5 das insgesamt stärkste getestete Modell. Bei vier der fünf Aufgaben konnten Frontier-Modelle die jeweilige Human-AI-Baseline bereits in mindestens einem Run schlagen. Die 3D-Rekonstruktion blieb jedoch ungelöst.

Mit GPT-6 Astra hat sich das geändert: Andon Labs meldete, Astra sei das erste Modell, dessen beste Einreichungen bei allen fünf Drone-Bench-Aufgaben die Baseline übertreffen. Auch die bislang ungelöste Rekonstruktion gelingt dem Modell erstmals.

Dafür entwickelte Astra eine Pipeline aus COLMAP und DA3 mit zusätzlicher Tiefenfilterung. Laut Andon Labs konnte das Modell aus Videos des Büros damit ein navigierbares 3D-Modell erzeugen, das besser bewertet wurde als die Human-AI-Referenzlösung.

Bestleistung bedeutet noch keine Zuverlässigkeit

Der Erfolg hat allerdings Grenzen. Bei der Personenerkennung schlägt Astra die Baseline in vier von zehn Durchläufen. Bei der 3D-Rekonstruktion gelingt das nur in einem von zehn. Aus den Erfolgsraten der einzelnen Aufgaben berechnet Andon Labs für einen durchschnittlichen Astra-Durchlauf lediglich eine Chance von 2,8 Prozent, alle fünf Schritte hintereinander erfolgreich zu bestehen.

Gerade dieser Unterschied zwischen Bestleistung und typischer Leistung ist für Andon Labs entscheidend. Astra hat erstmals gezeigt, dass ein allgemeines Frontier-Modell für jeden Teil der Aufgabe funktionierenden Code oberhalb der Baseline erzeugen kann. Hochgerechnet auf einen durchgängigen Ablauf bleibt die Erfolgswahrscheinlichkeit allerdings gering. Aus dem Fortschritt der vergangenen zwei Jahre leitet das Team jedoch die Prognose ab, dass ein Frontier-Modell bis zum ersten Quartal 2027 alle fünf Aufgaben in einem einzigen Versuch lösen könnte.

GPT-6 Astra taugt bereits als Überwachungsdrohne

Was das konkret bedeuten könnte, zeigt eine Demonstration von Andon Labs: Mit dem Prompt „ChatGPT, finde diese Person und folge ihr“ navigiert GPT-6 Astra eine Drohne autonom durch ein Büro, erkennt eine bestimmte Person und verfolgt sie. Die gesamte Kette aus Raumerfassung, Navigation und Personenverfolgung läuft dabei ohne menschliches Eingreifen. Auch andere Benchmarks zeigen, dass GPT-6 Astra wohl ein besonders ausgereiftes räumliches Verständnis hat.

Das Labor ist sich der Brisanz dieses Tests bewusst. Auf Kritik, warum man genau das bedrohliche Ding baue, vor dem immer gewarnt werde, entgegnete Andon Labs: Der Benchmark helfe KI nicht dabei, Drohnen zu steuern, sondern messe lediglich, wie gut aktuelle Modelle das bereits können. Noch vor sechs Monaten hätten Frontier-Modelle bei den Aufgaben versagt und seien abgestürzt. Astra schlage nun die menschliche Baseline bei jeder einzelnen Teilaufgabe.

Andon Labs betont, dass die Öffentlichkeit und Gesetzgeber über diese Fähigkeiten informiert sein müssten, bevor KI-Drohnen übermenschliche Navigationsfähigkeiten erreichen. Kein Labor habe Zugang zum Benchmark; alle Evaluierungen führe Andon Labs selbst durch, um zu verhindern, dass Unternehmen ihre Modelle gezielt darauf optimieren.