Artificial Analysis korrigiert eigenen KI-Benchmark nach Kritik an GPT-6-Astra-Bewertung

Artificial Analysis hat Version 4.2 seines Intelligence-Index veröffentlicht, wahrscheinlich auch als Reaktion auf Kritik, die eigenen Benchmarks würden den Fortschritt von OpenAIs GPT-6 Astra nicht korrekt abbilden.

Zuvor hatten mehrere unabhängige Bewertungen Astra klar vorne gesehen, etwa Epoch AI, das das Modell über 50 Benchmarks hinweg mit 169 Punkten auf Platz 1 von 267 Modellen einstufte, oder ARC-AGI-3, wo Astra je nach Messart einen großen oder sogar sehr großen Sprung zeigte. Artificial Analysis sah es dagegen nur auf dem Niveau des Vorgängers.

Mit dem neuen Index zeigt GPT-6 Astra nun einen Zugewinn von vier Punkten gegenüber dem Vorgänger. Anthropics Claude Fable 5.1 führt aber weiterhin, gefolgt von Astra. Meta belegt Platz drei. Beim Tokenverbrauch pro Aufgabe ist Astra laut Artificial Analysis effizienter als alle anderen Spitzenmodelle. Beim Kosten-Leistungs-Verhältnis teilen sich Anthropic, OpenAI, Meta und Z AI die Spitze.

Neu im Index sind AA-Briefcase für praxisnahe Wissensarbeitsaufgaben und GDP.pdf von Surge AI für Dokumentenanalyse über PDF-Seiten. GPQA-Diamond fällt weg, da Modelle den Test gelöst haben. 40 Prozent der Gewichtung entfallen jetzt auf nicht öffentliche Testdaten, um Manipulation zu erschweren.

Artificial Analysis erklärt, man habe Updates des Index zuletzt bewusst zurückgehalten, um ihn während großer Modell-Launches stabil zu halten. Da sich die Spitze der KI-Modelle in den vergangenen Wochen aber so schnell bewegt habe, sei ein sofortiges Zwischenupdate nötig gewesen. Version 5 des Index ist seit acht Monaten in Arbeit und soll in weiteren Zwischenschritten erscheinen.