Artificial Analysis stellt Optima vor: Maßgeschneiderte KI-Benchmarks für eigene Anwendungsfälle

Mit Optima will Artificial Analysis Nutzern ermöglichen, eigene Benchmarks zu erstellen und KI-Modelle nicht nur nach Leistung, sondern auch nach Kosten und Geschwindigkeit für den konkreten Einsatzzweck zu vergleichen.

Artificial Analysis, bekannt für seine unabhängigen LLM-Evaluationen, hat eine neue Plattform namens Optima vorgestellt. Die Kernidee: Öffentliche Benchmarks vergleichen Modelle anhand vorgegebener Aufgaben und Kriterien, bilden aber nicht zwangsläufig ab, welches Modell für einen konkreten Anwendungsfall am besten geeignet ist. Optima soll stärker auf individuelle Anwendungsfälle zugeschnittene Vergleiche ermöglichen.

Nutzer können dafür laut Artificial Analysis eigene Benchmarks auf Basis eigener Daten, Arbeitsabläufe oder Beschreibungen eines Anwendungsfalls erstellen, diese über führende aktuelle Modelle laufen lassen und die Ergebnisse nicht nur nach Qualität, sondern auch nach Kosten pro Aufgabe und Bearbeitungszeit pro Aufgabe vergleichen. Optima ist ab sofort allgemein verfügbar.

Drei Wege zum eigenen Benchmark

Als Ausgangsmaterial akzeptiert Optima unterschiedliche Datenquellen. Dazu gehören bestehende Evaluierungsdatensätze aus eigenen Dateien oder von Hugging Face sowie Aufzeichnungen von KI-Agenten aus Plattformen wie Arize, Braintrust oder Langfuse. Entwickler können außerdem einen Skill installieren, der Informationen aus der Coding-Umgebung und vergangenen Sessions zusammenträgt, schreibt Artificial Analysis.

Wer solche Daten nicht mitbringt, kann stattdessen den gewünschten Anwendungsfall beschreiben und Beispiel-Inputs und -Outputs bereitstellen. Daraus erzeugt Optima Vorschläge für Test-Inputs, Bewertungskriterien und Beispielaufgaben. Nutzer können diese vor dem eigentlichen Benchmark prüfen und per Feedback überarbeiten.

Für die Bewertung stehen zwei Ansätze zur Verfügung: eine rubrikbasierte Bewertung anhand objektiver Kriterien oder ein paarweises Bewertungsverfahren, das Artificial Analysis auch für Benchmarks wie GDPval-AA und AA-Briefcase nutzt. Beim paarweisen Verfahren bewertet der Nutzer zunächst eine Stichprobe von Antwortpaaren und legt jeweils fest, welche Antwort er bevorzugt. Aus diesen Präferenzen leitet Optima anschließend das Ranking für den gesamten Testdatensatz ab.

Kosten und Geschwindigkeit als weitere Vergleichsdimensionen

Ein zentrales Merkmal von Optima ist, dass neben der reinen Modellleistung auch Kosten und Bearbeitungszeit pro Aufgabe als eigenständige Vergleichsdimensionen erfasst werden. So lässt sich etwa prüfen, ob ein Leistungsgewinn die höheren Kosten oder die längere Bearbeitungszeit eines Modells rechtfertigt.

Gerade bei agentischen Anwendungen ist der reine Tokenpreis nur begrenzt aussagekräftig. Ein günstigeres Modell kann insgesamt teurer werden, wenn es mehr Anläufe benötigt, häufiger scheitert oder zusätzliche Nacharbeit verursacht. Die Kosten pro erledigter Aufgabe sind deshalb oft die aussagekräftigere Größe.

Vorabtester haben laut Artificial Analysis unter anderem Benchmarks für Finanz- und Buchhaltungsagenten erstellt, um zu prüfen, welches Modell die Kosten um den Faktor zehn senken kann, ohne die Qualität wesentlich zu verschlechtern. Andere testeten, welches Modell den Schreibstil von Anwälten am besten trifft oder Elemente in einem eigenen Bilddatensatz am besten erkennt.

Bei der Erstellung und Ausführung von Benchmarks berechnet Optima nach Angaben von Artificial Analysis nur die tatsächlichen Token-Kosten der verwendeten Modelle, ohne Aufschlag. Rubrikbasierte Bewertungen kosten 0,125 Dollar pro Kriterium und Modell, paarweise Bewertungen 0,375 Dollar pro Vergleich. Zu Beginn der Benchmark-Erstellung, jedes Benchmark-Laufs und jedes Bewertungsdurchgangs hält die Plattform auf Basis einer Kostenschätzung zunächst einen entsprechenden Betrag des Guthabens vor. Abgerechnet wird anschließend nach dem tatsächlichen Verbrauch beziehungsweise den angefallenen Bewertungskosten.

Grenzen allgemeiner Benchmarks

Optima setzt an einem bekannten Problem von KI-Benchmarks an. Eine Analyse von Epoch AI zeigte, dass Benchmark-Ergebnisse von Implementierungsdetails abhängen, die selten offengelegt werden. Unterschiedliche Prompt-Formulierungen und Temperatureinstellungen führten dazu, dass dasselbe Modell je nach Konfiguration merklich unterschiedlich abschnitt. Bei agentischen Benchmarks wie SWE-bench machte allein der Wechsel des Scaffolds, also der Steuerungssoftware und Werkzeugumgebung des Agenten, bis zu 15 Prozentpunkte Unterschied.

Noch grundsätzlicher fiel eine Studie aus, die 445 Benchmark-Artikel von führenden KI-Konferenzen untersuchte. Fast alle wiesen in mindestens einem Bereich methodische Schwächen auf. Dazu zählen unklare Definitionen, nicht repräsentative Stichproben und fehlende statistische Absicherung. Nur etwa 10 Prozent der untersuchten Benchmarks nutzten vollständige reale Aufgaben, die tatsächliche Anwendungsszenarien widerspiegeln. Schlüsselkonzepte wie "Reasoning" oder "Alignment" seien oft schlecht definiert, was die Zuverlässigkeit der Schlussfolgerungen begrenze.

Optima kann vor allem das Problem adressieren, dass allgemeine Benchmarks einen konkreten Anwendungsfall nur unzureichend abbilden. Die grundsätzlichen methodischen Probleme des Benchmarkings verschwinden dadurch jedoch nicht. Auch bei einem auf eigene Aufgaben zugeschnittenen Benchmark hängt die Aussagekraft davon ab, wie präzise die zu messenden Fähigkeiten definiert, wie repräsentativ die Testfälle ausgewählt und wie die Evaluation technisch umgesetzt und dokumentiert wird.

Hinzu kommt eine weitere Grenze: Auch Kosten und Bearbeitungszeit pro Aufgabe sagen noch nichts darüber aus, welchen wirtschaftlichen Wert das Ergebnis tatsächlich hat. Ein günstiger und schneller KI-Workflow kann ineffizient bleiben, wenn seine Ergebnisse umfangreiche Nacharbeit erfordern oder für den jeweiligen Prozess wenig Nutzen bringen.