KI-Agenten als Start-up-Chef: Neuer Benchmark lässt Sprachmodelle 500 Tage ein Unternehmen führen

Um genau diese Fähigkeiten zu prüfen, haben die Forscher CEO-Bench entwickelt. Der Test simuliert ein realistisches Beispiel für eine solche Langzeitaufgabe: das Führen eines Start-ups über 500 simulierte Tage.

Die Forscher illustrieren diese Art von Intelligenz mit einer historischen Episode. 1997 stand Apple 90 Tage vor der Pleite. Steve Jobs zeichnete ein simples Raster aus vier Feldern auf, Endkunde und Profi jeweils kombiniert mit Desktop und tragbar, und entschied, dass Apple nur noch für diese vier Kategorien bauen würde. Es folgten iMac, iPod und iPhone. Diese strategische Steuerungsintelligenz unterscheidet sich laut den Autoren grundlegend von dem, was KI-Agenten heute leisten. Sie werden zwar rasch besser bei einzelnen Aufgaben, müssten künftig aber ganze Organisationen auf ferne Ziele hin lenken. CEO-Bench sei ein erster Schritt, genau diese "Steering Intelligence" zu messen.

Ein KI-Chef für ein fiktives Software-Unternehmen

In CEO-Bench leitet ein Agent ein erfundenes Abo-Software-Unternehmen namens NovaMind. Er startet mit null Kunden und einer Million Dollar auf dem Konto. Bewertet wird er am Ende anhand des verbliebenen Kapitals. Fällt der Kontostand auch nur einmal unter null, ist das Unternehmen pleite und die Simulation endet.

Der Agent steuert die Firma über eine programmierbare Schnittstelle in Python mit 34 Werkzeugen und einer Datenbank aus 19 Tabellen. Er setzt dabei keine einzelnen Befehle ab, sondern schreibt eigenen Code, fragt die Datenbank per SQL ab und baut sich daraus maßgeschneiderte Abläufe zusammen. Damit steht er laut den Forschern vor denselben Herausforderungen wie ein menschlicher Geschäftsführer.

Zu entscheiden gibt es viel: Preise und Tarife, Werbeausgaben über verschiedene Kanäle, Produktqualität und Forschung, Infrastruktur-Kapazität und Kundensupport, dazu Verhandlungen mit Großkunden über mehrere Runden hinweg. Hinzu kommt ein simuliertes soziales Netzwerk, in dem der Agent Beschwerden, Konkurrenz-Neuigkeiten und Wirtschaftstrends lesen sowie selbst posten kann.

Vieles bleibt verborgen, manches wirkt erst später

Was die Aufgabe schwer macht, ist der Umgang mit Zeit und Ungewissheit. Entscheidungen entfalten ihre Wirkung auf realistischen Geschäftszeitachsen. Umsätze treffen erst zu Abrechnungsterminen ein, Forschungsprojekte dauern Tage bis Wochen, und Fehler zeigen sich oft erst später durch Kundenabwanderung oder beschädigte Reputation. Kosten fallen dagegen sofort an. Der Agent muss also Geld ausgeben, dessen Nutzen sich womöglich erst Wochen später zeigt.

Vieles über den Zustand der Firma bleibt zudem verborgen. Der Agent sieht nicht direkt, wie zufrieden Kunden sind, wie viel sie zu zahlen bereit sind oder welche Qualität sie mindestens erwarten. Er muss diese Größen aus verrauschten Daten erschließen, etwa aus Kündigungen, Support-Anfragen oder den Reaktionen im sozialen Netzwerk. Die Simulation modelliert dabei 26 Kundengruppen und einzelne Kunden mit jeweils eigenen Budgets, Preissensibilitäten und Ansprüchen.

Erschwerend kommt hinzu, dass sich die Welt fortlaufend verändert. Konkurrenten erhöhen periodisch die Qualitätserwartungen der Kunden, Kundenpräferenzen verschieben sich über die Zeit, und ein simulierter Konjunkturzyklus beeinflusst Zahlungsbereitschaft und Nachfrage. Der Agent muss seine Strategie also immer wieder anpassen.

Bewusst setzen die Forscher dabei auf feste, nachvollziehbare Regeln statt auf ein Sprachmodell als undurchsichtigen Schiedsrichter. So wollen sie eine Schwäche vermeiden, die sie bei Vending-Bench sehen, einem Test mit simuliertem Verkaufsautomaten: Dort kann ein KI-simulierter Lieferant einen Agenten für unrealistische verbale Versprechen belohnen.

Die meisten Modelle gehen pleite

Von vierzehn getesteten Modellen scheitern die meisten an der Aufgabe. Zwar können fast alle gültige Befehle und Datenbankabfragen erzeugen, doch eine über lange Zeit kohärente Strategie gelingt ihnen nicht, und viele gehen vor dem Ende der Simulation bankrott.

Nur drei Modelle beenden ihren besten Lauf über dem Startkapital von einer Million Dollar. Claude Fable 5 erreicht 47,15 Millionen, Claude Opus 4.8 kommt auf 27,8 Millionen und GPT-5.5 auf 21,3 Millionen Dollar. Claude Fable 5 ist dabei das einzige Modell, das in mehr als einem Durchlauf über dem Startkapital landet. Allerdings ist dieses Ergebnis eingeschränkt. Ein Lauf von Fable 5 brach wegen einer Verweigerung des Modells ab, und in den anderen beiden fielen Anfragen teils auf Opus 4.8 zurück. GPT-5.5 wiederum ging in zwei von drei Läufen pleite.

Besonders aufschlussreich ist der Vergleich mit einer simplen, regelbasierten Faustregel, die ohne jeden Aufruf eines Sprachmodells auskommt. Sie legt feste Preise, Kontingente und Modellstufen fest, konzentriert Werbung und gezielte Entwicklung auf eine kleine Auswahl von Kundengruppen und passt die Kapazität an die jüngste Nutzung an. Diese Heuristik erreicht 15,76 Millionen Dollar und übertrifft damit alle Modelle außer Fable 5, Opus 4.8 und GPT-5.5.

Zugleich liegt die von den Forschern grob geschätzte Obergrenze des erreichbaren Endkapitals bei rund 2,2 Milliarden Dollar. Selbst die besten Agenten bleiben also weit darunter, der Test ist nach Einschätzung der Autoren noch lange nicht ausgereizt.

Wer erkundet, gewinnt

Bei der Analyse der Handlungsverläufe zeigen sich deutliche Unterschiede im Verhalten. GPT-5.5 und Claude Opus 4.8 probieren laufend neue Strategien aus, wenn sich die Bedingungen ändern. Sie fahren etwa die Kundengewinnung hoch, passen Modellstufen an oder verteilen Support- und Entwicklungsbudgets um. Claude Opus 4.7 reagiert dagegen auf Rückschläge meist mit Sparen und dem Erhalt von Liquidität. Diese passive Haltung lässt das Modell zwar bis zum Schluss überleben, hindert es aber daran, Gewinne zu machen.

Interessant ist, dass Opus 4.8 und GPT-5.5 ein ähnliches Endergebnis über sehr unterschiedliche Wege erreichen: Opus 4.8 gewinnt anfangs mehr Kunden, fällt aber mitten in der Simulation auf null Kunden, während GPT-5.5 seinen Kundenstamm durchgehend hält.

Beide schreiben dabei erstaunlich anspruchsvollen Code: Opus 4.8 baut eine eigene Simulation auf, die Kundenkohorten nachbildet, um künftiges Kapital vorherzusagen. GPT-5.5 durchforstet die Verhandlungshistorie in der Datenbank, um verborgene Kundenpräferenzen aufzudecken.

Die Forscher messen vier Fähigkeiten, die mit dem Erfolg zusammenhängen:

• verborgene Informationen aufdecken, etwa welcher Werbekanal für eine Kundengruppe am besten wirkt,
• die Zukunft vorhersagen, gemessen am Fehler bei der Vier-Wochen-Cash-Prognose,
• sich schnell an Veränderungen anpassen, gemessen daran, wie rasch ein Modell einen Konkurrenz-Vorstoß bemerkt
• und vorausschauend planen, gemessen unter anderem an der Häufigkeit von Wenn-dann-Szenarien in den Notizen.

In allen vier Punkten schneiden Opus 4.8 und GPT-5.5 besser ab als der Durchschnitt der übrigen Modelle.

Auch das Werkzeug entscheidet

Eine weitere Beobachtung betrifft die Software-Umgebung, über die ein Modell handelt. Die Forscher testeten Claude Opus 4.7 zusätzlich mit Claude Code und GPT-5.5 mit Codex, zwei verbreiteten Programmierassistenten. In beiden Fällen handelten die Agenten deutlich seltener und schnitten schlechter ab. Die Forscher vermuten, dass die auf Softwareentwicklung ausgerichteten Systemvorgaben dieser Werkzeuge die Ursache sind.

Auch ein verkürzter Zeithorizont löst das Problem nicht: Wird die Simulation auf 50 Tage gestaucht, schafft es nur GPT-5.5, am Ende einen Gewinn zu erzielen. Die meisten Modelle, so das Fazit, bleiben selbst beim Koordinieren von Entscheidungen auf ein kurzfristiges Ziel schwach.

Die Autoren räumen einige Grenzen ihres Aufbaus ein: Das Produkt wird nur über einen einzigen Qualitätswert abgebildet, weil sie keinen verlässlichen Weg fanden, qualitative Produktänderungen zu bewerten. Aspekte wie Compliance, Sicherheit und Kapitalbeschaffung bleiben außen vor, um jeden Durchlauf wirtschaftlich machbar zu halten. CEO-Bench zeige dennoch eine Lücke zwischen der lokalen Werkzeugkompetenz heutiger Modelle und der Fähigkeit, Handlungen über lange Zeiträume hinweg zu einer stimmigen Strategie zu verbinden.