CEO-Bench: Woran KI-Agenten scheitern und was Sie daraus lernen

Warum sich der Blick auf diese Studie lohnt

Wer über autonome KI im Unternehmen spricht, meint meist einen Agenten, der selbstständig plant, entscheidet und handelt. Genau das hat ein neuer Test sauber gemessen. Das Ergebnis lohnt sich anzusehen, bevor Sie viel Geld in eine vollautonome KI-Lösung stecken.

CEO-Bench ist ein im Juni 2026 veröffentlichter Benchmark, in dem KI-Agenten ein simuliertes Startup über 500 Tage führen. Das Ergebnis ist ernüchternd und lehrreich zugleich: Die meisten großen Sprachmodelle scheitern, und eine einfache, fest programmierte Regel-Heuristik schlägt fast alle von ihnen deutlich. Wir fassen die Studie zusammen, ordnen ihre Aussagekraft kritisch ein und leiten ab, was für eigene KI-Projekte daraus folgt.

Was CEO-Bench misst

Hinter CEO-Bench stehen drei Forscher der Princeton University: Haozhe Chen, Karthik Narasimhan und Zhuang Liu. Das Paper heißt „CEO-Bench: Can Agents Play the Long Game?“ (arXiv 2606.18543, Juni 2026).

Der Test prüft bewusst nicht, ob ein Modell eine einzelne Frage gut beantwortet. Es geht um etwas, das die Autoren „Steering Intelligence“ nennen, also die Fähigkeit, eine Organisation über lange Zeit auf ein Ziel hin zu steuern. Dazu zählen sie vier Fähigkeiten: mit Unsicherheit umgehen, in einer verrauschten Umgebung Informationen beschaffen, sich an Veränderungen anpassen und viele bewegliche Teile auf ein gemeinsames Ziel ausrichten.

Genau diese Fähigkeit unterstellt man einem Agenten, wenn man ihn längere Zeit unbeaufsichtigt arbeiten lassen will.

Der Aufbau des Tests

Der Agent startet mit einer Million US-Dollar und führt das fiktive Unternehmen über 500 simulierte Tage. Gemessen wird allein der Kassenstand am Ende. Jede Woche entscheidet der Agent über 34 Werkzeuge, von Preisen über Marketing und Produktentwicklung bis zu Infrastruktur und Verhandlungen mit Großkunden. Dazu hat er Zugriff auf eine Datenbank mit 19 Tabellen.

Die simulierte Welt ist absichtlich schwierig: 26 Kundengruppen mit verborgenen Vorlieben bei Preis und Qualität, nur teilweise Einblick in das Geschehen, verzögerte und miteinander verknüpfte Folgen von Entscheidungen, Wettbewerb, Konjunkturzyklen und Zufall.

Methodisch wichtig ist ein Detail: Die Ergebnisse entstehen aus festen ökonomischen Regeln und nicht aus der Bewertung durch ein zweites Sprachmodell. Bei Tests, in denen ein Modell ein anderes beurteilt, kann sich ein Agent durch überzeugendes Formulieren Vorteile verschaffen, ohne wirklich etwas zu leisten. Bei CEO-Bench zählt nur, was die Mechanik ausgibt.

Das Ergebnis: Die meisten gehen pleite

Die meisten Modelle scheitern, viele enden im Bankrott. Nur drei Modelle beenden ihren besten Lauf überhaupt über dem Startkapital. Die Tabelle zeigt den besten Lauf je Modell laut Leaderboard (Stand Juni 2026):

Der wichtigste Vergleichswert fehlt in der Tabelle: Eine einfache, fest programmierte Regel-Heuristik erreicht 15,76 Millionen US-Dollar. Sie schlägt damit fast jedes Sprachmodell, ohne ein einziges Mal nachzudenken. Das geschätzte theoretische Optimum liegt bei rund 2,2 Milliarden US-Dollar. Selbst der beste KI-Lauf erreicht also nur etwa zwei Prozent dessen, was möglich wäre.

Anders gesagt: Es ist nicht so, dass die Modelle gut wären und eine Regel nur etwas besser. Eine schlichte Heuristik schlägt die meisten Modelle um Größenordnungen.

Die Schwächen der Studie

So spannend der Befund ist, als Messinstrument hat CEO-Bench klare Grenzen. Für die richtige Einordnung gehören sie dazu.

1. Sehr kleine Stichprobe. Pro Modell gibt es nur zwei bis drei Läufe. In einer stark vom Zufall geprägten Umgebung ist das wenig belastbar. GPT-5.5 schwankt zwischen 21,3 Millionen Dollar im besten Lauf und Bankrott in zwei von drei Läufen.
2. Der beste Lauf als Schlagzeile. Das Leaderboard zeigt jeweils den besten Lauf. Ein einziger guter Durchgang bestimmt so die Platzierung. Der Median oder der schlechteste Lauf sähen nüchterner aus.
3. Fragliche Aussagekraft. Dass eine einfache Heuristik fast alle Modelle schlägt, spricht eher dafür, dass hier diszipliniertes Rechnen unter Nebenbedingungen belohnt wird, nicht der kreative Strategiesprung, den der Begriff „Steering Intelligence“ nahelegt.
4. Nur eine Welt. Alle Schlüsse stammen aus einem einzigen Simulator mit festen Parametern. Wie stabil die Rangfolge bei anderen Einstellungen wäre, bleibt offen.
5. Verweigerungen verzerren die Spitze. Das führende Modell Claude Fable 5 hat in einem Lauf an Tag 385 die Arbeit verweigert, in anderen Läufen fiel die Anfrage zeitweise auf Opus 4.8 zurück. Der Spitzenwert von 47,1 Millionen Dollar ist damit streng genommen ein Mischergebnis.
6. Kein festes Budget. Die Zahl der Züge pro Woche und die API-Kosten schwanken stark: GPT-5.5 mit 34,7 Zügen pro Woche und rund 200 Dollar, Opus 4.8 mit 10,9 Zügen und rund 213 Dollar, Haiku 4.5 mit 6,68 Dollar. Ohne festes Budget bleibt offen, ob ein Modell klüger steuert oder einfach mehr rechnen darf.
7. Keine unabhängige Wiederholung. Claude-Modelle führen das Leaderboard an, und das Spitzenmodell war zum Testzeitpunkt noch nicht allgemein verfügbar. Das beweist keine Verzerrung, aber eine Wiederholung durch Dritte fehlt. Die Autoren bezeichnen ihre Auswertung selbst als vorläufig.

Die belastbarste Aussage ist deshalb nicht „Modell X steuert gut“, sondern: Selbst die besten heutigen Agenten unterliegen einer einfachen Heuristik deutlich.

Was Sie für Ihre eigenen KI-Projekte daraus lernen

Gerade weil CEO-Bench zeigt, wo Agenten brechen, lässt sich viel für die Praxis ableiten. Die folgenden Punkte gelten unabhängig davon, ob Sie eine kleine Automatisierung planen oder einen größeren Agenten bauen lassen.

Lassen Sie die KI Regeln und Code schreiben, nicht jede Entscheidung treffen. Eine feste Heuristik schlägt fast alle Modelle. Für klar strukturierte, wiederkehrende Optimierungsaufgaben ist ein frei entscheidendes Sprachmodell die schlechteste Wahl. Die besten Läufe schrieben sich eigene kleine Programme, um Szenarien durchzurechnen. Setzen Sie das Modell also dort ein, wo es um Textverständnis, Einordnung und Vorschläge geht, und lassen Sie den Kern als feste, überprüfbare Logik laufen.

Geben Sie dem Agenten eine Arbeitsumgebung, nicht nur eine Werkzeugliste. Die stärksten Agenten bauten sich über die Programmierschnittstelle eigene Hilfsmittel, statt jedes Werkzeug einzeln aufzurufen. Eine Umgebung, in der der Agent Code ausführen kann, ist mächtiger als ein eng begrenztes Werkzeugset.

Das Gedächtnis ist der Engpass, nicht die Intelligenz. Die Modelle scheiterten nicht an einzelnen Aktionen, sondern daran, diese über lange Zeit und bei verzögerter Rückmeldung zusammenzuhalten. Erfolgreiche Läufe schrieben Notizen mit klaren Wenn-dann-Regeln. Langlaufende Systeme brauchen ein strukturiertes externes Gedächtnis aus Notizen, Zustandsdateien und regelmäßiger Neubewertung, etwa über Retrieval Augmented Generation oder eine Vektordatenbank.

Agenten erstarren mit der Zeit. In den Läufen probierten die Modelle anfangs viel aus und verfielen dann in eine passive Halte- oder Sparstrategie. Wer etwas autonom laufen lässt, braucht feste Auslöser, die regelmäßig eine neue Prüfung erzwingen.

Ein guter Demo-Lauf beweist nichts. GPT-5.5 schwankte zwischen 21 Millionen Dollar und Bankrott. Verlassen Sie sich bei Agenten nie auf einen einzelnen Durchlauf. Bauen Sie Wiederholungen, Plausibilitätsprüfungen und Schutzgeländer ein und bewerten Sie den Durchschnitt, nicht den besten Fall.

Mehr Aktionen sind nicht besser. GPT-5.5 brauchte 34,7 Züge pro Woche, Opus 4.8 nur 10,9, bei vergleichbarem Ergebnis. Viel Aktivität ist kein Qualitätsmerkmal und treibt vor allem die Kosten.

Messen Sie an harten Werten, nicht am Urteil eines Sprachmodells. Prüfen Sie Ergebnisse möglichst gegen objektive Kennzahlen wie Umsatz, Bearbeitungszeit oder Fehlerquote. Ein Modell, das ein anderes beurteilt, lässt sich durch gute Formulierungen täuschen.

Planen Sie Ausfälle ein. Ein einziger abgebrochener Lauf zeigt es: Unbeaufsichtigte Agenten brauchen eine Ausweichlogik, etwa ein zweites Modell, einen erneuten Versuch oder eine Übergabe an einen Menschen. Sonst beendet ein einzelner Abbruch den ganzen Prozess.

Fazit

CEO-Bench ist als Idee wertvoll und ehrlich gerahmt, mit einem methodisch sauberen Kern und einer aufschlussreichen Vergleichsgröße. Für belastbare Modellvergleiche sind Stichprobe, Bestlauf-Darstellung und die einzelne Simulationswelt noch zu schwach. Die belastbare Erkenntnis lautet, dass selbst die besten heutigen Agenten einer einfachen Heuristik klar unterliegen.

Für die Praxis ergibt sich ein roter Faden: Das Sprachmodell ist der schwächste Teil, wenn es alles allein entscheiden soll. Am stärksten ist es als Erzeuger von Code, Plänen und Regeln, die danach fest und nachprüfbar laufen. So bauen wir KI-Agenten und KI-Automatisierungen auf, wenn ein Betrieb etwas zuverlässig automatisieren will.

Wenn Sie überlegen, wo sich KI in Ihrem Unternehmen wirklich lohnt und wo eine schlichte Workflow-Automatisierung die bessere Wahl ist, sehen wir uns das in der KI-Beratung gern konkret mit Ihnen an. Wie eine KI Wissen dauerhaft pflegen kann, zeigt unser Beitrag zu Andrej Karpathys LLM Wiki.

Quellen

• CEO-Bench, offizielles Leaderboard und Methodik (Juni 2026)
• Chen, Narasimhan, Liu: CEO-Bench: Can Agents Play the Long Game? (arXiv 2606.18543) (Princeton University, Juni 2026)