Selbst Top-Experten haben den KI-Fortschritt der letzten Jahre teils massiv unterschätzt

Seit Mitte 2022 hat das FRI in mehreren Studien und Projekten Prognosen zum KI-Fortschritt gesammelt. Die Stichproben umfassen hochrangige Fachleute: 339 Experten in der ersten LEAP-Runde (Longitudinal Expert AI Panel), darunter 76 Informatiker, 76 Industrieexperten, 68 Ökonomen und 119 KI-Policy-Fachleute. Unter den Informatikern waren 30 Professoren an Top-20-Institutionen und 10 der 200 meistzitierten KI‑Autoren. Ergänzt wurden die Panels durch sogenannte Superforecaster, also Generalisten mit nachweislich guter Prognosebilanz.

KI-Meilensteine kamen Jahre früher als erwartet

Besonders abweichend ist der Fall der Internationalen Mathematik-Olympiade: KI erreichte Gold-Niveau im Juli 2025, fünf Jahre früher als der Median der Expertenvorhersagen und zehn Jahre früher als der Median der Superforecaster. Diese Prognosen wurden 2022 noch vor der Veröffentlichung von ChatGPT gesammelt. Doch auch danach setzte sich das Muster fort.

Ein weiterer möglicher Fall betrifft die Lösung eines Millennium-Preisproblems durch KI. Bei der Befragung im August und September 2025 lag die Medianprognose der Experten für eine solche Lösung bis Ende 2027 bei zehn Prozent, die der Superforecaster bei 5,4 Prozent, doch OpenAI soll das Navier-Stokes-Problem möglicherweise bereits mithilfe eines internen Modells gelöst haben. Ob diese Lösung die Auswertungskriterien erfüllt, ist noch unklar.

In einer Studie zu KI-Fähigkeiten in der Virologie sagten Experten voraus, dass KI-Modelle erst 2030 mit einem Top-Virologenteam bei einem Troubleshooting-Benchmark gleichziehen würden. Superforecaster rechneten erst mit 2034. Laut FRI war es wahrscheinlich bereits im April 2025 so weit. Ähnliche Unterschätzungen zeigten sich bei einem Cybersecurity-Benchmark.

Auch bei ökonomischen Kennzahlen zeigen sich die zu skeptischen Einschätzungen: Den höchsten jährlich wiederkehrenden Umsatz (ARR) eines KI-Unternehmens für Ende 2026 schätzten Experten im Median auf 20 Milliarden Dollar, Ökonomen auf 16 Milliarden und Superforecaster auf 25 Milliarden. Als wahrscheinlich bereits erreichten Vergleichswert nennt das FRI für September 2026 rund 100 Milliarden Dollar bei Anthropic.

Bei praktischen Anwendungen fällt die Bilanz gemischt aus

Es gibt allerdings Gegenbeispiele. Biosicherheitsexperten schätzten im Median, dass 22,5 Prozent der Teilnehmenden mit Sprachmodell-Unterstützung  biologische Laboraufgaben bewältigen würden. Virologen erwarteten 40 Prozent, Superforecaster 16,2 Prozent. Im kontrollierten Versuch schafften es jedoch nur 5,2 Prozent mit Sprachmodell und Internetzugang, gegenüber 6,6 Prozent mit Internetzugang allein. Ein Leistungsvorteil durch das Sprachmodell war damit nicht zu beobachten, das Experiment war allerdings klein.

Auch die Verbreitung selbstfahrender Autos könnten Experten überschätzt haben. Ihr Median für den Anteil autonomer Fahrten an US-Fahrdienstfahrten 2027 lag bei 7,3 Prozent, verglichen mit einer LLM-Projektion von 2,5 Prozent. Ob die Prognosen zu Wirtschaftswachstum, Beschäftigung oder großen KI-Schäden zutreffen, lässt sich laut FRI bisher nicht belastbar beurteilen.

Die Befragten korrigieren ihre Wirkungserwartungen unterdessen nach oben. Bei Personen, die an beiden Erhebungen teilnahmen, stieg binnen neun Monaten die mittlere zugewiesene Wahrscheinlichkeit für KI als "Technologie des Jahrhunderts" bei Experten von 31 auf 36 Prozent und bei Superforecastern von 28 auf 35 Prozent.

FRI will Prognosen mit schnelleren Methoden ergänzen

Das FRI plant mehrere methodische Anpassungen. Künftig soll eine Teilstichprobe hervorgehoben werden, die bis 2040 sehr schnellen KI-Fortschritt erwartet. Außerdem sollen kontinuierlich aktualisierte LLM-Prognosen parallel veröffentlicht werden. Laut ForecastBench erreichen einige Modelle bei bestimmten Fragetypen inzwischen das Niveau von Superforecastern. Das Institut will zudem besonders treffsichere Teilnehmende im LEAP-Panel identifizieren und deren Prognosen hervorheben, sobald ausreichend Daten vorliegen.

Das FRI weist allerdings auf eine wichtige methodische Einschränkung hin: Unterschätzungen werden sichtbar, sobald ein beobachteter Wert eine Prognose überholt. Überschätzungen lassen sich dagegen erst nach Ablauf der jeweiligen Frist bestätigen. Die Zwischenbilanz begünstigt deshalb strukturell den Nachweis von Unterschätzungen. Zudem basieren einige vorläufige Bewertungen auf LLM-Projektionen, die ihrerseits spekulativ sind und auf später verfügbaren Informationen beruhen.