LLMs can't jump. Die Mathematiker Timothy Gowers und Peter Sarnak schreiben großen Sprachmodellen zwar bedeutende mathematische Fähigkeiten zu, sehen aber Grenzen bei wirklich neuen Ideen. Gowers argumentiert, aktuelle Modelle seien stark darin, bekannte Methoden zu kombinieren und viele Suchpfade auszuprobieren. Was ihnen fehle, sei die Intuition für die wenigen fruchtbaren Wege in einem riesigen Suchraum. Sarnak sieht es ähnlich: Eine KI könne aus vorhandener Theorie Resultate ableiten, scheitere aber daran, aus einer elementaren Frage heraus selbst jene Abstraktionen und Theorien zu entwickeln, auf denen große Beweise beruhen.
Zu einem vergleichbaren Schluss kam der DeepMind-Forscher Tom Zahavy. In seinem Positionspapier "LLMs can't jump" nennt er den Engpass "manipulative Abduktion": das Erfinden neuer Grundannahmen, für die es keine sprachliche Vorlage gibt. Weltmodelle könnten einen Ausweg bieten. Die Aussagen reihen sich in eine größere Debatte ein, ob LLMs wirklich vielseitiger werden oder vor allem spezialisierter auf Benchmarks und bekannte Lösungsräume.
