Das KI-Jahr 2025 beginnt, wie es 2024 endete: gespalten.
Der LLM-Skeptiker Gary Marcus glaubt nicht, dass wir in diesem Jahr eine AGI sehen werden und der Profit aus KI-Modellen bescheiden bleiben wird, wenn überhaupt. KI-"Agenten" würden 2025 "endlos gehypt", seien aber weit davon entfernt, zuverlässig zu sein.
"OpenAI wird weiterhin Produkte Monate und vielleicht Jahre im Voraus ankündigen, bevor sie ausgereift und zu einem erschwinglichen Preis weit verbreitet sind", schreibt Marcus.
François Chollet, Entwickler des AGI-Benchmarks, in dem OpenAIs o3 Ende 2024 so gut abgeschnitten hat, suggeriert, dass reine Skalierung von Datenmenge und Rechenleistung weiter nicht der entscheidende Faktor für Intelligenz ist. Wenn man Intelligenz tatsächlich verstehe, könne man sie mit einem Budget von einer Million Dollar entwickeln, einschließlich des Trainings, so Chollet.
Andere, wie Toby Pohlen, früher Deepmind, jetzt Gründungsmitglied von Elon Musks xAI, weisen in die entgegengesetzte Richtung: Chollets Sichtweise, so Pohlen, sei lange Zeit die vorherrschende Meinung bei Deepmind gewesen, aber die Beweise hätten die Hypothese bisher nicht gestützt.
Auch Forschende von OpenAI vertreten diese Ansicht und setzen sie mit den neuen o-Modellen in die Tat um. Aber selbst der massive Supercomputer von xAI, der bis Ende 2024 auf 200.000 Nvidia-GPUs anwachsen soll, hat Musks Versprechen der "weltweit leistungsfähigsten KI nach allen Metriken" bisher nicht erfüllt.
Tim Dettmers von Allen AI skizzierte kürzlich drei mögliche Wege: die traditionelle Skalierung von Rechenzentren (die noch etwa zwei Jahre lang möglich ist), die dynamische Skalierung (die entweder zu spezialisierten oder flexiblen Modellen führt) und die Wissensdestillation (die möglicherweise ganz anderen Regeln folgt als andere Skalierungsansätze).
Letztlich sieht Dettmers jedoch einen "perfekten Sturm" heraufziehen - eine Kombination aus physikalischen Grenzen und abnehmenden Erträgen, die das Ende der Skalierungsära bedeuten könnte.
Neue Skalierung, gleiche Debatte
Die Debatte erstreckt sich auch auf die neue Test-Time-Compute-Skalierung, den Ansatz hinter OpenAIs o-Modellen. Obwohl vielversprechend, deuten die hohen Kosten für den Betrieb von o3 bei Benchmarks wie ARC darauf hin, dass wir eine Herausforderung bei der Skalierung gegen eine andere eintauschen.
Es ist nicht nur eine akademische Debatte. Die in die Höhe schnellenden Bewertungen von Big-Tech- und KI-Unternehmen basieren auf dem Versprechen, dass Skalierung funktioniert und gleichbedeutend mit Fortschritt ist.
Wenn die Skalierungsskeptiker Recht haben, stehen wir nicht nur vor einer technischen Sackgasse, sondern möglicherweise auch vor einer massiven Korrektur der Tech-Bewertungen, die Schockwellen durch die Finanzmärkte senden könnte.
