Wahre Künstliche Intelligenz braucht ein Milliarden-Budget - oder doch nicht?
Kurz & Knapp
- Die KI-Gemeinschaft ist geteilter Meinung darüber, was den KI -Fortschritt 2025 vorantreiben wird. LLM-Skeptiker wie Gary Marcus prognostizieren bescheidene Erträge aus KI-Modellen und warnen davor, dass die viel gepriesenen KI-"Agenten" aufgrund von Zuverlässigkeitsproblemen nicht halten werden, was sie versprechen.
- Der KI-Forscher François Chollet meint, dass das Problem nicht durch mehr Rechenleistung und Daten gelöst werden kann. Seiner Meinung nach könnte eine KI mit nur einer Million Dollar Ausbildungskosten entwickelt werden.
- Toby Pohlen von xAI argumentiert jedoch, dass die Beweise auf die Notwendigkeit einer massiven Skalierung hindeuten. Auch Forschende von OpenAI vertreten diese Ansicht und setzen sie mit den neuen o-Modellen in die Tat um.
Das KI-Jahr 2025 beginnt, wie es 2024 endete: gespalten.
Der LLM-Skeptiker Gary Marcus glaubt nicht, dass wir in diesem Jahr eine AGI sehen werden und der Profit aus KI-Modellen bescheiden bleiben wird, wenn überhaupt. KI-"Agenten" würden 2025 "endlos gehypt", seien aber weit davon entfernt, zuverlässig zu sein.
"OpenAI wird weiterhin Produkte Monate und vielleicht Jahre im Voraus ankündigen, bevor sie ausgereift und zu einem erschwinglichen Preis weit verbreitet sind", schreibt Marcus.
François Chollet, Entwickler des AGI-Benchmarks, in dem OpenAIs o3 Ende 2024 so gut abgeschnitten hat, suggeriert, dass reine Skalierung von Datenmenge und Rechenleistung weiter nicht der entscheidende Faktor für Intelligenz ist. Wenn man Intelligenz tatsächlich verstehe, könne man sie mit einem Budget von einer Million Dollar entwickeln, einschließlich des Trainings, so Chollet.
Andere, wie Toby Pohlen, früher Deepmind, jetzt Gründungsmitglied von Elon Musks xAI, weisen in die entgegengesetzte Richtung: Chollets Sichtweise, so Pohlen, sei lange Zeit die vorherrschende Meinung bei Deepmind gewesen, aber die Beweise hätten die Hypothese bisher nicht gestützt.
Auch Forschende von OpenAI vertreten diese Ansicht und setzen sie mit den neuen o-Modellen in die Tat um. Aber selbst der massive Supercomputer von xAI, der bis Ende 2024 auf 200.000 Nvidia-GPUs anwachsen soll, hat Musks Versprechen der "weltweit leistungsfähigsten KI nach allen Metriken" bisher nicht erfüllt.
Tim Dettmers von Allen AI skizzierte kürzlich drei mögliche Wege: die traditionelle Skalierung von Rechenzentren (die noch etwa zwei Jahre lang möglich ist), die dynamische Skalierung (die entweder zu spezialisierten oder flexiblen Modellen führt) und die Wissensdestillation (die möglicherweise ganz anderen Regeln folgt als andere Skalierungsansätze).
Letztlich sieht Dettmers jedoch einen "perfekten Sturm" heraufziehen - eine Kombination aus physikalischen Grenzen und abnehmenden Erträgen, die das Ende der Skalierungsära bedeuten könnte.
Neue Skalierung, gleiche Debatte
Die Debatte erstreckt sich auch auf die neue Test-Time-Compute-Skalierung, den Ansatz hinter OpenAIs o-Modellen. Obwohl vielversprechend, deuten die hohen Kosten für den Betrieb von o3 bei Benchmarks wie ARC darauf hin, dass wir eine Herausforderung bei der Skalierung gegen eine andere eintauschen.
Es ist nicht nur eine akademische Debatte. Die in die Höhe schnellenden Bewertungen von Big-Tech- und KI-Unternehmen basieren auf dem Versprechen, dass Skalierung funktioniert und gleichbedeutend mit Fortschritt ist.
Wenn die Skalierungsskeptiker Recht haben, stehen wir nicht nur vor einer technischen Sackgasse, sondern möglicherweise auch vor einer massiven Korrektur der Tech-Bewertungen, die Schockwellen durch die Finanzmärkte senden könnte.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.