Das einfache Hochskalieren von Sprachmodellen stößt an Grenzen. Führende KI-Labore setzen daher nun auf "test-time compute" - mehr Rechenleistung beim Einsatz der Modelle statt beim Training.
Wie Reuters unter Berufung auf Gespräche mit einem Dutzend KI-Forschern und Investoren berichtet, setzen führende KI-Unternehmen künftig verstärkt auf "test-time compute" statt auf immer größere Modelle. Das Potenzial des reinen Datentrainings immer größerer Modelle sei ausgereizt.
Laut Reuters berichten drei mit der Situation vertraute Quellen von Verzögerungen und enttäuschenden Ergebnissen. Die sogenannten "Training Runs" zur Entwicklung dieser Modelle verschlingen zweistellige Millionenbeträge und sind aufgrund der Komplexität der Systeme anfällig für Hardware-Ausfälle.
Erst nach monatelangem Training zeigt sich, ob ein Modell die erwartete Leistung erbringt. Ein möglicher Grund für die Stagnation bei der Skalierung ist der Mangel an qualitativ hochwertigen Trainingsdaten und allgemein das Wissen, das sich aus diesen Daten für ein KI-Modell ableiten lässt.
Erst vor wenigen Tagen berichtete The Information, dass OpenAIs nächstes großes Sprachmodell "Orion" kaum Verbesserungen gegenüber GPT-4o aufweist. Auch Google soll mit seinem Modell Gemini 2.0 mit ähnlichen Problemen zu kämpfen haben. Anthropic soll die Entwicklung der Version 3.5 seines Flaggschiffmodells Opus auf Eis gelegt haben. (Update: Anthropic-CEO Dario Amodei sagt: „Das Ziel ist es, die Kurve zu verschieben, und dann wird es irgendwann ein Opus 3.5 geben.“)
KI-Branche laut Entwickler-Ikone zurück im "Zeitalter der Entdeckungen"
"Die 2010er Jahre waren das Zeitalter der Skalierung, jetzt sind wir wieder im Zeitalter der Entdeckungen", sagt OpenAI-Mitbegründer Ilya Sutskever gegenüber Reuters. Es sei jetzt wichtig, "die richtige Sache" zu skalieren.
Sutskever, der inzwischen das KI-Labor Safe Superintelligence (SSI) leitet, war einst selbst ein Verfechter des "Bigger is Better"-Ansatzes und macht ihn durch die GPT-Modelle bekannt. Er war als Chefwissenschaftler eine prägende Figur hinter OpenAIs schnellen KI-Fortschritten.
Anlässlich der Finanzierungsrunde seines Start-ups SSI sagte er, sein Ziel sei es, "das Thema Skalierung anders anzugehen als OpenAI". Da Sutskever OpenAI erst im Mai verlassen hat, müsste er über o1 Bescheid wissen - es sei denn, OpenAI hat nach seinem Weggang eine Strategieänderung vorgenommen.
"Test-time compute": KI-Modelle bekommen mehr Zeit zum Nachdenken
Die neue Hoffnung der Branche heißt "test-time compute": Statt die Modelle immer weiter aufzublähen, sollen sie mehr Zeit zum "Nachdenken" bekommen. Das neue o1-Modell von OpenAI folgt diesem Prinzip.
Das Ziel sind KI-Systeme, die nicht nur Wahrscheinlichkeiten berechnen, sondern tatsächlich Probleme Schritt für Schritt durchdenken. Anstatt sofort eine Antwort zu geben, generiert das Modell mehrere Lösungsmöglichkeiten, bewertet diese in Echtzeit systematisch und wählt den besten Lösungsweg aus.
OpenAI-Chef Sam Altman sagte Anfang November, dass seine Firma o1 und dessen Nachfolger priorisieren würde. Andere führende KI-Labore wie Anthropic, xAI, Meta und Google DeepMind arbeiten laut Reuters und anderen Medien ebenfalls an ähnlichen Ansätzen.
Auch die Entwicklung von LLMs wird voraussichtlich weitergehen, wenngleich die Leistungssprünge immer kleiner werden. Denn in der Praxis könnten beide Methoden kombiniert werden, um ein optimales Kosten-Nutzen-Verhältnis zu erzielen. OpenAIs o1 ist etwa besser in Mathematik, schreibt aber beim Schreiben von Texten liegt GPT-4o bei geringerem Ressourcenverbrauch knapp vorn.
Nvidias Monopol bei KI-Grafikkarten könnte bröckeln
Der Übergang zu "test-time compute" könnte eine Herausforderung für Nvidias Monopolstellung bei Grafikkarten darstellen. Die Dominanz von Nvidia beruht insbesondere auf den massiven Trainingsclustern, die für das Training großer Sprachmodelle benötigt werden.
Bei reinen Inferenzanwendungen, wie sie bei "test-time compute" im Vordergrund stehen, gibt es mehr Chip-Konkurrenz, etwa durch Spezialchips wie Groq und andere Anbieter. Aber auch die Karten von Nvidia sind für diesen Zweck geeignet.
