Zum Zeitpunkt des ersten GPT-4 sah es so aus, als würden KI-Modelle nur einen Trend kennen: immer größer. Doch der Trend hat sich umgekehrt.
Andrej Karpathy, ehemaliger KI-Forscher bei OpenAI und Tesla, geht davon aus, dass der Wettbewerb um immer größere KI-Sprachmodelle in Zukunft in die entgegengesetzte Richtung gehen wird: Künftige Modelle werden seiner Meinung nach kleiner, dafür aber smarter.
In jüngster Zeit haben viele Hersteller kleinere, aber im Vergleich zu den großen Modellen relativ leistungsfähigere und günstige KI-Modelle auf den Markt gebracht, auch OpenAI mit GPT-4o mini.
"Ich wette, dass wir Modelle sehen werden, die sehr gut und zuverlässig 'denken' und sehr, sehr klein sind", sagt Karpathy.
Dass die stärksten Modelle heute so groß sind, liegt laut Karpathy daran, dass das Training noch sehr aufwendig ist: Die Modelle müssen das gesamte Internet auswendig lernen - und seien dabei bemerkenswert gut. Sie könnten etwa kryptologische Hashfunktionen gängiger Zahlen aufsagen oder sich wirklich obskure Fakten merken. LLMs seien beim Auswendiglernen viel besser als Menschen.
Verbesserungen seien deshalb so schwierig, weil das Denken in den Trainingsdaten mit Wissen "verwoben" sei. Deshalb müssen die Modelle erst größer werden, bevor sie kleiner werden können. Sie müssten automatisiert helfen, die Trainingsdaten in ideale synthetische Formate umzuwandeln.
Karpathy prognostiziert auf Basis dieser Annahme eine kontinuierliche Verbesserung: Ein Modell helfe, die Trainingsdaten für das nächste zu generieren, bis man den "perfekten Trainingssatz" habe. Selbst ein heute noch winziges KI-Modell wie GPT-2 mit 1,5 Milliarden Parametern könne dann als "smart" gelten, wenn es mit diesen Superdaten trainiert werde.
Bestimmte Benchmarks könnten dann womöglich schlechter gelöst werden, wie der LLM-Industriestandard MMLU (Massive Multi-task Language Understanding), der viel Wissen abfragt. Dafür könnte das smartere KI-Modell nötiges Wissen verlässlicher abrufen und Fakten verifizieren. Diese beiden Punkte soll gerüchteweise auch OpenAIs KI-Logik-Projekt "Strawberry" adressieren.
Effizient skalieren
OpenAI-Chef Sam Altman äußerte sich in der Vergangenheit ähnlich, als er einerseits das "Ende einer Ära" großer KI-Modelle verkündete und andererseits bestätigte, dass die Datenqualität der entscheidende Erfolgsfaktor für das weitere KI-Training sei - unabhängig davon, ob es sich um reale oder synthetische Daten handele. Die Kernfrage sei, wie KI-Systeme aus weniger Daten mehr lernen können, so Altman.
Von dieser Annahme gingen auch die Microsoft-Forscher bei der Entwicklung der Phi-Modelle aus. Die KI-Forscher von Hugging Face bestätigten diese Hypothese ebenfalls und veröffentlichten einen Datensatz mit qualitativ hochwertigen Trainingsdaten.
Das bedeutet jedoch nicht, dass Skalierung in Zukunft kein Faktor mehr ist. Auch kleine, aber qualitativ hochwertige Modelle könnten von immer mehr, vielfältigeren und qualitativ besseren Daten, mehr Parametern und Skalierung profitieren. Nicht umsonst streben OpenAI und Co. nach immer mehr Rechenleistung.
Der Schritt zurück zu kleineren, effizienteren und qualitativ besseren Modellen im Vergleich zu großen KI-Modellen wäre in diesem Szenario tatsächlich eine Art Konsolidierungsphase, in der das bisher Erreichte konsolidiert und optimiert wird, ein Luftholen vor der nächsten wilden Rechenrunde.
Spätestens das nächste große oder größere KI-Modell von OpenAI dürfte einen deutlichen Fingerzeig geben, wohin die Reise geht.
