Eine Analyse von Epoch AI zeigt, dass KI-Trainingsläufe mit bis zu 2e29 FLOP bis zum Ende des Jahrzehnts technisch machbar sein könnten. Stromversorgung und Chipproduktion gelten als die größten Hürden.
Laut einer Studie des Forschungsunternehmens Epoch AI könnten KI-Trainingsläufe mit bis zu 2e29 FLOPs (Floating Point Operations) bis 2030 technisch machbar sein. Dies würde bedeuten, dass ein KI-Labor bis zum Ende des Jahrzehnts ein Modell trainieren könnte, das GPT-4 in Bezug auf die Rechenleistung um ein ähnliches Maß übertrifft, wie GPT-4 seinerseits GPT-2 übertrifft - also um das 10 000-fache.
Die Forscher untersuchten vier potenzielle Flaschenhälse für das Hochskalieren von KI-Trainingsläufen: Stromversorgung, Chipproduktionskapazität, Datenknappheit und die sogenannte "Latenzwand", eine fundamentale Geschwindigkeitsgrenze aufgrund unvermeidbarer Verzögerungen bei KI-Berechnungen.
Stromversorgung und Chipproduktion gelten als die größten Hürden. Laut der Studie könnten Trainingsläufe bis 2030, die von einer lokalen Stromversorgung unterstützt werden, wahrscheinlich 1 bis 5 GW Leistung benötigen. Geografisch verteilte Trainingsläufe hingegen könnten eine Versorgung von 2 bis 45 GW zusammenbringen.
Die Chipproduktion ist durch begrenzte Kapazitäten für fortschrittliches Packaging und Hochbandbreitenspeicher eingeschränkt. Die Forscher schätzen, dass es bis 2030 genügend Fertigungskapazität geben wird, um 100 Millionen H100-äquivalente GPUs für das KI-Training zu produzieren. Das würde ausreichen, um einen 9e29-FLOP-Trainingslauf zu ermöglichen.
Datenknappheit
Datenknappheit stellt sich als die unsicherste Beschränkung heraus: Würde sich der aktuelle Trend fortsetzen, liefen KI-Labore in eine „Daten-Wand“ für Textdaten in etwa fünf Jahren. Multimodale Daten aus Bild, Video und Audio könnten die Skalierung moderat unterstützen und die verfügbaren Trainingsdaten verdreifachen. Synthetische Datengenerierung durch KI-Modelle könnte dies noch erheblich steigern, ist aber mit hohen Rechenkosten verbunden.
Die "Latenzwand" erweist sich als ferne, aber zu beachtende Hürde. Sie könnte durch komplexere Netzwerktopologien, reduzierte Kommunikationslatenzen oder aggressivere Skalierung der Batch-Größe überwunden werden. Insgesamt deuten die Ergebnisse darauf hin, dass KI-Labore bis zum Ende dieses Jahrzehnts mit einer Geschwindigkeit von 4x pro Jahr skalieren können.
Das stellt jedoch große Herausforderungen dar, die angegangen werden müssen, um den Fortschritt aufrechtzuerhalten. Sollten tatsächlich KI-Trainingsläufe in diesem Ausmaß stattfinden, wäre dies von enormer Bedeutung. KI könnte Investitionen von Hunderten Milliarden Dollar anziehen und zum größten technologischen Projekt der Menschheitsgeschichte werden. Übersetzt sich diese schiere Größe in mehr Leistung und Allgemeingültigkeit, könnten wir bis zum Ende des Jahrzehnts ähnlich große Fortschritte in der KI erleben wie seit Beginn des Jahrzehnts.
