Cerebras, Inflection, Amazon oder Microsoft - alle bauen die nächste Generation von KI-Supercomputern für neue generative KI-Modelle.
Der Einsatz von großen Sprachmodellen und anderen Arten generativer KI nimmt rasch zu. Mit ChatGPT, Bard, Copilot und anderen gibt es Chatbots in fast jedem digitalen Ökosystem. Noch führt GPT-4 das Feld an, doch schon bald könnten fortschrittlichere Modelle diese Position einnehmen. Um diese komplexen KI-Systeme zu trainieren, bauen Technologieunternehmen eine neue Generation von KI-Supercomputern.
Cerebras stellt 2 Exaflop-Supercomputer vor
Ein Beispiel für diese neue Generation ist Cerebras kürzlich vorgestellter Supercomputer Condor Galaxy 1 mit einer Leistung von 2 Exaflops. Er wurde in nur 10 Tagen zusammengebaut und in Betrieb genommen und besteht aus 32 CS-2-Computern. Nach Angaben des Unternehmens ist Condor Galaxy auf dem besten Weg, seine Größe innerhalb der nächsten 12 Wochen zu verdoppeln. Condor Galaxy gehört zu G42, einer Holdinggesellschaft mit Sitz in Abu Dhabi, die neun KI-basierte Unternehmen besitzt, darunter G42 Cloud, einen der größten Cloud-Computing-Anbieter im Nahen Osten.
In den nächsten 18 Monaten plant Cerebras die Installation weiterer Systeme, um eine Gesamtleistung von 36 Exaflops in 9 Installationen zu erreichen. Damit wird Condor Galaxy zu einem der größten Supercomputer für KI-Workloads.
Jeder CS-2 wird von der Waferscale Engine-2 angetrieben, einem KI-spezifischen Prozessor mit 2,6 Billionen Transistoren und 850.000 KI-Kernen auf einem einzigen Siliziumwafer.
Andrew Feldman, CEO von Cerebras, stellte fest, dass "die Zahl der Unternehmen, die neuronale Netzwerkmodelle mit 50 Milliarden oder mehr Parametern trainieren, von zwei im Jahr 2021 auf über 100 in diesem Jahr gestiegen ist".
Der 22.000-GPU-Supercomputer von Inflection AI
Das Start-up Inflection AI setzt wie viele andere auf Nvidia, um einen KI-Supercomputer zu bauen, der von nicht weniger als 22.000 Nvidia H100-GPUs angetrieben wird. Da das Angebot an KI-Chips begrenzt ist, haben die Verbindungen von Inflection als Investitionsziel von Nvidia wahrscheinlich dazu beigetragen, diese große GPU-Zuteilung zu sichern. Das neu gegründete Unternehmen hat vor kurzem 1,3 Milliarden Dollar von Microsoft, Nvidia und anderen Investoren erhalten.
Inflection hat kürzlich sein erstes proprietäres Sprachmodell, Inflection-1, vorgestellt, das mit GPT 3.5, Chinchilla und PaLM-540B vergleichbar sein soll und die "Personal AI" Pi betreibt.
Menschen sollten in der Lage sein, mit Computern zu sprechen und ihnen komplexe Aufgaben zu übertragen, ohne dass sie dafür Code lernen müssen, sagt CEO Mustafa Suleyman, einer der Gründer von DeepMind. Er erwartet in den nächsten fünf Jahren einen Chatbot-Durchbruch, der "eine ganz neue Reihe von Dingen eröffnen wird, die wir im Produktbereich tun können".
Cloud-Anbieter bieten Zugang zu Nvidia H100-GPUs
Abgesehen von Inflection haben alle großen Cloud-Plattformen neue Instanzen eingeführt, die von Nvidias H100-GPUs angetrieben werden. Amazons AWS hat kürzlich P5-Instanzen eingeführt, die bis zu 20.000 H100-GPUs betreiben können. Ähnliche Hardware ist über Microsoft Azure, Google und Core Weave verfügbar.
Durch den einfachen Zugriff auf skalierbare Ressourcen können Entwickler schnell Prototypen für generative KI-Anwendungen erstellen, da die Trainingszeiten für die H100 GPUs mit ihrer Transformer-Engine drastisch reduziert werden können. Im MLPerf-Benchmark haben Core Weave und Nvidia kürzlich ein GPT-3-Modell mit 175 Milliarden Parametern auf rund 3.500 Grafikprozessoren in weniger als 11 Minuten trainiert.
