Inhalt
summary Zusammenfassung

Cerebras, Inflection, Amazon oder Microsoft - alle bauen die nächste Generation von KI-Supercomputern für neue generative KI-Modelle.

Der Einsatz von großen Sprachmodellen und anderen Arten generativer KI nimmt rasch zu. Mit ChatGPT, Bard, Copilot und anderen gibt es Chatbots in fast jedem digitalen Ökosystem. Noch führt GPT-4 das Feld an, doch schon bald könnten fortschrittlichere Modelle diese Position einnehmen. Um diese komplexen KI-Systeme zu trainieren, bauen Technologieunternehmen eine neue Generation von KI-Supercomputern.

Cerebras stellt 2 Exaflop-Supercomputer vor

Ein Beispiel für diese neue Generation ist Cerebras kürzlich vorgestellter Supercomputer Condor Galaxy 1 mit einer Leistung von 2 Exaflops. Er wurde in nur 10 Tagen zusammengebaut und in Betrieb genommen und besteht aus 32 CS-2-Computern. Nach Angaben des Unternehmens ist Condor Galaxy auf dem besten Weg, seine Größe innerhalb der nächsten 12 Wochen zu verdoppeln. Condor Galaxy gehört zu G42, einer Holdinggesellschaft mit Sitz in Abu Dhabi, die neun KI-basierte Unternehmen besitzt, darunter G42 Cloud, einen der größten Cloud-Computing-Anbieter im Nahen Osten.

In den nächsten 18 Monaten plant Cerebras die Installation weiterer Systeme, um eine Gesamtleistung von 36 Exaflops in 9 Installationen zu erreichen. Damit wird Condor Galaxy zu einem der größten Supercomputer für KI-Workloads.

Anzeige
Anzeige

Jeder CS-2 wird von der Waferscale Engine-2 angetrieben, einem KI-spezifischen Prozessor mit 2,6 Billionen Transistoren und 850.000 KI-Kernen auf einem einzigen Siliziumwafer.

Andrew Feldman, CEO von Cerebras, stellte fest, dass "die Zahl der Unternehmen, die neuronale Netzwerkmodelle mit 50 Milliarden oder mehr Parametern trainieren, von zwei im Jahr 2021 auf über 100 in diesem Jahr gestiegen ist".

Der 22.000-GPU-Supercomputer von Inflection AI

Das Start-up Inflection AI setzt wie viele andere auf Nvidia, um einen KI-Supercomputer zu bauen, der von nicht weniger als 22.000 Nvidia H100-GPUs angetrieben wird. Da das Angebot an KI-Chips begrenzt ist, haben die Verbindungen von Inflection als Investitionsziel von Nvidia wahrscheinlich dazu beigetragen, diese große GPU-Zuteilung zu sichern. Das neu gegründete Unternehmen hat vor kurzem 1,3 Milliarden Dollar von Microsoft, Nvidia und anderen Investoren erhalten.

Inflection hat kürzlich sein erstes proprietäres Sprachmodell, Inflection-1, vorgestellt, das mit GPT 3.5, Chinchilla und PaLM-540B vergleichbar sein soll und die "Personal AI" Pi betreibt.

Menschen sollten in der Lage sein, mit Computern zu sprechen und ihnen komplexe Aufgaben zu übertragen, ohne dass sie dafür Code lernen müssen, sagt CEO Mustafa Suleyman, einer der Gründer von DeepMind. Er erwartet in den nächsten fünf Jahren einen Chatbot-Durchbruch, der "eine ganz neue Reihe von Dingen eröffnen wird, die wir im Produktbereich tun können".

Empfehlung

Cloud-Anbieter bieten Zugang zu Nvidia H100-GPUs

Abgesehen von Inflection haben alle großen Cloud-Plattformen neue Instanzen eingeführt, die von Nvidias H100-GPUs angetrieben werden. Amazons AWS hat kürzlich P5-Instanzen eingeführt, die bis zu 20.000 H100-GPUs betreiben können. Ähnliche Hardware ist über Microsoft Azure, Google und Core Weave verfügbar.

Durch den einfachen Zugriff auf skalierbare Ressourcen können Entwickler schnell Prototypen für generative KI-Anwendungen erstellen, da die Trainingszeiten für die H100 GPUs mit ihrer Transformer-Engine drastisch reduziert werden können. Im MLPerf-Benchmark haben Core Weave und Nvidia kürzlich ein GPT-3-Modell mit 175 Milliarden Parametern auf rund 3.500 Grafikprozessoren in weniger als 11 Minuten trainiert.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Die nächste Generation von KI-Supercomputern wird von Unternehmen wie Cerebras und Inflection AI entwickelt, um immer komplexere generative KI-Modelle zu trainieren. Cerebras hat sein 2-Exaflops-System Condor Galaxy 1 vorgestellt.
  • Inflection AI baut einen KI-Supercomputer, der von 22 000 Nvidia H100-GPUs angetrieben wird und sich auf die Generierung und das Verstehen natürlicher Sprache konzentriert. Der CEO von Inflection AI prognostiziert einen Durchbruch der konversationellen KI in den nächsten fünf Jahren.
  • Große Cloud-Plattformen haben neue Instanzen eingeführt, die von Nvidia H100-GPUs angetrieben werden und es Entwicklern ermöglichen, schnell Prototypen für generative KI-Anwendungen zu erstellen und die Trainingszeit für große Sprachmodelle zu reduzieren.
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!