Meta baut den weltweit schnellsten KI-Supercomputer. Der soll Metas KI-Forschung und Metaverse-Entwicklung beschleunigen.
Der Supercomputer hört auf den Namen AI Research SuperCluster oder kurz: RSC. Der Superrechner wird bereits von Meta eingesetzt und nach Ende der zweiten Bauphase Mitte 2022 soll RSC der weltweit schnellste auf Künstliche Intelligenz spezialisierte Supercomputer werden.
Der Bau begann Anfang 2020. Die Infrastruktur des Supercomputers wurde von Grund auf neu gestaltet: von den Kühlsystemen und der Energieversorgung über das Netzwerk bis hin zur Verkabelung.
Das Ziel ist, KI-Modelle mit mehr als einer Billion Parameter und Datensätzen zu trainieren, die bis zu ein Exabyte groß sind. Das entspricht einem 36.000 Jahre langen hochwertigen Video, schreibt Meta.
RSC: Gigantische KI-Trainingskapazitäten
Nach Abschluss der zweiten Bauphase wird der Supercomputer auf 16.000 GPUs zugreifen können und Daten im Umfang von 16 Terabyte pro Sekunden verarbeiten können. Zum Vergleich: Microsofts KI-Supercomputer, der für das Training von GPT-3 eingesetzt wurde, kann auf 10.000 GPUs zugreifen.
Laut ersten Benchmarks laufen Computer-Vision-Workflows zwanzig Mal schneller als auf Metas bisherigem GPU-Cluster und große Sprachmodelle können drei Mal so schnell trainiert werden, schreibt das Unternehmen.
Dauerte es früher neun Wochen, ein Sprachmodell mit Dutzenden Milliarden Parametern zu trainierten, dauert diese Aufgabe mit RSC noch drei Wochen. Das Ziel ist, Sprachmodelle mit mehreren Billionen Parametern zu trainieren. Zum Vergleich: GPT-3 kommt auf 175 Milliarden Parameter.
Ein KI-Supercomputer, viele Anwendungen
Der Supercomputer dient vielen Zwecken: Er soll Metas eigene KI-Forschung in Bereichen wie verkörperlichter, egozentrischer und multimodaler KI beschleunigen, die Content-Moderation auf Plattformen wie Facebook und Instagram durch schnellere und genauere Auswertung von Bildern, Videos und Texten verbessern, komplexere Sprachmodelle für Übersetzungen und Spracherkennung trainieren sowie Fortschritte bei Augmented-Reality-Features wie Objekterkennung ermöglichen, die wichtig sein werden bei der Entwicklung von AR-Brillen.
"Wir hoffen, dass RSC uns dabei helfen wird, völlig neue KI-Systeme zu entwickeln, die zum Beispiel Sprachübersetzungen in Echtzeit für große Gruppen von Menschen, die alle eine andere Sprache sprechen, ermöglichen, damit sie nahtlos an einem Forschungsprojekt zusammenarbeiten oder gemeinsam ein AR-Spiel spielen können", schreibt Meta.
"Letztendlich wird die mit RSC geleistete Arbeit den Weg zur Entwicklung von Technologien für die nächste große Computerplattform ebnen – das Metaverse, in dem KI-gesteuerte Anwendungen und Produkte eine wichtige Rolle spielen werden."
