Inhalt
newsletter Newsletter

Auch in der sechsten Runde des etablierten KI-Benchmarks MLPerf dominiert Nvidia mit der zwei Jahre alten A100-GPU. Doch die Konkurrenz schläft nicht.

Anzeige

Der Benchmark MLPerf für Künstliche Intelligenz wird seit 2018 von MLCommons geleitet. Der Test soll einen transparenten Vergleich verschiedener Chip-Architekturen und Systemvarianten bei KI-Berechnungen ermöglichen.

Zu den teilnehmenden Unternehmen zählen Chip-Hersteller wie Nvidia, Google, Graphcore oder Intels Habana Labs sowie Server-Hersteller wie Inspur, Fujitsu oder Lenovo. Am diesjährigen MLPerf-Trainingsbenchmark 2.0 nahmen insgesamt 24 Unternehmen mit ihren Produkten teil.

Nvidias Hardware dominiert die MLPerf-Einreichungen. | Bild: Nvidia

Letztes Jahr schlug ein Graphcore IPU-POD16 mit 16 MK2000-Chips das erste Mal ein Nvidia DGX A100 640 System im Training eines ResNet-50-Modells - um 60 Sekunden. Nvidia hielt den Vergleich jedoch für unangemessen, da das eigene System lediglich acht Chips verbaut hat. So zeigte Nvidia im MLPerf Training 1.1. die beste Pro-Chip-Leistung.

Anzeige
Anzeige

MLPerf Training 2.0: Nvidia gehören 90 Prozent

Auch im diesjährigen Benchmark dominieren Nvidia-Systeme: Von allen Einreichungen im Benchmark sind 90 Prozent auf Nvidias KI-Hardware aufgebaut. Die restlichen drei Teilnehmer sind Googles TPUv4, Graphcores neue BOW-IPU und Intel Habana Labs Gaudi-2-Chip.

Alle Nvidia-Systeme setzen auf die zwei Jahre alte Nvidia A100 Tensor Core GPU in der 80 Gigabyte-Variante und nehmen an allen acht Trainingsbenchmarks im geschlossenen Wettbewerb teil. Google nimmt lediglich am RetinaNet- und Mask R-CNN-Benchmark teil, Graphcore und Habana Labs lediglich am BERT- und RestNet-50-Benchmark.

Nvidia nimmt an allen Benchmarks teil und kann durch seine Supercomputer-Architektur punkten. | Bild: Nvidia

Laut Nvidia behalte die A100 zudem ihre Führungsposition in einem Leistung-pro-Chip-Vergleich und sei in sechs der acht Tests am schnellsten.

Nvidia sieht sich in der Per-Chip-Performance weiter vorn. Die Benchmarks geben dem Unternehmen recht. | Bild: Graphcore

Seit Beginn der ersten Tests 2018 habe Nvidias KI-Plattform durch den Sprung von V100 auf A100 sowie zahlreichen Software-Verbesserungen die Trainingsleistung um den Faktor 23 gesteigert, so das Unternehmen.

Nvidia sieht einen der größten Vorteile der eigenen Plattform in ihrer Vielfältigkeit: Selbst verhältnismäßig simple KI-Anwendungen wie per Spracheingabe Fragen zu einem Bild zu stellen, benötigten mehrere KI-Modelle.

Empfehlung

Entwickler:innen müssten diese Modelle schnell und flexibel entwerfen, trainieren, einsetzen und optimieren können. Daher seien die Vielfältigkeit von KI-Hardware - also die Fähigkeit, jedes Modell in MLPerf und darüber hinaus auszuführen - und eine hohe Leistung entscheidend, um reale KI-Produkte zu entwickeln.

Nvidia stellt zudem heraus, als einziges Unternehmen reale Performance in Supercomputer-Konfigurationen zeigen zu können. Das sei wichtig, um große KI-Modelle wie GPT-3 oder Megatron Turing NLG zu trainieren.

Graphcore zeigt Leistungssprung und Kooperationsbereitschaft

Der britische Chip-Hersteller Graphcore geht das erste Mal mit der neuen BOW-IPU ins Rennen. Mit der besseren Hardware und Softwareverbesserungen erreicht Graphcore im ResNet-50-Benchmark eine 26 bis 31 Prozent schnellere Trainingszeit, im BERT-Benchmark sind es im Schnitt sogar 36 bis 37 Prozent - je nach System.

Graphcore verbessert mit der Bow IPU und Softwareverbesserungen die BERT-Performance. | Bild: Graphcore

Das erste Mal nimmt auch ein externes Unternehmen mit einem Graphcore-System am Benchmark teil. Baidu reicht BERT-Werte für ein Bow-Pod16 und ein Bow-Pod64 ein und nutzt dabei das in China verbreitete KI-Framework PaddlePaddle.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Die erreichten Werte im Training liegen auf dem Niveau von Grapcores Einreichungen im internen PopART-Framework. Für Graphcore ist das ein Zeichen, dass die eigenen Chips auch in anderen Frameworks gute Ergebnisse erzielen können.

Baidu nimmt das erste Mal mit Graphcore-Pods teil.

Im ResNet-50-Benchmark liegt das neue Bow-Pod16 laut Graphcore deutlich vor Nvidias DGX-A100-Server und biete konkurrenzfähige Preise.

Laut Graphcore sind die eigenen Systeme auf Nvidias Leistungs- und Preisniveau - zumindest in den getesteten Aufgaben. | Bild: Graphcore

Graphcore will nicht direkt mit Nvidia konkurrieren

In einem Presse-Briefing zu den MLPerf-Ergebnissen weist Graphcore auf die unterschiedliche Architektur der eigenen Produkte hin: Nvidia, Google und Intel produzieren ähnliche Vektor-Prozessoren, Graphcores IPU sei hingegen ein Graph-Prozessor.

Die Teilnahme am MLPerf-Benchmark solle daher primär zeigen, dass Graphcores IPU vergleichbare Leistung bringen könne. Die Hardware biete aber noch mehr.

"Für uns wäre es sehr schwierig, nur Nvidia zu kopieren und ihre Produkte zu bauen, denn Nvidia baut bereits die besten GPUs. Jeder, der etwas Vergleichbares baut, wird es sehr schwer haben, sich von Nvidia abzuheben - also machen wir etwas anderes", so Graphcore.

Das Unternehmen arbeite mit unterschiedlichen Kunden zusammen, die eine Vielzahl von Architekturen und Modellen einsetze - darunter solche, die von anderen MLPerf-Teilnehmern noch als experimentell bezeichnet würden, etwa Vision Transformer. Die tauchen nicht im Benchmark auf.

Anzeige
Anzeige
Graphcore nimmt lediglich an zwei geschlossenen Benchmarks teil - doch arbeitet mit Kunden an zahlreichen Modellen. | Bild: Graphcore

Ebenso habe man im offenen MLPerf-Benchmark Ergebnisse eines modifizierten RNN-T-Modells eingereicht, das in Kooperation mit einem Unternehmen entwickelt wurde. Das unterscheide sich aber vom RNN-T-Modell im geschlossenen Wettbewerb. Der als Industriestandard entworfene KI-Benchmark ist zumindest dem britischen Unternehmen wohl noch nicht flexibel genug.

Wesentliches Differenzierungsmerkmal gegenüber Nvidia sei für Graphcore außerdem die aktuell deutlich bessere Leistung in Graph-Neural-Networks, die geringe Batch-Größen nutzen, sowie eine dynamische Speichernutzung benötigten.

Auf das EfficientNet-Modell profitiere von Graphcores IPUs. In beiden Fällen verortet das Unternehmen den Vorsprung gegen GPUs in der anderen Chip-Architektur der eigenen Produkte.

Kürzlich verkündete Graphcore zudem eine Kooperation mit dem deutschen KI-Startup Aleph Alpha.

Alle Ergebnisse und weitere Informationen gibt es auf der Webseite des MLCommons MLPerf-Benchmark.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!