Inhalt
summary Zusammenfassung

Die jüngste Runde des MLPerf Inference Benchmarks wird von Nvidias H200 GPU dominiert - aber die Konkurrenz lässt sich kaum blicken. Statt eines Benchmarks zum Vergleich verschiedener verfügbarer KI-Chips scheint Nvidia eher gegen sich selbst anzutreten.

Anzeige

In den aktuellen MLPerf Inference Benchmarks liegt Nvidia mit seinen Hopper GPUs, insbesondere dem H200 Modell, deutlich vorne. Die H200 hat 76 % mehr HBM3e-Speicher und 43 % mehr Bandbreite als die H100. Die Benchmark-Suite wurde erstmals um Tests mit den großen Modellen Llama 2 70B und Stable Diffusion XL erweitert.

Die speichererweiterten H200-GPUs haben bei ihrem MLPerf-Debüt mit TensorRT-LLM bis zu 31.000 Token/Sekunde erzeugt, ein Rekord beim MLPerf-Benchmark Llama 2. Selbst wenn Nvidias GPUs in der Praxis nur einen Bruchteil dieser Leistung bringen sollten, läge sie immer noch auf dem Geschwindigkeitsniveau von Groq.

In der "Open Division" demonstrierte Nvidia außerdem drei Techniken zur Beschleunigung der Inferenz: Structured Sparsity, Pruning und DeepCache. Sie sollen die Effizienz um bis zu 74 % steigern.

Anzeige
Anzeige

Nvidia gegen Nvidia, Intel macht auch mit

Nvidia war der einzige Hersteller, der in allen Tests Ergebnisse lieferte. Intel beteiligte sich mit Gaudi2 und CPU-Ergebnissen, Google steuerte nur ein TPU v5e Ergebnis bei. Gaudi2 erreichte zwar nicht die Leistung von Nvidia, soll aber laut Intel ein besseres Preis-Leistungs-Verhältnis bieten. Diesen Vorteil wird Intel vermutlich auch mit der nächsten Generation Gaudi3 auszuspielen versuchen. Gaudi3 fehlte allerdings gänzlich - ebenso wie AMDs MI300X, sowie Cerebras Lösung. Qualcomms Cloud AI Karten tauchten zwar auf, konnten aber nicht überzeugen.

Zusammenfassend lässt sich sagen: Der MLPerf-Benchmark wird immer mehr zu einem Nvidia-Benchmark, bei dem das Unternehmen gegen sich selbst antritt. Die anderen Hersteller halten sich zurück - und scheinen dennoch Kunden für ihre KI-Beschleuniger zu finden. Vielleicht ändert sich die Situation im nächsten Jahr, wenn Nvidia seine neue Blackwell-Generation breit ausgerollt hat und die neuen Chips von AMD und Intel im Einsatz sind.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Nvidia dominiert die jüngste Runde des MLPerf Inference Benchmarks mit seinen Hopper GPUs, insbesondere dem H200 Modell, das 76 % mehr HBM3e-Speicher und 43 % mehr Bandbreite als die H100 hat.
  • Die H200-GPU erzielte bei ihrem MLPerf-Debüt einen Rekord von bis zu 31.000 Token/Sekunde, während Nvidia in der "Open Division" drei Techniken zur Beschleunigung der Inferenz demonstrierte, die die Effizienz um bis zu 74 % steigern sollen.
  • Nvidia war der einzige Hersteller, der in allen Tests Ergebnisse lieferte, während Intel mit Gaudi2 und CPU-Ergebnissen teilnahm und Google nur ein TPU v5e Ergebnis beisteuerte. Andere Hersteller wie AMD, Cerebras und Qualcomm hielten sich zurück oder konnten nicht überzeugen.
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!