Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Nvidia führt auch den diesjährigen MLPerf Inference Benchmark an. Neue Daten zeigen Leistungssprünge bei Hopper und neuer Hardware.

Im Benchmark MLPerf messen sich Hardwarehersteller und Dienstleister mit ihren KI-Systemen. Der Test wird von MLCommons abgewickelt und zielt auf einen transparenten Vergleich unterschiedlicher Chip-Architekturen und Systemvarianten ab.

Heute hat MLPerf neue Ergebnisse des MLPerf Inference 3.0 Benchmarks veröffentlicht. Neu ist eine Netzwerkumgebung, in der die KI-Leistung verschiedener Systeme unter realistischeren Bedingungen getestet wird: Die Daten werden zu einem Inferenzserver gestreamt. Der Test soll so genauer abbilden, wie Daten im realen Einsatz zum KI-Beschleuniger gelangen und ausgegeben werden, und so Engpässe in Netzwerken aufdecken.

Nvidia Hopper legt im Vergleich zu Vorjahr deutlich zu

Laut Nvidia haben die H100 Tensor Core Grafikprozessoren in DGX H100 Systemen durch Softwareoptimierungen bis zu 54 Prozent mehr Inferenzleistung als im Vorjahr. Dieser Sprung findet sich in der RetinaNet Inferenz, andere Modelle wie BERT mit 99 % Genauigkeit laufen 12 % schneller, ResNet-50 13 % und 3D U-Net, das z.B. in der Medizin eingesetzt wird, 31 % schneller.

Anzeige
Anzeige
Nvidias H100 liefert dieses Jahr durch Softwareoptimierungen eine teilweise deutlich höhere Leistung. | Bild: Nvidia

Bei der Präsentation der Ergebnisse betonte Nvidia, dass man sich klar an der Spitze der Performance sieht, aber auch die ebenso wichtige Führungsposition bei der vielseitigen Einsetzbarkeit der eigenen Architektur. Nvidia ist das einzige Unternehmen, das für alle Aufgaben in MLPerf Inference 3.0 Ergebnisse vorgelegt hat.

Ein Vergleich mit einigen Beschleunigern, die in MLPerf 3.0 teilnahmen. | Bild: Nvidia

Im Vergleich zu einer A100-GPU ist die H100-GPU dank der Transformer-Engine auch deutlich stärker bei der Inferenz von Transformer-Modellen mit hoher Genauigkeit wie BERT 99.9. Hier liefert die H100 eine mehr als viermal so hohe Leistung.

Die Karte verspricht daher große Leistungsgewinne für viele generative KI-Modelle, die etwa Texte, Bilder oder 3D-Modelle generieren.

Neue L4-Karte bis zu 3-mal schneller als Vorgängerin

Neu im Benchmark ist die L4 Tensor GPU von Nvidia, die das Unternehmen erst kürzlich auf der GTC vorgestellt hat. Die Karte ist bereits bei einigen Cloud-Anbietern erhältlich und liefert in den Benchmarks eine 2,2- bis 3,1-fach höhere Inferenzleistung als das Vorgängermodell T4.

Nvidias L4 ist deutlich schneller als die Vorgängerin T4. | Bild: Nvidia

Nvidias Jetson AGX Orin für den Edge ist dank zahlreicher Verbesserungen zudem bis zu 63 Prozent energieeffizienter und bis zu 81 Prozent leistungsfähiger als noch im letzten Jahr.

Empfehlung

Im neu hinzugekommenen Netzwerktest lieferten die DGX A100-Systeme von Nvidia beim BERT-Modell 96 Prozent der maximalen lokalen Leistung - also der Leistung, die das System liefert, wenn das Modell lokal läuft. Laut Nvidia liegt die Ursache für den leichten Leistungsverlust in der Wartezeit der CPUs. Im RestNet-50-Test, der ausschließlich auf GPUs durchgeführt wird, erreichten die DGX-Systeme 100 Prozent der lokalen Leistung.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!