Inhalt
summary Zusammenfassung

Intel hat auf der Vision 2024 seinen neuen KI-Beschleuniger Gaudi 3 offiziell vorgestellt.

Anzeige

Nach Angaben des Unternehmens soll Gaudi 3 die Trainingszeit bei Llama2-Modellen mit 7B- und 13B-Parametern sowie beim GPT-3-Modell mit 175B-Parametern im Vergleich zur Nvidia H100 um etwa 50 % verkürzen. Auch beim Inferenzdurchsatz soll Gaudi 3 die GPUs H100 und H200 je nach Modell um durchschnittlich etwa 50 % bzw. 30 % übertreffen.

In der Standardversion verfügt Gaudi 3 über 96 MB integrierten SRAM-Cache mit 12,8 TB/s Bandbreite und 128 GB HBM2e-Speicher mit 3,7 TB/s Spitzenbandbreite. Laut Intel bietet der Chip die doppelte FP8- und die vierfache BF16-Rechenleistung sowie die doppelte Netzwerkbandbreite und die 1,5-fache Speicherbandbreite seines Vorgängers. Der im 5nm-Prozess gefertigte KI-Beschleuniger soll zudem deutlich günstiger sein als Nvidias H100. Allerdings hat die Konkurrenz mit der Blackwell-Architektur bereits ein neues Angebot.

Intel plant offene Plattform für KI

Gaudi 3 soll Unternehmen erlauben, KI-Systeme mit bis zu Zehntausenden Beschleunigern flexibel zu skalieren - von einzelnen Knoten bis hin zu Mega-Clustern. Dabei setzt Intel auf offene, Community-basierte Software und standardisiertes Ethernet-Networking. Ab dem 2. Quartal 2024 ist Gaudi 3 für OEMs wie Dell, HPE, Lenovo und Supermicro verfügbar. Neue Kunden und Partner für den Intel Gaudi Accelerator wie Airtel, Bosch, IBM, NAVER und SAP wurden ebenfalls vorgestellt.

Anzeige
Anzeige

Intel plant zudem zusammen mit Partnern wie SAP, RedHat und VMware eine offene Plattform für Enterprise KI zu schaffen. Ziel ist es, die Einführung von sicheren GenAI-Systemen zu beschleunigen, die auf dem RAG-Ansatz (Retrieval-Augmented Generation) basieren. Dieser ermöglicht es, firmeneigene Datenquellen mit Open-Source-Sprachmodellen zu kombinieren.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Intel hat seinen neuen KI-Beschleuniger Gaudi 3 vorgestellt, der laut Angaben des Unternehmens die Trainingszeit großer Sprachmodelle im Vergleich zu Nvidias GPUs um etwa 50 % verkürzen und beim Inferenzdurchsatz übertreffen soll.
  • Der im 5nm-Prozess gefertigte Chip verfügt über 96 MB integrierten SRAM-Cache, 128 GB HBM2e-Speicher und bietet im Vergleich zum Vorgänger die doppelte FP8- und vierfache BF16-Rechenleistung sowie eine höhere Netzwerk- und Speicherbandbreite.
  • Ab dem 2. Quartal 2024 ist Gaudi 3 für OEMs verfügbar.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!