Der DGX Spark ist Nvidias kleinster KI-Rechner und soll große Modelle auf dem Schreibtisch ausführbar machen. Erste Tests zeigen ein gemischtes Bild.
Nvidia vermarktet den neuen DGX Spark als den "kleinsten KI-Supercomputer der Welt". Das kompakte System kostet knapp 4.000 US-Dollar und richtet sich nicht an Gamer, sondern an Entwickler, Forscher und Unternehmen, die große KI-Modelle lokal betreiben wollen – also ohne Cloud.
Der DGX Spark ähnelt optisch einer Miniaturversion der großen DGX-Systeme und greift deren Gestaltung auf, bis hin zu den goldfarbenen Seitenwänden. Nvidia-CEO Jensen Huang hat kürzlich das erste Exemplar symbolisch an Elon Musk überreicht haben – ähnlich wie 2016 beim allerersten DGX-1 für OpenAI.
Kompakter Rechner mit 128 GB gemeinsamem Speicher
Im Inneren arbeitet Nvidias neuer GB10-Chip. Er basiert auf der Grace-Blackwell-Architektur, kombiniert 20 Arm-Kerne (10 Cortex-X925 und 10 Cortex-A725) mit einer Blackwell-GPU und wird im 3-nm-Prozess von TSMC gefertigt. CPU und GPU sind über NVLink C2C direkt verbunden.
Der Speicher ist der zentrale Punkt: 128 GB LPDDR5X mit 273 GB/s Bandbreite bilden einen gemeinsamen Pool, der sowohl von CPU als auch GPU genutzt wird. Dadurch können laut Nvidia Modelle mit bis zu 200 Milliarden Parametern (bei 4-Bit-Inferenz) oder etwa 70 Milliarden Parametern (beim Feintuning) im lokalen Betrieb laufen.
Das System verfügt über 6.144 CUDA-Cores, 192 Tensor-Cores der fünften Generation sowie einen theoretischen FP4-Durchsatz von 1 PetaFLOP. Dazu kommen eine 4-TB-NVMe-SSD, vier USB-C-Ports, HDMI, 10-Gigabit-Ethernet und zwei QSFP56-Anschlüsse für 200-Gigabit-Netzwerke mit RDMA-Unterstützung.
Zudem lassen sich die DGX Spark-Geräte über 200-Gigabit-Leitungen zu Mini-Clustern verbinden.
Leistung: kein Rennwagen, aber zuverlässig
In Tests von The Register zeigte sich, dass der Spark nicht auf reine Geschwindigkeit ausgelegt ist. Er kann größere Modelle ausführen als jede aktuelle Consumer-GPU, arbeitet aber langsamer.
Beim Feintuning eines Llama-3.2-Modells mit drei Milliarden Parametern benötigte der Spark etwa 90 Sekunden pro Million Token, etwa doppelt so lang wie eine RTX 6000 Ada, die allerdings mit nur 48 GB VRAM schnell an ihre Grenzen kommt.
Bei der Bildgenerierung mit dem Modell FLUX.1 Dev erzeugte der Spark ein Bild in rund 97 Sekunden, während die RTX 6000 Ada dafür 37 Sekunden benötigte. Dafür liegt liegt der Stromverbrauch des Sparks laut Tests bei rund 40 bis 45 Watt im Leerlauf und knapp 200 Watt unter Last - die RTX 6000 Ada benötigt alleine 300 Watt,
Für Sprachmodelle wie Llama.cpp und TensorRT-LLM lag die Tokenrate zwischen 14 und 49 Token pro Sekunde, abhängig von Modellgröße und Batchverarbeitung.
Das vorinstallierte DGX OS basiert auf Ubuntu 24.04, ergänzt um CUDA, Docker, Treiber und Management-Tools. Über das Programm Nvidia Sync lässt sich der Spark remote steuern, auch via VPN oder SSH. Damit können Anwender Weboberflächen oder Entwicklungsumgebungen aus der Ferne bedienen.
Konkurrenz: Mac Studio, Strix Halo und Jetson Thor
Die wohl größten Konkurrenten sind Apples Mac Studio mit M4-Chip und AMDs kommende Strix-Halo-Systeme. Beide bieten ähnliche Speicherkapazitäten, unterscheiden sich aber im Software-Ökosystem. Der DGX Spark nutzt CUDA und greift auf jahrzehntelange Optimierung im Nvidia-Stack zurück, während Apple auf Metal und AMD auf ROCm setzt.
Interessant ist auch der interne Vergleich: The Register weißt auf Nvidias Jetson Thor Developer Kit hin, ebenfalls Blackwell-basiert, das doppelte FP4-Leistung und 128 GB Speicher bei ähnlichem Preis bietet. Allerdings richtet sich Thor an Robotik- und Embedded-Anwendungen, während der DGX Spark klar als Entwicklerplattform ausgelegt ist.
KI-Arbeitsstation zum Mitnehmen?
ServeTheHome bezeichnet den DGX Spark als „Game-Changer für lokale KI-Entwicklung“. Durch den hohen Speicher lassen sich große Modelle ohne Cloud betreiben, etwa für Forschung, Datenanalyse oder interne Unternehmensanwendungen. Für Gaming und Multimedia ist das System dagegen ungeeignet.
The Register kommt zu einem etwas nüchterneren Ergebnis: Der DGX Spark sei nicht für maximale Leistung gebaut, sondern dafür, „alles gut genug“ zu machen. Für viele Anwendungsfälle sei das genau die richtige Balance.
Wie groß diese Zielgruppe ist und ob die nicht lieber auf Alternativen zugreift, die teilweise deutlich günstiger sind oder mehr Funktionen abseits reiner KI-Anwendungen bieten, wird sich zeigen - und davon abhängen ob AMD in der Software aufholen kann. Der verbaute Chip wird außerdem wohl bald auch in Windows-PCs auftauchen.
