DiffusionGemma: Googles offenes Sprachmodell generiert Text in Blöcken

Das Modell hat insgesamt 26 Milliarden Parameter, nutzt pro Schritt aber nur einen Teil davon: 3,8 Milliarden. Möglich macht das eine Mixture-of-Experts-Architektur, bei der mehrere spezialisierte Teilnetze nebeneinander existieren und je nach Eingabe nur die passenden aktiviert werden. Quantisiert, also mit reduzierter Ausgabequalität, passt das Modell laut Google in die 18 GB Videospeicher dedizierter High-End-Consumer-GPUs. Es baut auf der Gemma-4-Familie auf und übernimmt das Diffusionsverfahren aus Googles früherer Forschung zu Gemini Diffusion.

Schnell durch bessere GPU-Auslastung

Nvidia erklärt den Geschwindigkeitsvorteil mit der Auslastung der Hardware. Bei autoregressiven Modellen ist die Inferenz im Einzelnutzerbetrieb häufig durch die Speicherbandbreite limitiert. Die Rechenwerke der GPU sind die meiste Zeit unbeschäftigt und warten auf Daten aus dem Speicher. Fachsprachlich heißt das memory-bound. DiffusionGemma verarbeitet dagegen bis zu 256 Tokens parallel und verschiebt den Engpass stärker in Richtung Rechenleistung (compute-bound), was GPUs besser auslastet.

Nvidia nennt rund 1.000 Tokens pro Sekunde auf einer H100, wenn nur eine einzelne Anfrage bearbeitet wird, 150 Tokens pro Sekunde auf dem Deskside-System DGX Spark und bis zu 2.000 Tokens pro Sekunde auf der DGX Station. Auf der GeForce RTX 5090 spricht Google von mehr als 700 Tokens pro Sekunde. Im lokalen Einzelnutzerbetrieb sei das Modell damit auf dedizierten GPUs rund viermal schneller als ein vergleichbares autoregressives Modell.

Den Effekt knüpft Google ausdrücklich an dedizierte Beschleuniger. Auf Architekturen mit gemeinsam genutztem Speicher wie Apple Silicon, die bei der Inferenz oft selbst durch die Speicherbandbreite limitiert sind, dürfte der Vorsprung gegenüber autoregressiven Modellen geringer ausfallen.

Im Cloud-Serving mit vielen parallelen Anfragen kippt der Vorteil. Autoregressive Modelle lasten die Hardware dort ohnehin gut aus, weshalb DiffusionGemma laut Google in diesem Szenario sogar höhere Kosten verursachen kann.

Geringere Qualität, dafür neue Anwendungsfelder

Den Geschwindigkeitsgewinn bezahlt DiffusionGemma mit niedrigerer Ausgabequalität. Google empfiehlt für Anwendungen mit hohen Qualitätsansprüchen weiterhin die regulären Gemma-4-Modelle und positioniert DiffusionGemma als Werkzeug für Forscher und Entwickler, die mit lokalen, schnellen Workflows experimentieren.

Stärken sieht Google bei Aufgaben, die nicht von links nach rechts funktionieren. Weil das Modell den gesamten Block gleichzeitig betrachtet, kann jedes Token bei der Generierung auf alle anderen Tokens im Block zugreifen, auch auf die später folgenden. Klassische Sprachmodelle können nur nach hinten schauen.

Davon profitierten laut Google etwa das nachträgliche Einfügen von Text in bestehende Absätze, das Vervollständigen von Lücken in Programmcode oder strukturierte Daten wie Aminosäuresequenzen und mathematische Graphen. Als Beispiel verweist Google auf ein Finetuning von Unsloth, bei dem DiffusionGemma Sudoku löst, eine Aufgabe, mit der autoregressive Modelle Schwierigkeiten haben, weil jeder Eintrag von späteren Einträgen abhängt.

Offen verfügbar mit breiter Tool-Unterstützung

Die Modellgewichte stehen unter Apache-2.0-Lizenz auf Hugging Face bereit. DiffusionGemma läuft ab dem ersten Tag mit gängigen Inferenz-Bibliotheken wie Hugging Face Transformers, vLLM (mit Integrations-Support von Red Hat) und MLX. Für das Finetuning verweist Google auf das eigene JAX-Toolkit Hackable Diffusion sowie auf Unsloth und das Nvidia NeMo Framework. Unterstützung für llama.cpp soll folgen.

Nvidia hat das Modell für RTX 5090 und 4090 quantisiert und für die Server-Architekturen Hopper und Blackwell optimiert, einschließlich DGX Spark und DGX Station für lokale Deskside-Setups. Verfügbar ist es auch über die Gemini Enterprise Agent Platform Model Garden und über Nvidia NIM.

Google hat außerdem einen DiffusionGemma Developer Guide veröffentlicht, und Maarten Grootendorst hat einen visuellen Guide zusammengestellt, der die Funktionsweise des Modells erklärt.

Gemini Diffusion als Vorläufer

Bereits zuvor hatte Google DeepMind mit Gemini Diffusion eine erste experimentelle Demo eines textbasierten Diffusionsmodells gezeigt. DeepMind nannte damals Geschwindigkeiten von 1.479 Tokens pro Sekunde. In Benchmarks lag Gemini Diffusion etwa auf dem Niveau von Gemini 2.0 Flash-Lite.

Den parallelen Diffusionsansatz verfolgt auch das Start-up Inception, dessen Mercury 2 Anfang 2026 als nach eigenen Angaben erstes diffusionsbasiertes Reasoning-Modell erschien.