Diffusionsmodell iLLaDA: Bytedance-Forscher fordern die Wort-für-Wort-Logik von Sprach-KI heraus
Forscher der Renmin University und von Bytedance haben mit iLLaDA ein 8B-Sprachmodell vorgestellt, das anders funktioniert als ChatGPT. Es schließt auf der Basisebene zu Qwen2.5 auf, bleibt im Feintuning aber zurück.
Fast alle bekannten KI-Sprachmodelle wie GPT, Claude oder Qwen erzeugen Text autoregressiv: Wort für Wort, von links nach rechts, jedes neue Token hängt nur von den vorhergehenden ab. Diffusions-Sprachmodelle gehen anders vor. Sie starten mit einer Sequenz aus Platzhaltern, den maskierten Tokens, und verfeinern diese in mehreren Durchläufen parallel, ähnlich wie Bildmodelle aus Rauschen ein Motiv formen. Dabei dürfen alle Positionen einander gleichzeitig berücksichtigen, also bidirektional arbeiten.
iLLaDA ist kein Einzelfall, sondern Teil einer breiteren Bewegung, in der auch Google mitmischt. Im Juni 2026 veröffentlichte Google Deepmind DiffusionGemma. Das Modell generiert Text rund viermal schneller per Diffusion, schneidet bei Benchmarks wie MMLU und Code aber schlechter ab als das gleich große autoregressive Gemma 4, weshalb Google es für latenzarme Anwendungen statt für qualitätskritische Produktion empfiehlt.
Hier zeigt sich der zentrale Unterschied. DiffusionGemma wurde aus dem Gemma-4-Backbone abgeleitet, ein 25-Milliarden-Parameter-Mixture-of-Experts, der nur die Generierungsmethode tauscht und auf Tempo setzt. iLLaDA, kurz für "improved LLaDA", verfolgt das Gegenteil: ein dichtes 8B-Modell, von Grund auf trainiert, mit Fokus auf Qualität.
Die Frage dahinter lautet, ob ein neu aufgebautes Diffusionsmodell überhaupt mit autoregressiven Modellen mithalten kann. Ein direkter Zahlenvergleich beider Modelle ist allerdings kaum möglich, da Google teils andere und härtere Benchmark-Varianten nutzt und DiffusionGemma in einer anderen Gewichtsklasse spielt.
Was iLLaDA leistet
Das Team trainierte iLLaDA mit 12 Billionen Tokens vor, gegenüber 2,3 Billionen beim Vorgänger LLaDA, und feintunte zwölf Epochen lang. Laut dem Paper verbessert sich iLLaDA-Base deutlich gegenüber LLaDA, etwa um 21,6 Punkte beim Reasoning-Test BBH. Im Schnitt erreicht es 63,9 Punkte und liegt damit knapp vor dem autoregressiven Qwen2.5 7B (63,3).
| iLLaDA 8B | LLaDA 8B | Dream 7B | Qwen2.5 7B | |
|---|---|---|---|---|
| Model | Diffusion | Diffusion | Diffusion | AR |
| Training tokens | 12T | 2.3T | 18T + 0.6T | 18T |
| General Tasks | ||||
| MMLU | 74.8 | 65.9 | 69.5 | 71.9 |
| BBH | 71.3 | 49.7 | 57.9 | 63.9 |
| ARC-C | 60.8 | 45.9 | 59.8 | 51.5 |
| Hellaswag | 76.6 | 70.5 | 73.3 | 79.0 |
| Mathematics & Science | ||||
| GSM8K | 81.9 | 70.3 | 77.2 | 78.9 |
| Math | 38.4 | 31.4 | 39.6 | 41.1 |
| Code | ||||
| HumanEval | 50.0 | 35.4 | 57.9 | 56.7 |
| MBPP | 57.8 | 40.0 | 56.2 | 63.6 |
| Average | 63.9 | 51.1 | 61.4 | 63.3 |
Tabelle: Ergebnisse des Basismodells
Aufschlussreich ist der Vergleich mit dem konkurrierenden Diffusionsmodell Dream 7B. Dieses wurde nicht neu trainiert, sondern aus einem fertigen Qwen2.5 weiter-finetuned. iLLaDA schlägt Dream im Schnitt dennoch (63,9 zu 61,4), obwohl es nicht von der Vorarbeit eines starken autoregressiven Modells profitiert. Dream behält nur bei den Programmiertests knapp die Oberhand.
Beim Instruct-Modell bleibt jedoch eine Lücke: iLLaDA-Instruct kommt auf 67,1 Punkte, Qwen2.5 7B Instruct auf 77,1, primär bei Mathematik und Code. Die Autoren führen das auf das zusätzliche Reinforcement-Learning-Alignment bei Qwen2.5 zurück, das bei iLLaDA fehlt. Im Anhang räumen sie zudem ein, dass das Modell bei schweren Aufgaben in Denkschleifen geraten kann.
| iLLaDA 8B | LLaDA 8B | Dream 7B | Qwen2.5 7B | |
|---|---|---|---|---|
| Model | Diffusion | Diffusion | Diffusion | AR |
| General Tasks | ||||
| MMLU | 71.6 | 65.5 | 67.0 | 76.6 |
| MMLU-Pro | 52.3 | 37.0 | 43.3 | 56.3 |
| MMLU-Redux | 76.4 | 68.9 | 76.3 | 75.7 |
| Mathematics & Science | ||||
| GSM8K | 89.0 | 77.5 | 81.0 | 91.6 |
| Math | 56.7 | 42.2 | 39.2 | 75.5 |
| Code | ||||
| HumanEval | 65.9 | 49.4 | 55.5 | 84.8 |
| MBPP | 58.0 | 41.0 | 58.8 | 79.2 |
| Avg. | 67.1 | 54.5 | 60.2 | 77.1 |
Tabelle: Ergebnisse des Instruct-Modells
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenDer Rest ist für Abonnenten.
Jetzt Abo abschließen.
- Zugriff auf alle THE DECODER Artikel.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: “KI Radar” – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.