Kleines Mathe-Modell soll zeigen, dass sich Reasoning auf wenige Parameter verdichten lässt

Ein chinesisches Sprachmodell mit nur drei Milliarden Parametern erreicht bei Mathematik- und Programmieraufgaben teils das Niveau von Modellen, die hundertfach größer sind. Die Forscher leiten daraus eine These über die Struktur von KI-Fähigkeiten ab.

Der Betreiber der chinesischen Plattform Weibo hat ein kleines Sprachmodell veröffentlicht, das bei anspruchsvollen Mathematik- und Coding-Aufgaben mit den derzeitigen Spitzenmodellen mithält. Laut technischem Bericht kommt VibeThinker-3B auf Wettbewerbsaufgaben wie dem AIME26 auf das Niveau von DeepSeek V3.2 und Kimi K2.5. Beide Modelle besitzen 200- bis 333-mal mehr Parameter.

Sina Weibo positioniert das Modell als Versuch, herauszufinden, wie viel Rechenkapazität ein Modell tatsächlich benötigt, um in der Spitzenklasse mitzuspielen. Vorgänger war das im November 2025 vorgestellte VibeThinker-1.5B. Mit der neuen Version geht das Team einen Schritt weiter und stellt die Frage, ob ein wirklich kleines Modell echte Spitzenleistung erreichen kann, nicht nur "gut für seine Größe".

Stark bei Logik, schwach bei Faktenwissen

Die Antwort der Forscher fällt in zwei Richtungen aus. Bei strukturierten Aufgaben mit klar prüfbaren Lösungen, etwa Mathematik-Olympiaden oder Programmieraufgaben, erreicht VibeThinker-3B die Leistung von Modellen wie GLM-5 oder Gemini 3 Pro. Beim Programmier-Benchmark LiveCodeBench übertrifft es alle anderen Modelle unter 20 Milliarden Parametern.

Bei Aufgaben, die breites Faktenwissen verlangen, sieht das anders aus. Auf dem wissensintensiven Benchmark GPQA-Diamond bleibt das Modell deutlich hinter den großen Konkurrenten zurück.

Um auszuschließen, dass die Ergebnisse auf Training mit den Benchmark-Daten beruhen, ließ das Team das Modell auf LeetCode-Programmierwettbewerben antreten, die zwischen Ende April und Ende Mai 2026 stattfanden, also nach Abschluss des Trainings: VibeThinker-3B löste hier 123 von 128 Aufgaben im ersten Anlauf. Damit liegt das Modell vor GPT-5.2, Qwen3-Max, Kimi K2.5 und Claude Opus 4.6, und nur knapp hinter GPT-5.3-Codex, Gemini 3.1 Pro und Gemini 3 Flash.

Aufgebaut auf einem Alibaba-Modell

Wichtig für die Einordnung: VibeThinker-3B ist kein von Grund auf neu trainiertes Modell. Als Basis dient Qwen2.5-Coder-3B von Alibaba. Der eigentliche Beitrag von Sina Weibo steckt im Post-Training, also in dem, was nach dem generischen Vortraining mit vielen Daten passiert. Genau dort liegt laut Bericht der Hebel, der ein 3B-Modell in die Nähe der Großen bringt.

Das Post-Training läuft in mehreren Stufen ab. Zuerst lernt das Modell per überwachtem Finetuning eine breite Palette an Aufgaben, von Mathematik über Code bis zu allgemeinem Dialog, bevor es gezielt auf besonders schwere, langschrittige Denkaufgaben getrimmt wird.

Darauf folgt bestärkendes Lernen, nacheinander für Mathematik, Programmierung und MINT-Fächer, dann eine Selbst-Distillation, die die in den einzelnen Phasen gewonnenen Fähigkeiten in einem Modell bündelt. Ein abschließender Schritt sorgt für zuverlässige Prompttreue.

Im Finetuning baut das Team also bewusst eine möglichst große Vielfalt an Lösungswegen auf. Im bestärkenden Lernen werden dann die tragfähigen verstärkt. Die Leistung kommt nach dieser Logik aus der Trainingsmethode, der Datenqualität und verlässlichen Prüfsignalen statt aus mehr Parametern.

Eine These über die Architektur von KI-Können

Aus diesen Ergebnissen leiten die Autoren eine Hypothese ab, die sie "Parametric Compression-Coverage Hypothesis" nennen. Verschiedene KI-Fähigkeiten sind unterschiedlich aufgebaut und benötigen daher unterschiedlich viele Parameter.

Logisches Schlussfolgern, etwa eine Mathematikaufgabe Schritt für Schritt zu lösen, beruhe auf wenigen wiederkehrenden Mustern wie Suchen, Bedingungen prüfen, Fehler korrigieren und Zwischenergebnisse kombinieren. Dieses Können lasse sich in einen kompakten Kern komprimieren. Weltwissen funktioniere anders. Wer offene Wissensfragen zu allen möglichen Themen beantworten will, benötigt breite Abdeckung, also viele Parameter, in denen viele Fakten gespeichert sind.

Daraus folgt für das Team eine Neubewertung kleiner Modelle. Sie seien keine Sparversionen für günstige Inferenz, sondern ein eigenständiger Forschungspfad parallel zur klassischen Skalierungslogik. Wo Aufgaben verifizierbar sind und eine klare Lösungsstruktur haben, sei die Parameterzahl offenbar nicht mehr der entscheidende Engpass.

VibeThinker-3B steht offen auf Hugging Face und GitHub zur Verfügung.

Dass kleine Modelle in eng umrissenen Aufgaben zu deutlich größeren Systemen aufschließen, zeigt sich zuletzt häufiger. Im April übertraf Alibabas Qwen3.6-27B seinen 15-mal größeren Vorgänger in allen Coding-Benchmarks, und das Falcon H1R 7B aus Abu Dhabi erreichte nach Herstellerangaben das Niveau zwei- bis siebenmal größerer Modelle. Dass kleine Modelle beim mehrstufigen Schlussfolgern grundsätzlich an Grenzen stoßen, hatten frühere Untersuchungen zu deren Logiklücke noch nahegelegt. Genau diese Annahme stellen die VibeThinker-Ergebnisse für verifizierbare Aufgaben nun infrage.