Deutsches Konsortium veröffentlicht offenes KI-Modell Soofi S für Deutsch und Englisch

Update vom 24. Juli 2026:

Das Konsortium hat Version 3.0 des Pretraining-Reports veröffentlicht und darin einen Kontaminationsvorfall dokumentiert, den die Community nach der ersten Veröffentlichung in den offengelegten Trainingsdaten entdeckt hatte. Betroffen ist der QA-base-Datensatz, der eigentlich nur umformulierte Trainingssplits von 25 Standard-Benchmarks enthalten sollte, also Übungsaufgaben zum Erlernen der Testformate und nicht die Prüfungsfragen selbst. Tatsächlich enthielt er aber auch umformulierte Fragen aus dem Test-Set des Wissenschafts-Benchmarks GPQA samt der GPQA-Diamond-Variante, sowohl auf Englisch als auch maschinell ins Deutsche übersetzt.

Als Ursache nennt der Report eine Eigenheit von GPQA. Der Benchmark besitzt auf Hugging Face kein separates Trainings-Set, sein gesamtes Prüfungsmaterial liegt unter der Standardbezeichnung "train". Weil die Datenpipeline anhand solcher Split-Namen auswählte, gelangte das Prüfungsset in die Übungsaufgaben. Eine daraufhin angestoßene vollständige Prüfung förderte drei weitere Benchmarks mit demselben Muster zutage (TruthfulQA, BLiMP und Inverse Scaling), von denen aber keiner in der Soofi-S-Evaluation verwendet wird.

Als Reaktion hat das Konsortium GPQA ganz aus der Bewertung gestrichen und die Gesamtergebnisse für alle 16 verglichenen Modelle neu berechnet, damit der Vergleich fair bleibt. An der Reihenfolge, welches Modell wie gut abschneidet, ändert sich dadurch nach Angaben der Autoren nichts. Auffällig ist, dass das Problem während des Trainings niemandem auffiel. Das Modell wurde in den betroffenen GPQA-Aufgaben zwar stetig besser, von 32,3 auf 43,4 Punkte, doch dieser Zuwachs lag im normalen Bereich und unterschied sich nicht von den Fortschritten bei anderen Tests. Ein plötzlicher Sprung, der als Warnsignal hätte dienen können, blieb aus. Damit so etwas nicht wieder passiert, gleicht das Team seine Trainingsdaten künftig automatisch mit allen Testfragen ab und stützt sich nicht mehr auf deren oft irreführende Bezeichnungen.

Projektbeteiligte wie Nicolas Flores Herr vom Fraunhofer IAIS werten den Vorgang als Beleg für den offenen Ansatz, weil die Community das Problem nur durch die öffentlich einsehbaren Daten überhaupt finden konnte. Zur Überprüfung stellt das Team nach eigenen Angaben rund 152.000 Einzelergebnisse bereit. Eine zusätzliche Evaluation des Konsortialpartners Ellamind mit eigenen, bewusst zurückgehaltenen Testdaten, die das Modell im Training garantiert nicht gesehen hat, bestätige die Resultate. Der betroffene Anteil mache laut Konsortium nur einen verschwindend kleinen Bruchteil des Gesamtkorpus aus. Die nachtrainierten Instruct- und Reasoning-Varianten befinden sich derzeit im Betatest und sollen in den kommenden Wochen unter einer permissiven Lizenz erscheinen, das größere Modell Soofi L ist bereits im Training.

Update vom 15. Juli 2026:

Nach der Veröffentlichung kam Kritik auf, Soofi S sei gemessen an den klassischen Chinchilla-Skalierungsgesetzen stark "übertrainiert". Diese von Google DeepMind 2022 aufgestellten Gesetze beschreiben, wie man Modellgröße und Trainingsdatenmenge bei festem Rechenbudget optimal ausbalanciert, und nennen als recheneffizientes Optimum ein Verhältnis von rund 20 Token pro Parameter. Soofi S liegt mit etwa 27 Billionen Token bei 30 Milliarden Parametern jedoch bei mehreren Hundert zu eins, und rechnet man nur die pro Token aktiven 3,2 Milliarden Parameter, sogar bei mehreren Tausend zu eins.

Michael Fromm, Teil der technischen Leitung des Projekts, hält dem entgegen, dass sich diese Regeln nicht ohne Weiteres auf Mixture-of-Experts-Architekturen (MoE) übertragen lassen: "Es gibt neue Erkenntnisse aus der Wissenschaft, dass die alten Gesetze  von dichten Modellen nicht mehr aktuell sind für MoE-Architekturen." Der Grund liege in der Bauweise: Weil die einzelnen Experten davon profitierten, dieselben Dokumente zu sehen, seien Wiederholungen in einem großen, besonders hochwertigen Datensatz weniger problematisch als bei dichten Modellen. Als Vergleich verweist Fromm auf Nvidia, das eigene Modelle ebenfalls auf bis zu 25 Billionen Token trainiert habe.

Ursprünglicher Artikel vom 13. Juli 2026:

Soofi S ist eins der ersten großen Sprachmodelle, die komplett auf der Industrial AI Cloud der Deutschen Telekom in München trainiert wurde. Das offene 30B-Modell setzt auf eine sparsame Hybridarchitektur und einen bewusst deutschsprachigen Trainingsmix.

Ein vom KI Bundesverband koordiniertes deutsches Forschungskonsortium hat mit Soofi S 30B-A3B ein offenes Sprachmodell veröffentlicht, das laut dem Pretraining-Report unter den vollständig offenen Modellen die höchsten Werte auf englischen und deutschen Benchmarks erreicht und dabei bisherige Spitzenreiter wie Olmo 3 32B sowie Apertus 70B übertrifft.

Sparsame Architektur für lange Kontexte

Soofi S ist ein sogenanntes Mixture-of-Experts-Modell: Es enthält insgesamt 31,6 Milliarden Parameter, verwendet pro erzeugtem Token aber nur rund 3,2 Milliarden davon. Die Rechenkosten liegen damit näher an einem 3B-Modell als an einem klassischen 30B-Modell. Das Konsortium übernimmt dabei unverändert die Architektur von Nvidias Nemotron 3 Nano, einer Hybridkonstruktion aus Mamba-2-Layern und klassischen Attention-Layern.

Der entscheidende Unterschied zu üblichen Transformern liegt im Speicherverhalten. In klassischen Modellen wächst der sogenannte KV-Cache, der bisherige Tokens für die Aufmerksamkeitsberechnung zwischenspeichert, linear mit der Kontextlänge. Bei langen Eingaben und vielen parallelen Anfragen wird das Nachladen dieses Caches zum Flaschenhals. Nur 6 der 52 Layer in Soofi S unterhalten überhaupt einen solchen Cache.

Die praktische Folge misst der Report am Durchsatz beim Generieren: Bei einem Kontext von 40.000 Token und 32 parallel bearbeiteten Anfragen erzeugt Soofi S pro GPU rund achtmal mehr Token pro Sekunde als dichte Modelle im Bereich von 14 bis 24 Milliarden Parametern. Während der Durchsatz bei klassischen Modellen mit wachsendem Kontext deutlich abfällt, bleibt er bei Soofi S von 4.000 bis 256.000 Token nahezu konstant. Ein ähnliches Verhalten zeigt in den Messungen nur Alibabas Qwen3.5 35B-A3B, das ebenfalls auf eine Hybridarchitektur setzt.

Deutsch als bewusster Schwerpunkt

Insgesamt hat das Konsortium etwa 27 Billionen Token verarbeitet, aufgeteilt in drei Phasen. Zunächst lernt das Modell auf rund 20 Billionen Token aus einer breiten Mischung von Web-, Code-, Mathematik- und Fachtexten die sprachlichen Grundlagen. In einer zweiten Phase folgen rund 6 Billionen Token aus besonders hochwertigen Quellen, die die zuvor gelernten Muster gezielt schärfen sollen. Eine dritte, kürzere Phase erweitert schließlich das Kontextfenster durch Training auf sehr langen Dokumenten von bis zu einer Million Token.

Zentral ist der bewusste Fokus auf die deutsche Sprache. In der ersten Phase macht Deutsch 7,2 Prozent des Trainingsmixes aus, in der zweiten Phase steigt der Anteil auf 15,3 Prozent. Im Nemotron-Referenzrezept entfallen insgesamt nur rund 5 Prozent auf alle nicht-englischen Sprachen zusammen.

Als Datenquellen kombiniert das Konsortium deutsche Webtexte aus HPLT, das offen lizenzierte Korpus German Commons, deutsche Anteile aus FinePDFs und FineWiki sowie den kommerziell lizenzierten Genios-Korpus mit 193 Millionen Zeitungsartikeln aus 916 deutschen Publikationen. Ergänzt wird das mit maschinell übersetzten und synthetisch erzeugten deutschen Texten.

Bester offener Wert für Deutsch und Englisch

In der Evaluation gegen 16 andere offene Modelle liegt Soofi S laut Report auf den Aggregat-Werten für Deutsch und Englisch vor allen anderen vollständig offenen Modellen, einschließlich Olmo 3 32B vom Allen Institute for AI und Apertus 70B von ETH und EPFL. Gegen jede europäische souveräne Baseline setzt sich das Modell auf allen deutschen Benchmarks der Suite durch, teils mit zweistelligen Punktabständen.

Bei Code-Benchmarks erreicht Soofi S mit 73,8 Prozent auf HumanEval, 70,2 auf MBPP und 84,2 auf der deutschen MBPP-Variante die besten Werte im Open-Source-Vergleich. Auf INCLUDE-DE, einem Test für Deutschland-spezifisches Regionalwissen, teilt sich Soofi S mit 61,2 Punkten den ersten Platz mit dem größeren Qwen3.5 35B-A3B. Gegenüber der Nemotron-Baseline verbessert das deutsche Datenrezept die Sprachkompetenz um 15,1 Punkte und den Wissenschaftstest GPQA-Diamond um 9,6 Punkte, ohne die englische Leistung zu opfern.

Nicht so gut schneidet Soofi S bei deutscher Wettbewerbsmathematik ab, wo das Modell mit 56 Punkten auf Minerva MATH-DE deutlich hinter Qwen3.5 35B-A3B (76,5) und Gemma 3 27B (65,6) zurückbleibt, sowie die offene Faktenabfrage in NaturalQuestions. Letzteres dürfte mit den nur 3 Milliarden aktiven Parametern zusammenhängen, in denen sich weniger Weltwissen speichern lässt als in einem dichten 27B-Modell.

Beim Long-Context-Test RULER zeigt sich zudem eine Schwäche bei einer speziellen Aufgabe: Das Modell soll häufig vorkommende Wörter aus einem langen Text extrahieren. Jenseits von 32.000 Token Kontext bricht die Trefferrate von Soofi S auf rund 3 Prozent ein, während das vergleichbare Nemotron-Modell noch 60 bis 64 Prozent erreicht. Die Autoren führen das darauf zurück, dass der eigene Long-Context-Trainingsmix zwar viele lange Dokumente enthält, aber keine speziell für solche Extraktionsaufgaben zugeschnittenen synthetischen Daten. Bei den übrigen zwölf RULER-Aufgaben liegen beide Modelle weitgehend gleichauf.

Souveräne Infrastruktur und dokumentierte Offenheit

Der Trainingslauf erfolgte zwischen März und Mai auf bis zu 512 Nvidia-B200-GPUs der Industrial AI Cloud der Deutschen Telekom in München, insgesamt rund 253.000 GPU-Stunden. Die Anlage wird laut Report vollständig mit erneuerbarer Energie betrieben, mit Wasser aus dem Eisbach-Kanal gekühlt und speist Abwärme in das umliegende Tucherpark-Viertel ein. Soofi S war einer der ersten großen Trainingsläufe auf dieser Infrastruktur.

Hinter Soofi steht ein Konsortium aus deutschen Forschungseinrichtungen und Unternehmen, koordiniert vom KI Bundesverband und gefördert vom Bundesministerium für Wirtschaft und Energie im Rahmen des europäischen IPCEI-CIS-Programms. Beteiligt sind unter anderem die Fraunhofer-Institute IAIS und IIS, das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI), die TU Darmstadt, die Universität Würzburg, das L3S Research Center, die Berliner Hochschule für Technik sowie die KI-Unternehmen ellamind und Merantix Momentum. Ziel des Projekts ist der Aufbau einer offenen europäischen KI-Modellfamilie, die auf souveräner Infrastruktur betrieben und in industriellen Anwendungen erprobt werden kann.

Die Forschenden veröffentlichen neben den Gewichten auch ausgewählte Zwischencheckpoints, den vollständigen Trainings- und Evaluationscode sowie eine detaillierte Datenauflistung, die pro Quelle Rohtokenzahl, Epochenanzahl und effektiven Beitrag ausweist. Auch Quellen, die geprüft, aber ausgeschlossen wurden, sind dokumentiert. Damit erfüllt Soofi S nach eigener Angabe die Open Source AI Definition 1.0 der Open Source Initiative.

Ein strengerer Vorschlag für eine europäische Open-Data-Definition, der verlangt, dass jedes einzelne Trainingstoken frei weitergegeben werden darf, wird wegen des kommerziell lizenzierten Genios-Anteils von 1,3 Prozent nicht erreicht. Rund 99 Prozent des Trainingsmixes lassen sich laut Report unabhängig rekonstruieren. Unter welcher Lizenz das Modell erscheint, ist bis jetzt nicht ganz klar.

Wie Michael Fromm, verantwortlich für den Pretraining-Datenmix, auf X schreibt, positioniert sich Soofi S damit zwischen breit multilingualen europäischen Souveränitätsprojekten wie EuroLLM oder Teuken, die viele Sprachen abdecken, und den leistungsstärksten internationalen Open-Weight-Modellen. Für die nächste Phase sucht das Konsortium laut Projektseite Industriepartner, die das Modell in Anwendungen rund um technische Dokumente, Code-Generierung und agentische Systeme erproben.