Auch der chinesische Tech-Konzern Tencent zeigt, dass er große Logikmodelle trainieren kann, die mit OpenAIs Produkten mithalten können.
Das Modell wurde wie die Reasoning-Modelle der Wettbewerber durch umfangreiches Reinforcement Learning optimiert. Laut Tencent flossen 96,7 Prozent der Rechenleistung des Post-Trainings in RL, das sich auf reine Logikfähigkeiten und die Angleichung an menschliche Präferenzen konzentrierte.
In verschiedenen Benchmarks zeigt Hunyuan-T1 starke Leistungen: Bei MMLU-PRO, einem Test für Wissen aus 14 Fachgebieten, erreicht es mit 87,2 Punkten den zweiten Platz hinter OpenAIs o1. Im GPQA-diamond Test für wissenschaftliches Reasoning erzielt es 69,3 Punkte.
Besonders stark ist das Modell laut Tencent in der Mathematik: Beim MATH-500 Benchmark erreicht es 96,2 Punkte und liegt damit knapp hinter Deepseek-R1. Auch in anderen Tests wie LiveCodeBench (64,9 Punkte) und ArenaHard (91,9 Punkte) zeigt das Modell gute Leistungen.
Tencent setzte beim Training auf einen Curriculum-Learning-Ansatz, bei dem die Schwierigkeit der Aufgaben schrittweise erhöht wurde. Zusätzlich implementierte das Unternehmen ein Selbstbelohnungssystem: Eine frühere Version des Modells bewertete die Ausgaben der neuen Version, um diese kontinuierlich zu verbessern.
Die erstmals für ein LRM eingesetzte Transformer-Mamba-Architektur soll laut Tencent besonders effizient bei der Verarbeitung langer Texte sein. Unter gleichen Bedingungen sei die Dekodiergeschwindigkeit doppelt so hoch wie bei herkömmlichen Modellen.
Das Modell ist in der Tencent-Cloud verfügbar. Eine Demo gibt es bei Hugging Face.
Zuletzt hat mit Baidu ein weiterer chinesischer Technologieriese ein LRM auf o1-Niveau vorgestellt. Baidu strebt mittelfristig wie Deepseek eine Open-Source-Strategie an. Der KI-Investor und ehemalige Google-China-Chef Kai-Fu Lee sieht in Deepseek und Co. eine existenzielle Bedrohung für OpenAI.
Benchmarks sind relativ
Offen ist weiter die Qualität der Benchmarks, die womöglich die Unterschiede zwischen den Modellen nicht mehr ausreichend sichtbar machen. Vor kurzem hatte Google DeepMind mit BIG-Bench Extra Hard (BBEH) einen neuen, deutlich anspruchsvolleren Benchmark vorgestellt, nachdem aktuelle Spitzenmodelle bei älteren Tests bereits über 90 Prozent Genauigkeit erreichten.
In diesem neuen Benchmark zeigten sich auch bei den besten Modellen noch erhebliche Schwächen - das beste Reasoning-Modell o3-mini (high) von OpenAI erreichte nur 44,8 Prozent Genauigkeit. Allerdings schaffte das gehypte Deepseek-R1 nur rund sieben Prozent.
Grundsätzlich können Benchmark-Ergebnisse von den Erfahrungen in der Praxis abweichen. Da an den Benchmark-Ergebnissen Geld hängt, optimieren die KI-Teams auf diese Ergebnisse hin. Die Praxis zeigt, dass gerade bei chinesischen Modellen Fehler auftreten können, wie chinesische Schriftzeichen in englischen Antworten.
