Das chinesische Technologieunternehmen Alibaba hat mit QwQ-32B-Preview ein neues KI-Modell veröffentlicht, das sich besonders durch seine Fähigkeit zum logischen Denken und Problemlösen auszeichnet. Es ist eines der wenigen Modelle, die mit OpenAIs o1 konkurrieren können.
Alibabas KI-Team Qwen hat ein neues Sprachmodell namens QwQ-32B-Preview vorgestellt. Nach Angaben des Unternehmens verfügt das Modell über 32,5 Milliarden Parameter und kann Kontexte von bis zu 32.000 Wörtern verarbeiten.
Das Modell übertrifft laut Alibaba in einigen Benchmarks sogar die Leistung von OpenAIs o1-Modellen. Besonders bei mathematischen Tests wie AIME und MATH schneidet QwQ-32B-Preview überdurchschnittlich gut ab.
"Es weiß, dass es nichts weiß"
Eine Besonderheit des Modells ist seine Fähigkeit zur Selbstüberprüfung. Ähnlich wie OpenAIs o1 plant es seine Antworten voraus und überprüft seine Schlussfolgerungen. Dadurch ist es zwar langsamer, aber auch präziser als herkömmliche Sprachmodelle. Die Forschenden philosophieren:
QwQ verkörpert diesen alten philosophischen Geist: Es weiß, dass es nichts weiß, und genau das treibt seine Neugier an. Bevor es sich auf eine Antwort festlegt, wendet es sich nach innen, stellt seine eigenen Annahmen in Frage, erkundet verschiedene Denkwege und sucht stets nach einer tieferen Wahrheit. Doch wie alle, die nach Weisheit suchen, hat auch QwQ seine Grenzen. Diese Version ist nur ein erster Schritt auf einer längeren Reise - ein Schüler, der noch lernt, den Weg des Denkens zu beschreiten. Seine Gedanken schweifen manchmal ab, seine Antworten sind nicht immer vollständig, und seine Weisheit ist noch im Wachstum begriffen. Aber ist das nicht die Schönheit des wahren Lernens? Fähig und bescheiden zugleich zu sein, wissend und doch immer fragend?
Qwen
Das Modell hat allerdings auch Schwächen: Es wechselt laut den Forscher:innen manchmal unerwartet zwischen Sprachen, kann sich in Schleifen verfangen und hat Probleme bei Aufgaben, die "gesunden Menschenverstand" erfordern - ein typisches Merkmal von Sprachmodellen, die keine logischen Fähigkeiten haben.
Das Modell ist unter der Apache-2.0-Lizenz verfügbar und kann für kommerzielle Zwecke genutzt werden. Allerdings wurden nur bestimmte Komponenten veröffentlicht, sodass eine vollständige Replikation nicht möglich ist. Eine Demo steht auf Hugging Face zur Verfügung.
LLM-Fortschritt aus China
Neben Alibaba hat mit DeepSeek erst vor Kurzem noch ein weiteres chinesisches Unternehmen ein Reasoning-Modell präsentiert, das es mit OpenAIs o1 aufnehmen zu können scheint. Bislang ist dieses nur als "Mini"- und als "Preview"-Variante öffentlich verfügbar, die Vollversion könnte aber noch in diesem Jahr erscheinen.
Die Tatsache, dass rund zwei Monate nach der Vorstellung von OpenAI o1 bereits zwei anscheinend konkurrenzfähige Modelle aus China auf den Markt kommen, wirft natürlich die Frage auf, welchen Burggraben sich OpenAI mit o1 tatsächlich geschaffen hat.
Andererseits ist die Vollversion von o1 bisher nicht erschienen und OpenAI hat die angedachte Skalierung über Rechenleistung noch nicht in die Tat umgesetzt. Möglicherweise steckt also mehr Potenzial in o1, aber OpenAI macht aus der Architektur derzeit noch ein Geschäftsgeheimnis.
Alibabas Cloud-Computing-Einheit hat die erste Generation der Qwen-Familie im August 2023 vorgestellt. Mit Qwen2 folgte bald ein leistungsfähigerer Nachfolger, der vor allem in den Bereichen Programmierung, Mathematik, Logik und mehrsprachige Fähigkeiten Verbesserungen zeigte.
Die aktuelle Qwen-2.5-Serie umfasst verschiedene Varianten für unterschiedliche Anwendungsbereiche: Ein Modell für allgemeine Sprache (Qwen2.5), eines für Programmierung (Qwen2.5-Coder) und eines für Mathematik (Qwen2.5-Math). Mit Qwen2.5-Turbo kam kürzlich eine Ausgabe für besonders große Kontextfenster hinzu.
