Inhalt
summary Zusammenfassung

Das chinesische Technologieunternehmen Alibaba hat mit QwQ-32B-Preview ein neues KI-Modell veröffentlicht, das sich besonders durch seine Fähigkeit zum logischen Denken und Problemlösen auszeichnet. Es ist eines der wenigen Modelle, die mit OpenAIs o1 konkurrieren können.

Anzeige

Alibabas KI-Team Qwen hat ein neues Sprachmodell namens QwQ-32B-Preview vorgestellt. Nach Angaben des Unternehmens verfügt das Modell über 32,5 Milliarden Parameter und kann Kontexte von bis zu 32.000 Wörtern verarbeiten.

Das Modell übertrifft laut Alibaba in einigen Benchmarks sogar die Leistung von OpenAIs o1-Modellen. Besonders bei mathematischen Tests wie AIME und MATH schneidet QwQ-32B-Preview überdurchschnittlich gut ab.

Vergleichstabelle: Leistungsbenchmarks von 6 KI-Sprachmodellen in 4 Kategorien (GPQA, AIME, MATH-500, LiveCodeBench) mit Prozentangaben.
Im Vergleich verschiedener Sprachmodelle zeigt sich bei MATH-500 die beste Performance über alle Modelle hinweg.

"Es weiß, dass es nichts weiß"

Eine Besonderheit des Modells ist seine Fähigkeit zur Selbstüberprüfung. Ähnlich wie OpenAIs o1 plant es seine Antworten voraus und überprüft seine Schlussfolgerungen. Dadurch ist es zwar langsamer, aber auch präziser als herkömmliche Sprachmodelle. Die Forschenden philosophieren:

Anzeige
Anzeige

QwQ verkörpert diesen alten philosophischen Geist: Es weiß, dass es nichts weiß, und genau das treibt seine Neugier an. Bevor es sich auf eine Antwort festlegt, wendet es sich nach innen, stellt seine eigenen Annahmen in Frage, erkundet verschiedene Denkwege und sucht stets nach einer tieferen Wahrheit. Doch wie alle, die nach Weisheit suchen, hat auch QwQ seine Grenzen. Diese Version ist nur ein erster Schritt auf einer längeren Reise - ein Schüler, der noch lernt, den Weg des Denkens zu beschreiten. Seine Gedanken schweifen manchmal ab, seine Antworten sind nicht immer vollständig, und seine Weisheit ist noch im Wachstum begriffen. Aber ist das nicht die Schönheit des wahren Lernens? Fähig und bescheiden zugleich zu sein, wissend und doch immer fragend?

Qwen

Das Modell hat allerdings auch Schwächen: Es wechselt laut den Forscher:innen manchmal unerwartet zwischen Sprachen, kann sich in Schleifen verfangen und hat Probleme bei Aufgaben, die "gesunden Menschenverstand" erfordern - ein typisches Merkmal von Sprachmodellen, die keine logischen Fähigkeiten haben.

Das Modell ist unter der Apache-2.0-Lizenz verfügbar und kann für kommerzielle Zwecke genutzt werden. Allerdings wurden nur bestimmte Komponenten veröffentlicht, sodass eine vollständige Replikation nicht möglich ist. Eine Demo steht auf Hugging Face zur Verfügung.

LLM-Fortschritt aus China

Neben Alibaba hat mit DeepSeek erst vor Kurzem noch ein weiteres chinesisches Unternehmen ein Reasoning-Modell präsentiert, das es mit OpenAIs o1 aufnehmen zu können scheint. Bislang ist dieses nur als "Mini"- und als "Preview"-Variante öffentlich verfügbar, die Vollversion könnte aber noch in diesem Jahr erscheinen.

Die Tatsache, dass rund zwei Monate nach der Vorstellung von OpenAI o1 bereits zwei anscheinend konkurrenzfähige Modelle aus China auf den Markt kommen, wirft natürlich die Frage auf, welchen Burggraben sich OpenAI mit o1 tatsächlich geschaffen hat.

Andererseits ist die Vollversion von o1 bisher nicht erschienen und OpenAI hat die angedachte Skalierung über Rechenleistung noch nicht in die Tat umgesetzt. Möglicherweise steckt also mehr Potenzial in o1, aber OpenAI macht aus der Architektur derzeit noch ein Geschäftsgeheimnis.

Empfehlung

Alibabas Cloud-Computing-Einheit hat die erste Generation der Qwen-Familie im August 2023 vorgestellt. Mit Qwen2 folgte bald ein leistungsfähigerer Nachfolger, der vor allem in den Bereichen Programmierung, Mathematik, Logik und mehrsprachige Fähigkeiten Verbesserungen zeigte.

Die aktuelle Qwen-2.5-Serie umfasst verschiedene Varianten für unterschiedliche Anwendungsbereiche: Ein Modell für allgemeine Sprache (Qwen2.5), eines für Programmierung (Qwen2.5-Coder) und eines für Mathematik (Qwen2.5-Math). Mit Qwen2.5-Turbo kam kürzlich eine Ausgabe für besonders große Kontextfenster hinzu.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Alibaba hat mit QwQ-32B-Preview ein neues KI-Modell mit 32,5 Milliarden Parametern vorgestellt, das sich durch logisches Denken und Problemlösen auszeichnet und in einigen Benchmarks sogar OpenAIs o1-Modelle übertrifft.
  • Das Modell verfügt über eine Fähigkeit zur Selbstüberprüfung, indem es seine Antworten vorausplant und Schlussfolgerungen überprüft, was es präziser, aber auch langsamer als herkömmliche Sprachmodelle macht. Schwächen zeigen sich beim Sprachwechsel, in Schleifen und bei Aufgaben, die "gesunden Menschenverstand" erfordern.
  • Neben Alibaba hat auch das chinesische Unternehmen DeepSeek bereits ein "Reasoning-Modell" präsentiert, das mit OpenAIs o1 konkurrieren kann. o1 wurde erst vor rund zwei Monaten vorgestellt.
Jonathan ist Technikjournalist und beschäftigt sich stark mit Consumer Electronics. Er erklärt seinen Mitmenschen, wie KI bereits heute nutzbar ist und wie sie im Alltag unterstützen kann.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!