Die neueste Version von Googles experimentellem KI-Modell Gemini 2.0 Flash Thinking erreicht Bestwerte in Mathematik und Wissenschaft und führt nun die Chatbot-Arena an.
Google DeepMind hat eine neue Version seines KI-Modells Gemini 2.0 Flash Thinking veröffentlicht, die deutliche Sprünge in einigen Benchmarks zeigt. Laut der unabhängigen Bewertungsplattform lmarena.ai hat das neue Modell die Spitzenposition in der Chatbot Arena übernommen und konnte sich dabei um 17 Punkte gegenüber dem vorherigen Checkpoint vom Dezember 2024 verbessern. Es zieht damit an OpenAIs GPT-4o und o1, Anthropics Claude 3.5 Sonnet und auch Googles weiteren Gemini-Modellen vorbei.
Die Verbesserungen betreffen fast alle Bereiche: In den Kategorien komplexe Aufgaben, Programmieren und kreatives Schreiben liegt das Modell nun an der Spitze. Lediglich bei der Stilkontrolle - also der Art und Weise, wie die Ausgaben formatiert sind - gibt es noch leichte Schwächen.
Zu den technischen Neuerungen gehören laut Google auch die Ausführung von Code, ein erweitertes Kontextfenster von einer Million Token und eine verbesserte Konsistenz zwischen Gedankenprozessen und Antworten. Insbesondere das deutlich erhöhte Kontextfenster dürfte neue Anwendungsmöglichkeiten für das Modell erschließen.
Google setzt auf jahrelange Erfahrung mit Planungssystemen
Google DeepMind CEO Demis Hassabis betont, dass diese Entwicklung auf mehr als einem Jahrzehnt Erfahrung mit KI-Planungssystemen basiert, die bis zu AlphaGo zurückreicht. Die Kombination dieser bewährten Planungsansätze mit modernen Foundation Models erweise sich als besonders leistungsfähig. Die neue Version zeige deutliche Verbesserungen in Mathematik- und Wissenschaftsbenchmarks.
Our latest update to our Gemini 2.0 Flash Thinking model (available here: https://t.co/Rr9DvqbUdO) scores 73.3% on AIME (math) & 74.2% on GPQA Diamond (science) benchmarks. Thanks for all your feedback, this represents super fast progress from our first release just this past… pic.twitter.com/cM1gNwBoTO
— Demis Hassabis (@demishassabis) January 21, 2025
Vor dieser aktuellen Version hatte Google bereits im Dezember 2024 die erste Version von Flash 2.0 Thinking vorgestellt. Das System macht laut Google seine Gedankenprozesse explizit und wurde darauf trainiert, diese zur Verbesserung seiner Schlussfolgerungen zu nutzen. Auch die erste Version setzte sich bereits an die Spitze.
Während die Chatbot Arena eine höhere Aussagekraft hat als einzelne Benchmarks, sollte die Brauchbarkeit einzelner Modelle immer an eigenen Anwendungsfällen getestet werden.
