Google holt auf: Neue Gemini-Version setzt sich im Chatbot-Vergleich an die Spitze
Die neueste Version von Googles KI-Modell Gemini erzielt Bestwerte in fast allen Testkategorien der Chatbot-Arena und teilt sich nun den Spitzenplatz mit OpenAIs GPT-4o.
Die Testplattform lmarena.ai hat die neueste Version von Googles Sprachmodell Gemini (Exp-1114) mit über 6.000 Community-Bewertungen evaluiert. Das Modell teilt sich nun den ersten Platz in der Gesamtwertung mit OpenAIs GPT-4o.
Konkret führt Gemini-Exp-1114 die Ranglisten in den Kategorien Mathematik, Bildverarbeitung und kreatives Schreiben an. Bei Programmieraufgaben erreicht das Modell den dritten Platz. Die Vergleichstests zeigen: Gemini gewinnt 50 Prozent der direkten Vergleiche gegen GPT-4o, 56 Prozent gegen o1-preview und 62 Prozent gegen Claude 3.5 Sonnet.
Ohne Stil-Bonus rutscht Gemini Exp-1114 auf Platz 4
Die gute Positionierung ändert sich jedoch, sobald die Stilkontrolle mit einberechnet wird. Die Kategorie "Style Control" bewertet die reine inhaltliche Leistung der KI-Modelle, bereinigt um Stilfaktoren wie Textlänge oder Formatierung. Dabei werden Effekte wie die Anzahl der Überschriften, Aufzählungszeichen oder die Gesamtlänge der Antworten herausgerechnet.
Diese Methode soll verhindern, dass Modelle allein durch längere oder optisch aufbereitete Antworten besser bewertet werden. In dieser bereinigten Wertung schneidet Gemini schlechter ab und landet nur auf Platz vier - ein Hinweis darauf, dass ein Teil seines guten Gesamtergebnisses auf Stilfaktoren zurückzuführen ist.
Die experimentelle Gemini-Version ist über Googles AI Studio Plattform öffentlich zugänglich.
Gemini 2 oder nur ein kleines Update?
Gemini wurde im Dezember 2023 vorgestellt und erhielt im Februar 2024 ein Update auf Version 1.5. Die aktuelle Pro-Variante verarbeitet bis zu eine Million Token, eine Beta-Version bis zu zehn Millionen Token. Das System verarbeitet Text, Bilder, Audio, Video und Code. Google nutzt Gemini in verschiedenen Produkten wie Workspace, der Google-Suche und der Gemini-App.
Gerüchteweise plant Google Gemini 2 noch im Dezember vorzustellen, die Leistung soll jedoch hinter den Erwartungen zurückgeblieben sein. Ob es sich bei der neuen experimentellen Version um eine Variante von Gemini 2 handelt, ist bisher unklar.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.