Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Mit Gemini bietet Google als erstes Unternehmen ein leistungsfähigeres LLM als OpenAIs GPT-4, wenn man den gängigen Benchmarks Glauben schenken darf.

Dass Gemini in der Ultra-Version GPT-4 in 30 von 32 Benchmarks übertrifft, ist aber nicht die große Neuigkeit an Googles LLM-Veröffentlichung. Die große Neuigkeit ist, dass Gemini GPT-4 nur knapp schlägt.

Selbst die kompaktere Gemini-Pro-Variante ist nur auf Augenhöhe mit OpenAIs ein Jahr altem GPT-3.5-Modell. Das wirft die Frage auf: Hat Google es nicht besser hinbekommen - oder geht es nicht viel besser?

Sind Gemini und GPT-4 bereits die Spitze der LLM-Fähigkeiten?

Im Gespräch mit MIT nimmt Pichai dazu Stellung: "Die Gesetze der Skalierung werden weiter greifen", sagt Pichai.

Anzeige
Anzeige

Konkret geht Pichai davon aus, dass KI-Modelle mit zunehmender Größe und Komplexität noch leistungsfähiger und effizienter werden. Google sehe noch "viel Spielraum" bei der Skalierung von Sprachmodellen.

Zudem brauche es neue Benchmarks, die diesen Fortschritt messbar machen. Pichai verweist auf den häufig gemessenen Sprachverständnis-Benchmark MMLU (massive multi-task language understanding), bei dem Gemini erstmals die 90-Prozent-Marke knackt und damit Menschen übertrifft (89,8 %). Noch vor zwei Jahren habe der Standard im MMLU bei 30 bis 40 Prozent gelegen, so Pichai.

Betrachtet man jedoch im technischen Bericht zu Gemini die MMLU-Zahlen, die Google nicht ins Schaufenster stellt, so zeigt sich, dass Google nur bei einer von zwei Prompting-Methoden GPT-4 übertrifft, nämlich der aufwendigeren (CoT@32). Bei der von OpenAI berichteten Prompting-Methode (5-Shot, fünf Beispiele) schneidet Gemini Ultra schlechter als GPT-4 ab.

Bild: Google Deepmind

Das zeigt, wie nah GPT-4 und Gemini in vielen Bereichen tatsächlich beieinander liegen. Auch ältere Sprachmodelle wie PaLM 2 sind im MMLU-Benchmark nicht völlig abgehängt.

Bei vielen aktuellen Benchmarks sei man bereits am Limit, so Pichai. Das wirke sich auch auf die Wahrnehmung des Fortschritts aus. "Es mag nicht nach viel klingen, aber es sind Fortschritte", sagte Pichai.

Empfehlung

In anderen Bereichen ist noch deutlich mehr Luft nach oben, etwa bei der multimodalen Verarbeitung und Bearbeitung von Aufgaben. Damit ist unter anderem die Fähigkeit gemeint, auf ein Bild passend mit Text zu antworten. Hier macht Gemini in den Benchmarks zum Teil große Sprünge von mehr als fünf Prozentpunkten (MMMU).

"Je größer wir die Modelle machen, desto mehr Fortschritte werden wir machen. Wenn ich es in seiner Gesamtheit betrachte, habe ich wirklich das Gefühl, dass wir noch ganz am Anfang stehen", sagt Pichai.

Warten auf GPT-5

Wenn Pichais Prognose zutrifft, bedeutet dies auch, dass Google trotz jahrelanger Investitionen in KI-Forschung und -Entwicklung und trotz gigantischer Forschungs- und Rechenkapazitäten einige Monate gebraucht hat, um seine internen Prozesse und Strukturen so auf die LLM-Skalierung umzustellen, dass es GPT-4 zumindest knapp schlagen konnte. Seit der Veröffentlichung von GPT-4 ist gut ein dreiviertel Jahr vergangen. Die Fusion von Googles KI-Abteilung mit Deepmind dürfte zusätzliche Zeit in Anspruch genommen haben.

OpenAI hatte mit GPT-3 bereits 2020 ein großes einsatzfähiges Sprachmodell auf den Markt gebracht und in den Jahren zuvor entsprechende Strukturen aufgebaut.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Andererseits: Auch Google hatte beispielsweise mit PaLM und Vorgängerprojekten bereits große LLMs vorgestellt. Die Skalierung von Sprachmodellen war für den Konzern also keineswegs neu.

Größere Sprünge erfordern möglicherweise zunächst Fortschritte bei der grundlegenden LLM-Architektur, was mehr Forschungszeit in Anspruch nimmt. Der letzte große Sprung, die Transformer-Architektur, die die Skalierungsprinzipien ermöglichte, die später von OpenAI genutzt wurden, kam von Google.

Das Rennen geht also weiter und die spannende Frage ist nun: Wie schnell und wie stark kann OpenAI mit GPT-5 kontern?

Bisher hieß es von OpenAI offiziell, das nächste große Sprachmodell sei noch weit von der Marktreife entfernt. Zuletzt war durchgesickert, dass GPT-5 bereits Anfang 2024 soweit sein könnte.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Googles Gemini LLM übertrifft OpenAIs GPT-4 in 30 von 32 Benchmarks, aber der Unterschied zwischen den beiden Modellen ist oft minimal, was Fragen über die Leistungsgrenzen von LLMs aufwirft.
  • Google-CEO Sundar Pichai geht davon aus, dass es bei der Skalierung von Sprachmodellen noch Raum für Verbesserungen gibt und weitere Fortschritte erzielt werden, wenn die Modelle größer und komplexer werden.
  • Der Wettlauf zwischen Google und OpenAI geht weiter, wobei sich die Frage stellt, wie schnell und stark OpenAI mit GPT-5 reagieren kann, das Anfang 2024 fertiggestellt werden könnte.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!