Googles mit Spannung erwartetes KI-Modell Gemini Pro kommt im Chatbot Bard an, wenn auch nur in einer kleineren Version. Mit Ultra stellt Google für Anfang 2024 ein großes Gemini-Modell in Aussicht, das OpenAIs GPT-4 knapp schlagen soll.
Gemini Pro ist laut Google ein Konkurrent für das ein Jahr alte KI-Modell GPT-3.5 von OpenAI. Es soll das OpenAI-Modell in sechs von acht Benchmarks übertreffen. Eine noch kompaktere Version, Nano (1.8B Parameter und 3.25B Parameter), soll für die Entwicklung von Android-Apps optimiert sein. Diese Modelle wurden von den großen Gemini-Modellen destilliert.
Pro und Nano sind ab dem 13. Dezember über die Google Cloud verfügbar und laufen laut Google auf eigenen TPU-KI-Chips. Für die größeren Modelle macht Google keine Parameter-Angabe. Wie die LLMs anderer Hersteller auch, kämpft Google laut eigenen Angaben weiter mit falschen generierten Informationen, sogenannten Halluzinationen.
Die größte Version von Gemini, Ultra, soll OpenAIs GPT-4 in den gängigen Benchmarks für Text- und Bildverständnis sowie Codegenerierung übertreffen. Ultra wird Anfang 2024 veröffentlicht und soll auch in eine "Advanced"-Version des Chatbots Bard (siehe unten) integriert werden.
Die Benchmark-Ergebnisse von Google müssen von unabhängigen, externen Testern bestätigt werden. Weitere Benchmark-Resultate sind bei Deepmind verfügbar.
Die Auswertung einer breiten Palette von Benchmarks zeigt, dass unser leistungsstärkstes Modell Gemini Ultra den Stand der Technik in 30 von 32 Benchmarks übertrifft - insbesondere ist es das erste Modell, das die Leistung eines menschlichen Experten im gut untersuchten MMLU-Benchmark erreicht und den Stand der Technik in jedem der 20 untersuchten multimodalen Benchmarks übertrifft.
Google Deepmind, Technical Report
Gemini ist erwartungsgemäß multimodal, d. h. es kann Text, Bilder, Audio, Video und Code verarbeiten. Gemini bietet zunächst keine Bildgenerierung, aber diese Funktion ist laut technischer Dokumentation vorhanden und soll im Laufe der Zeit eingeführt werden. Gemini kann mit Bildern, mit Text oder mit einer Kombination aus beidem gepromptet werden.
Das folgende Video demonstriert die multimodalen Fähigkeiten von Gemini.
Gemini Pro auf Englisch in Google Bard testen
Google wird Gemini in zwei Phasen in Bard integrieren. Ab heute wird Bard eine speziell angepasste Version von Gemini Pro in englischer Sprache verwenden, die verbesserte Fähigkeiten zum Verstehen, Zusammenfassen, Planen und Programmieren bietet. Gemini Pro in englischer Sprache ist laut Google in mehr als 170 Ländern und Gebieten verfügbar.
Laut Google übertrifft Gemini Pro GPT-3.5 in sechs von acht Benchmarks, darunter Massive Multitask Language Understanding (MMLU) und GSM8K, das mathematische Problemlösungsfähigkeiten auf Grundschulniveau misst. In Blindbewertungen durch unabhängige Drittpersonen wurde Bard laut Google vor ChatGPT als bevorzugter kostenloser Chatbot bewertet.
Die zweite Upgrade-Phase für Bard wird Anfang nächsten Jahres Bard Advanced einführen, mit dem die Nutzer Zugang zu den fortschrittlichsten Modellen und Funktionen erhalten, beginnend mit Gemini Ultra. Es ist nicht bekannt, ob Google dafür eine Gebühr erheben wird, wie OpenAI für ChatGPT Plus.
Im Laufe des nächsten Jahres sollen Gemini-Modelle in weiteren Google-Produkten wie der Suche, den Anzeigen und der Produktivitätsanwendung Workspace zum Einsatz kommen.
Das Nano-Modell für Smartphones soll unter anderem im Pixel 8 Pro zum Einsatz kommen. Dort soll es etwa Zusammenfassungen von Sprachmemos generieren.