Mit "Grok" stellt Elon Musk einen Chatbot vor, der mit "X" (ehemals Twitter) für "X" gebaut wurde. Im Gegensatz zu OpenAI bei ChatGPT gibt Musk dem Chatbot wohl mehr kreativen Spielraum bei den Antworten.
Musk und seine Firma beschreiben Grok als humorvollen, witzigen und rebellischen Chatbot, der fast jede Frage beantworten soll. Grok nutzt sein Modellwissen, das auf Internet- und X-Daten basiert, sowie Echtzeitinformationen von X, um Antworten zu geben. Dabei beantwortet der Chatbot laut xAI auch "pikante Fragen", die von den meisten anderen KI-Systemen abgelehnt würden.
Derzeit ist Grok ein reiner Text-Chatbot. Multimodale Fähigkeiten wie Sprach- oder Bilderkennung bietet er daher nicht, sind aber in Arbeit. xAI betont, dass es sich bei Grok noch um ein "sehr frühes Beta-Produkt" handele.
Der ungewöhnliche Name ist inspiriert von der Science-Fiction-Geschichte "Per Anhalter durch die Galaxis". Er steht unter anderem für Empathie und sympathische Kommunikation.
Nur vier Monate Entwicklungszeit für Grok-1
Grok basiert auf dem großen Sprachmodell Grok-1. Es wurde in den letzten vier Monaten mit einem von xAI entwickelten Trainings- und Inferenz-Stack entwickelt, der auf Kubernetes, Rust und JA basiert, mit dem Ziel, die nutzbare Rechenleistung pro Watt zu maximieren. Das Training des Modells dauerte zwei Monate.
Der frühe Prototyp, Grok-0, mit 33 Milliarden Parametern erreichte laut xAI auf Standard-Sprachmodell-Benchmarks eine Leistung nahe LLaMA 2 (70B). Im Vergleich zur Open-Source-Lösung von Meta soll er jedoch nur die Hälfte an Trainingsressourcen benötigt haben.
Die Kontextlänge beträgt 8.192 Token, die Internet-Trainingsdaten sowie die menschlichen Feedbackdaten enden im dritten Quartal 2023.
In den letzten zwei Monaten wurden laut xAI weitere "signifikante Verbesserungen" in den Bereichen Logik und Programmierung vorgenommen, was zu einer besseren Performance von Grok-1 in den entsprechenden Benchmarks geführt hat.
In den veröffentlichten Benchmarks liegt Grok-1 deutlich hinter GPT-4, schneidet aber besser ab als GPT-3.5 und erreicht im Sprachverständnis-Benchmark MMLU mit fünf Beispielen das Niveau von Anthropics Claude 2.
In dem etwas unüblichen Benchmark Hungarian national high school finals in mathematics erreicht Grok-1 den zweiten Platz, mit deutlichem Abstand zu GPT-3.5 und relativ nahe an GPT-4. xAI begründet die Auswahl des Benchmarks damit, dass er Ende Mai erschienen ist und somit garantiert nicht in den Trainingsdaten des Modells enthalten ist. xAI sieht sein Sprachmodell anderen Modellen seiner Rechenklasse überlegen.
In der Modellkarte von Grok-1 weist xAI darauf hin, dass das Sprachmodell, wie alle anderen auch, Informationen erfinden kann.
Exklusiv für X-Bezahlkunden
Toby Pholen, Gründungsmitglied von xAI, gibt auf X einen Einblick in die Benutzeroberfläche von Grok. Das Programm kann mehrere Anfragen gleichzeitig bearbeiten und man kann zwischen den Antworten hin- und herschalten.
Video: Toby Pholen via xAI
Codegenerierungen können direkt in einem VS-Code-Editor geöffnet werden, und Textantworten können in einem Markdown-Editor gespeichert und zu einem späteren Zeitpunkt fortgesetzt werden.
xAI bietet einer begrenzten Anzahl von Premium-Plus-Nutzern in den USA einen frühen Zugang zum Grok-Prototyp, um Feedback zur Verbesserung der Funktionalität vor einer breiteren Veröffentlichung zu sammeln. Premium Plus kostet 16 US-Dollar im Monat.
Interessierte Premium-Kunden in den USA können sich auf die Grok-Warteliste setzen lassen. Das Unternehmen plant, in den kommenden Monaten neue Funktionen und Fähigkeiten einzuführen.
Die Forschung und Entwicklung von xAI konzentriert sich auf weitere Bereiche wie skalierbare, werkzeugunterstützte Kontrolle, Integration mit formaler Verifikation für Sicherheit, Verstehen und Abrufen langer Kontexte, robuste Verteidigung gegen Angriffe und multimodale Fähigkeiten.
Laut Musk konzentriert sich xAI unter anderem auf tiefgreifende wissenschaftliche Fragen wie dunkle Materie, Gravitation und das Fermi-Paradoxon und zielt darauf ab, "die wahre Natur des Universums" zu verstehen. Das Unternehmen hat ein Team von Experten aus führenden KI-Forschungseinrichtungen wie OpenAI, Google Research, Microsoft Research und DeepMind zusammengestellt.
Musk und sein Team glauben, dass eine superintelligente KI bis 2029 realistisch ist und der Gesellschaft helfen wird, "was zum Teufel wirklich los ist". Neben der wissenschaftlichen Ausrichtung soll xAI auch mit OpenAI konkurrieren und Angebote für Verbraucher und Unternehmen bereitstellen.
