Update vom 22. Juli 2024:
Laut Musk hat sein neues "Gigafactory"-Rechenzentrum den Betrieb aufgenommen. Mit 100.000 Nvidia H100-Chips sei es der weltweit größte GPU-Cluster für das KI-Training. Bis Dezember soll darauf die "nach allen Kriterien leistungsstärkste KI der Welt" trainiert werden, so Musk. Damit dürfte er Grok 3 meinen (siehe Bericht unten). Grok 2 soll im August erscheinen.
Ursprünglicher Artikel vom 10. Juli 2024:
Elon Musk verspricht KI-Modelle Grok 2 für August und Grok 3 für Ende des Jahres
Das von Elon Musk ursprünglich für Mai angekündigte KI-Modell Grok 2 soll nun im August erscheinen. Das nächste Upgrade auf Grok 3 soll hingegen bereits Ende des Jahres verfügbar sein - und bedeutender ausfallen.
Bereits im März hatte Musk Grok 2 für Mai angekündigt, mit dem Ziel, OpenAIs GPT-4 zu übertreffen. Konkrete Details zu den Fähigkeiten des neuen Modells nannte er damals nicht.
Musk begründet jetzt die Verzögerung unter anderem mit dem aufwendigen Prozess, die Trainingsdaten von im Internet verfügbaren Inhalten anderer Sprachmodelle zu bereinigen. Er betont, dass Grok 2 in diesem Bereich "gigantische Fortschritte" machen werde.
Für das Training von Grok 2 hat xAI 24.000 H100-GPUs von Oracle gemietet. Das Modell befindet sich derzeit in der Phase des Finetunings und der Fehlerbehebung.
Musk hatte Grok 3 bereits Anfang Juli in einem Tweet angekündigt. Das Modell soll Ende des Jahres erscheinen und auf "100k H100s" - den leistungsstarken H100-GPUs von Nvidia - laufen. Dank dieser enormen Rechenleistung wird Grok 3 laut Musk "wirklich etwas Besonderes" sein.
Für Grok 3 setzt xAI auf eine eigene Hardware-Infrastruktur und löst sich aus der Kooperation mit Oracle. Das Unternehmen baut nach eigenen Angaben das "leistungsstärkste Trainingscluster der Welt". Das KI-Training auf diesem Cluster soll laut Musk noch in diesem Monat beginnen.
Musk begründet seinen Weggang von Oracle, einem "großartigen Unternehmen", damit, schneller sein zu wollen als andere KI-Unternehmen: "Wenn unser Schicksal davon abhängt, bei Weitem der Schnellste zu sein, müssen wir selbst am Steuer sitzen und nicht auf dem Rücksitz." In Memphis entsteht die "Gigafactory of Compute", auf die sich Musk hier beziehen dürfte.
Das aktuelle Grok-Modell im X-Chatbot erreicht trotz oder gerade wegen der X-Echtzeitdaten bisher nicht das Niveau von Modellen wie ChatGPT und Claude. Insbesondere die X-Implementierung für News hat in den vergangenen Monaten zu teilweise hanebüchenen Falschmeldungen inklusive Rufschädigung geführt.
