Elon Musks KI-Startup veröffentlicht KI-Modell "Grok-1" als Open Source
Update –
- Grok-1 ist jetzt als Open Source verfügbar
Update vom 17. März 2024:
Wie angekündigt, ist Grok-1 nun vollständig als Open Source mit Code und Gewichten verfügbar. Das KI-Unternehmen xAI hat die Architektur und die Gewichte seines 314 Milliarden Parameter umfassenden Mixture-of-Experts-Modells unter der Apache 2.0-Lizenz veröffentlicht. Damit ist es das bislang größte als Open Source verfügbare Mixture-of-Expert-Modell. Auch das erfolgreiche Mixtral von Mistral und GPT-4 setzen auf diese Architektur. Bei Grok sind von acht Experten-Netzen zwei (25 Prozent) für jedes Input-Token aktiv.
Grok-1 ist das unverfeinerte Basismodell aus der im Oktober 2023 abgeschlossenen Pre-Trainingsphase, das bisher nicht für spezifische Anwendungen optimiert wurde. Es ist wahrscheinlich auch weniger oder gar nicht sicherheitsorientiert als vergleichbare Modelle, da es nicht mit menschlichem Feedback (RLHF) feingetuned wurde. Zu den Trainingsdaten äußert sich xAI nicht, es erwähnt lediglich große Textmengen, und gibt keine ethischen Hinweise oder Sicherheitsrichtlinien vor.
xAI hat das Modell von Grund auf mit einem eigenen Technologie-Stack auf Basis von JAX und Rust trainiert. Weitere Informationen für Grok-1 sind auf GitHub verfügbar.
Ursprünglicher Artikel vom 11. März 2024:
Elon Musk will seinen KI-Chatbot "Grok" diese Woche als Open Source bringen
Elon Musks Chatbot "Grok" soll diese Woche Open Source werden, schreibt Musk auf X. Welche Komponenten genau Open Source werden sollen und in welchem Umfang, sagt er nicht. Grok basiert auf Grok-1, dem ersten großen Sprachmodell von x.AI, der KI-Firma von Elon Musk. Das Modell wurde etwa vier Monate lang entwickelt, davon zwei Monate lang trainiert. Die Trainingsdaten aus dem Internet sowie die menschlichen Feedbackdaten enden im dritten Quartal 2023. Die Kontextlänge beträgt 8.192 Token. In Benchmarks liegt Grok-1 auf dem Level von GPT-3.5, ein Niveau, das mittlerweile von vielen Open-Source-Modellen erreicht wird. Für den Grok-Chatbot bei X wurde Grok-1 so konfiguriert, dass es auch Antworten auf "pikante Fragen" gibt, die von den meisten anderen KI-Systemen abgelehnt würden.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.