- Grok-1 ist jetzt als Open Source verfügbar
Update vom 17. März 2024:
Wie angekündigt, ist Grok-1 nun vollständig als Open Source mit Code und Gewichten verfügbar. Das KI-Unternehmen xAI hat die Architektur und die Gewichte seines 314 Milliarden Parameter umfassenden Mixture-of-Experts-Modells unter der Apache 2.0-Lizenz veröffentlicht. Damit ist es das bislang größte als Open Source verfügbare Mixture-of-Expert-Modell. Auch das erfolgreiche Mixtral von Mistral und GPT-4 setzen auf diese Architektur. Bei Grok sind von acht Experten-Netzen zwei (25 Prozent) für jedes Input-Token aktiv.
Grok-1 ist das unverfeinerte Basismodell aus der im Oktober 2023 abgeschlossenen Pre-Trainingsphase, das bisher nicht für spezifische Anwendungen optimiert wurde. Es ist wahrscheinlich auch weniger oder gar nicht sicherheitsorientiert als vergleichbare Modelle, da es nicht mit menschlichem Feedback (RLHF) feingetuned wurde. Zu den Trainingsdaten äußert sich xAI nicht, es erwähnt lediglich große Textmengen, und gibt keine ethischen Hinweise oder Sicherheitsrichtlinien vor.
xAI hat das Modell von Grund auf mit einem eigenen Technologie-Stack auf Basis von JAX und Rust trainiert. Weitere Informationen für Grok-1 sind auf GitHub verfügbar.
Ursprünglicher Artikel vom 11. März 2024:
Elon Musk will seinen KI-Chatbot "Grok" diese Woche als Open Source bringen
Elon Musks Chatbot "Grok" soll diese Woche Open Source werden, schreibt Musk auf X. Welche Komponenten genau Open Source werden sollen und in welchem Umfang, sagt er nicht. Grok basiert auf Grok-1, dem ersten großen Sprachmodell von x.AI, der KI-Firma von Elon Musk. Das Modell wurde etwa vier Monate lang entwickelt, davon zwei Monate lang trainiert. Die Trainingsdaten aus dem Internet sowie die menschlichen Feedbackdaten enden im dritten Quartal 2023. Die Kontextlänge beträgt 8.192 Token. In Benchmarks liegt Grok-1 auf dem Level von GPT-3.5, ein Niveau, das mittlerweile von vielen Open-Source-Modellen erreicht wird. Für den Grok-Chatbot bei X wurde Grok-1 so konfiguriert, dass es auch Antworten auf "pikante Fragen" gibt, die von den meisten anderen KI-Systemen abgelehnt würden.