Geleaktes Sprachmodell erregt Aufmerksamkeit in der Open-Source-Szene - und kommt von Mistral
Kurz & Knapp
- Ein KI-Modell namens "miqu-1-70b" tauchte kürzlich auf HuggingFace und 4chan auf und erregte aufgrund seiner hohen Leistungsfähigkeit schnell die Aufmerksamkeit der Open-Source-Community.
- Der CEO von Mistral, Arthur Mensch, bestätigte jetzt, dass es sich bei "miqu-1-70b" um ein geleaktes älteres Modell seiner Firma handelt, das auf Metas Llama 2 trainiert wurde.
- Obwohl das Modell ohne offizielle Lizenz veröffentlicht wurde, hat Mistral bisher nicht vor, es von HuggingFace zu entfernen.
Ein neues KI-Modell begeistert die Open-Source-Szene. Jetzt ist klar: Es ist ein Leak eines älteren Mistral-Modells.
Vor wenigen Tagen tauchte das KI-Modell "miqu-1-70b" auf HuggingFace und schließlich 4chan auf. Die Dateien des KI-Modells "miqu-1-70b" wurden zuerst von einem Benutzer namens "Miqu Dev" auf HuggingFace gepostet. Am selben Tag veröffentlichte ein anonymer Nutzer einen Link zu den Dateien auf 4chan. Der CEO von Mistral, Arthur Mensch, bestätigte gestern, dass es sich um ein "geleaktes" Modell seiner Firma handelt.
Nach dem Leak auf 4chan erregte das Modell schnell Aufmerksamkeit: Erste Tests in der Community zeigen, dass die Performance des Modells in den meisten Tests auf dem Niveau von Mixtral, dem bisher stärksten Open-Source-Modell von Mistral, liegt oder es sogar übertrifft. In einigen Tests soll es sogar das stärkste Mistral-Medium-Modell übertreffen, in einem Benchmark schlägt es sogar alle Sprachmodelle außer GPT-4.
Miqu-1-70B ist ein altes Mistral-Modell auf Llama-2-Basis
Nach vielen Spekulationen bestätigte Mistral CEO Arthur Mensch gestern auf X, dass ein "übereifriger Mitarbeiter" eines frühen Kunden eine quantisierte und mit Wasserzeichen versehene Version eines alten von Mistral trainierten Modells veröffentlicht hat. Laut Mensch handelt es sich um ein altes Modell, dass das Unternehmen auf Basis von Metas Llama 2 trainiert hat. Das Vortraining des Modells sei zum Zeitpunkt der Veröffentlichung von Mistral-7B, dem ersten Sprachmodell des Unternehmens, abgeschlossen worden. Manche hatten spekuliert, Mistral selbst habe das Modell geleakt, nachdem das Pariser KI-Startup sein letztes Mixtral-Modell zuerst via Torrent veröffentlicht hatte.
Das Unternehmen scheint keine Pläne zu haben, das Modell von HuggingFace zu entfernen – ob ein offizieller Release mit Lizenzen geplant ist, ist nicht bekannt. Interessanterweise hat Mensch auf den HuggingFace-Post reagiert, nicht um eine Löschung zu fordern, sondern um den Poster scherzhaft darauf hinzuweisen, dass er "eine Zuschreibung in Betracht ziehen" könnte.
Laut Mensch hat das Unternehmen seit der Entwicklung des geleakten Modells große Fortschritte gemacht – ein Modell auf dem Niveau von GPT-4 ist also wohl mit Mistral-Large zu erwarten.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.