Ein neues KI-Modell begeistert die Open-Source-Szene. Jetzt ist klar: Es ist ein Leak eines älteren Mistral-Modells.
Vor wenigen Tagen tauchte das KI-Modell "miqu-1-70b" auf HuggingFace und schließlich 4chan auf. Die Dateien des KI-Modells "miqu-1-70b" wurden zuerst von einem Benutzer namens "Miqu Dev" auf HuggingFace gepostet. Am selben Tag veröffentlichte ein anonymer Nutzer einen Link zu den Dateien auf 4chan. Der CEO von Mistral, Arthur Mensch, bestätigte gestern, dass es sich um ein "geleaktes" Modell seiner Firma handelt.
Nach dem Leak auf 4chan erregte das Modell schnell Aufmerksamkeit: Erste Tests in der Community zeigen, dass die Performance des Modells in den meisten Tests auf dem Niveau von Mixtral, dem bisher stärksten Open-Source-Modell von Mistral, liegt oder es sogar übertrifft. In einigen Tests soll es sogar das stärkste Mistral-Medium-Modell übertreffen, in einem Benchmark schlägt es sogar alle Sprachmodelle außer GPT-4.
Miqu-1-70B ist ein altes Mistral-Modell auf Llama-2-Basis
Nach vielen Spekulationen bestätigte Mistral CEO Arthur Mensch gestern auf X, dass ein "übereifriger Mitarbeiter" eines frühen Kunden eine quantisierte und mit Wasserzeichen versehene Version eines alten von Mistral trainierten Modells veröffentlicht hat. Laut Mensch handelt es sich um ein altes Modell, dass das Unternehmen auf Basis von Metas Llama 2 trainiert hat. Das Vortraining des Modells sei zum Zeitpunkt der Veröffentlichung von Mistral-7B, dem ersten Sprachmodell des Unternehmens, abgeschlossen worden. Manche hatten spekuliert, Mistral selbst habe das Modell geleakt, nachdem das Pariser KI-Startup sein letztes Mixtral-Modell zuerst via Torrent veröffentlicht hatte.
Das Unternehmen scheint keine Pläne zu haben, das Modell von HuggingFace zu entfernen – ob ein offizieller Release mit Lizenzen geplant ist, ist nicht bekannt. Interessanterweise hat Mensch auf den HuggingFace-Post reagiert, nicht um eine Löschung zu fordern, sondern um den Poster scherzhaft darauf hinzuweisen, dass er "eine Zuschreibung in Betracht ziehen" könnte.
Laut Mensch hat das Unternehmen seit der Entwicklung des geleakten Modells große Fortschritte gemacht – ein Modell auf dem Niveau von GPT-4 ist also wohl mit Mistral-Large zu erwarten.