Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Ein neues KI-Modell begeistert die Open-Source-Szene. Jetzt ist klar: Es ist ein Leak eines älteren Mistral-Modells.

Vor wenigen Tagen tauchte das KI-Modell "miqu-1-70b" auf HuggingFace und schließlich 4chan auf. Die Dateien des KI-Modells "miqu-1-70b" wurden zuerst von einem Benutzer namens "Miqu Dev" auf HuggingFace gepostet. Am selben Tag veröffentlichte ein anonymer Nutzer einen Link zu den Dateien auf 4chan. Der CEO von Mistral, Arthur Mensch, bestätigte gestern, dass es sich um ein "geleaktes" Modell seiner Firma handelt.

Nach dem Leak auf 4chan erregte das Modell schnell Aufmerksamkeit: Erste Tests in der Community zeigen, dass die Performance des Modells in den meisten Tests auf dem Niveau von Mixtral, dem bisher stärksten Open-Source-Modell von Mistral, liegt oder es sogar übertrifft. In einigen Tests soll es sogar das stärkste Mistral-Medium-Modell übertreffen, in einem Benchmark schlägt es sogar alle Sprachmodelle außer GPT-4.

Bild: Twitter.com

Miqu-1-70B ist ein altes Mistral-Modell auf Llama-2-Basis

Nach vielen Spekulationen bestätigte Mistral CEO Arthur Mensch gestern auf X, dass ein "übereifriger Mitarbeiter" eines frühen Kunden eine quantisierte und mit Wasserzeichen versehene Version eines alten von Mistral trainierten Modells veröffentlicht hat. Laut Mensch handelt es sich um ein altes Modell, dass das Unternehmen auf Basis von Metas Llama 2 trainiert hat. Das Vortraining des Modells sei zum Zeitpunkt der Veröffentlichung von Mistral-7B, dem ersten Sprachmodell des Unternehmens, abgeschlossen worden. Manche hatten spekuliert, Mistral selbst habe das Modell geleakt, nachdem das Pariser KI-Startup sein letztes Mixtral-Modell zuerst via Torrent veröffentlicht hatte.

Anzeige
Anzeige
Bild: Twitter.com

Das Unternehmen scheint keine Pläne zu haben, das Modell von HuggingFace zu entfernen – ob ein offizieller Release mit Lizenzen geplant ist, ist nicht bekannt. Interessanterweise hat Mensch auf den HuggingFace-Post reagiert, nicht um eine Löschung zu fordern, sondern um den Poster scherzhaft darauf hinzuweisen, dass er "eine Zuschreibung in Betracht ziehen" könnte.

Laut Mensch hat das Unternehmen seit der Entwicklung des geleakten Modells große Fortschritte gemacht – ein Modell auf dem Niveau von GPT-4 ist also wohl mit Mistral-Large zu erwarten.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Ein KI-Modell namens "miqu-1-70b" tauchte kürzlich auf HuggingFace und 4chan auf und erregte aufgrund seiner hohen Leistungsfähigkeit schnell die Aufmerksamkeit der Open-Source-Community.
  • Der CEO von Mistral, Arthur Mensch, bestätigte jetzt, dass es sich bei "miqu-1-70b" um ein geleaktes älteres Modell seiner Firma handelt, das auf Metas Llama 2 trainiert wurde.
  • Obwohl das Modell ohne offizielle Lizenz veröffentlicht wurde, hat Mistral bisher nicht vor, es von HuggingFace zu entfernen.
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!