Mixtral: Französisches Start-up Mistral veröffentlicht GPT-4-inspiriertes Modell

Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.

Profil

E-Mail

Das französische Start-up Mistral AI hat sein neues Sprachmodell Mixtral 8x7B über einen Torrent-Link veröffentlicht. Mixtral ist ein Mixture-of-Experts-Modell und folgt damit einer Architektur, die Gerüchten zufolge auch OpenAI für GPT-4 verwendet – allerdings deutlich höher skaliert.

Bisher gibt es noch keine Benchmarks, Blogeinträge oder Artikel über das Modell, aber Mistral-7B – die erste Version von Mistral AI – hat allgemein sehr gut abgeschnitten und wurde schnell von der Open-Source-Community angenommen. Für das Training verwendete Mistral wahrscheinlich die MoE-Bibliothek MegaBlocks. Das in Paris ansässige Unternehmen wurde kürzlich mit fast 2 Milliarden US-Dollar bewertet.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:

Banküberweisung

Maximilian Schreiner

Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.

Profil

E-Mail