Das französische Start-up Mistral AI hat sein neues Sprachmodell Mixtral 8x7B über einen Torrent-Link veröffentlicht. Mixtral ist ein Mixture-of-Experts-Modell und folgt damit einer Architektur, die Gerüchten zufolge auch OpenAI für GPT-4 verwendet – allerdings deutlich höher skaliert.
Bisher gibt es noch keine Benchmarks, Blogeinträge oder Artikel über das Modell, aber Mistral-7B – die erste Version von Mistral AI – hat allgemein sehr gut abgeschnitten und wurde schnell von der Open-Source-Community angenommen. Für das Training verwendete Mistral wahrscheinlich die MoE-Bibliothek MegaBlocks. Das in Paris ansässige Unternehmen wurde kürzlich mit fast 2 Milliarden US-Dollar bewertet.
