Das französische Start-up Mistral AI hat sein neues Sprachmodell Mixtral 8x7B über einen Torrent-Link veröffentlicht. Mixtral ist ein Mixture-of-Experts-Modell und folgt damit einer Architektur, die Gerüchten zufolge auch OpenAI für GPT-4 verwendet – allerdings deutlich höher skaliert.

Anzeige

Bisher gibt es noch keine Benchmarks, Blogeinträge oder Artikel über das Modell, aber Mistral-7B – die erste Version von Mistral AI – hat allgemein sehr gut abgeschnitten und wurde schnell von der Open-Source-Community angenommen. Für das Training verwendete Mistral wahrscheinlich die MoE-Bibliothek MegaBlocks. Das in Paris ansässige Unternehmen wurde kürzlich mit fast 2 Milliarden US-Dollar bewertet.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Bild: Twitter.com
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!