Joseph Semrai zeigt bei X, wie das kleine große Sprachmodell Mistral 7B auf einer Apple Vision Pro läuft. Dabei handelt es sich allerdings um eine Modellvariante mit 4-Bit-Quantisierung, die zwar den Speicherbedarf des Modells reduziert, aber auch dessen Genauigkeit. Dafür sinkt der Leistungsbedarf so stark, dass es auf der Vision Pro M2 mit insgesamt 16 GB Speicher läuft. Eine 4-bit-Version von Mistral 7B Instruct ist hier verfügbar.

Anzeige

Video: Joseph Semrai

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!