Mistral 7B: Mini-Sprachmodell läuft auf Apple Vision Pro

Joseph Semrai zeigt bei X, wie das kleine große Sprachmodell Mistral 7B auf einer Apple Vision Pro läuft. Dabei handelt es sich allerdings um eine Modellvariante mit 4-Bit-Quantisierung, die zwar den Speicherbedarf des Modells reduziert, aber auch dessen Genauigkeit. Dafür sinkt der Leistungsbedarf so stark, dass es auf der Vision Pro M2 mit insgesamt 16 GB Speicher läuft. Eine 4-bit-Version von Mistral 7B Instruct ist hier verfügbar.

Video: Joseph Semrai