DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Joseph Semrai zeigt bei X, wie das kleine große Sprachmodell Mistral 7B auf einer Apple Vision Pro läuft. Dabei handelt es sich allerdings um eine Modellvariante mit 4-Bit-Quantisierung, die zwar den Speicherbedarf des Modells reduziert, aber auch dessen Genauigkeit. Dafür sinkt der Leistungsbedarf so stark, dass es auf der Vision Pro M2 mit insgesamt 16 GB Speicher läuft. Eine 4-bit-Version von Mistral 7B Instruct ist hier verfügbar.

Video: Joseph Semrai

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!