- Mistrals neues Mixture-of-Experts-Modell Mixtral läuft jetzt ebenfalls auf Apples MLX.
Apple veröffentlicht MLX, ein effizientes Machine Learning Framework für Apple-Chips, und MLX Data, eine Framework-unabhängige Datenladebibliothek.
Beide wurden von Apples Forschungsteam für maschinelles Lernen veröffentlicht. Die Python API von MLX ist laut Apple eng an NumPy angelehnt, mit einigen Unterschieden.
Composable function transformations: MLX verfügt über zusammensetzbare Funktionstransformationen für automatische Differenzierung, automatische Vektorisierung und Optimierung von Berechnungsgraphen.
Lazy computation: Berechnungen in MLX sind lazy. Arrays werden nur bei Bedarf materialisiert.
Multi-device: Operationen können auf jedem der unterstützten Geräte ausgeführt werden (CPU, GPU, ...)
Das Design von MLX orientiert sich an Frameworks wie PyTorch, Jax und ArrayFire. Ein wichtiger Unterschied zwischen diesen Frameworks und MLX ist laut Apple das einheitliche Speichermodell.
Die Arrays in MLX befinden sich in einem gemeinsamen Speicher, so dass Operationen auf MLX-Arrays auf jedem unterstützten Gerätetyp ausgeführt werden können, ohne dass Daten kopiert werden müssen.
MLX Data (Github) ist eine flexible, Framework-unabhängige Bibliothek zum Laden von Daten.
Mistral und Llama auf dem M2 Ultra
Mit MLX und MLX Data können Benutzer Aufgaben wie das Trainieren eines Transformer-Sprachmodells oder die Feinabstimmung mit LoRA, die Textgenerierung mit Mistral, die Bilderzeugung mit Stable Diffusion und die Spracherkennung mit Whisper durchführen. Ein Beispiel für die ersten Schritte mit MLX und Mistral ist in dieser Anleitung zu finden.
Das folgende Video zeigt die Leistung eines Llama v1 7B Modells, das in MLX implementiert wurde und auf einem M2 Ultra läuft. Es zeigt die Möglichkeiten von MLX auf Apple Silicon Geräten.
Video: Awni Hannun via Twitter.com
Weitere Informationen stehen im MLX Github und in der Dokumentation von Apple.
Bisher hat Apple in der Öffentlichkeit vorwiegend über "maschinelles Lernen" gesprochen und darüber, wie es ML-Funktionen in seine Produkte implementiert, etwa eine bessere Wortvorhersage für die iPhone-Tastatur.
Der Schritt von Apple mit MLX ist insofern interessant, als er die Open-Source-KI-Bewegung stärken könnte, die sich um Modelle wie Metas Llama, Mistral und Stable Diffusion entwickelt hat.
Berichten zufolge arbeitet das Unternehmen jedoch auch intern an einem LLM-Framework namens Ajax, einem eigenen Chatbot und gibt täglich Millionen von Dollar für KI-Training aus, um mit ChatGPT und allgemein generativen KI-Diensten Schritt zu halten.
