Inhalt
summary Zusammenfassung

Apple bietet mit OpenELM eine Reihe von Open-Source-Sprachmodellen an, die auf Effizienz getrimmt sind und mit weniger Trainingsdaten eine bessere Leistung erzielen als vergleichbare Modelle.

Anzeige

Apple-Forscher veröffentlichen OpenELM (Open-source Efficient Language Models), eine Familie von Open-Source-Sprachmodellen mit bis zu drei Milliarden Parametern. S

Die basieren laut der Forscher auf einer schichtweisen Skalierungsstrategie, die die Parameter innerhalb der Transformationsschichten effizienter verteilt. Dadurch erreicht OpenELM eine höhere Genauigkeit als vergleichbare Modelle.

Laut Forschungsbericht übertrifft ein OpenELM-Modell mit 1,1 Milliarden Parametern das OLMo-Modell von AI21 Labs mit 1,2 Milliarden Parametern um 2,36 Prozent, obwohl es mit nur halb so vielen Trainings-Token für das Pretraining auskommt. OpenELM erreicht also mit weniger Rechenleistung und Daten eine höhere Performance.

Anzeige
Anzeige
Bild: Mehta et al.

Die OpenELM-Modelle sind in vier Größen erhältlich: 270 Millionen, 450 Millionen, 1,1 Milliarden und 3 Milliarden Parameter. Alle Modelle gibt es auch in einer Version, die mit Instruktionen verfeinert wurde. Sie sind auf Github und Huggingface verfügbar.

Apple stellt das gesamte Framework für Training und Finetuning als Open Source zur Verfügung. Dazu gehören das Trainingsprotokoll, mehrere Checkpoints und die Konfiguration für das Pretraining.

Darüber hinaus veröffentlicht Apple Code für die Konvertierung der Modelle in die MLX-Bibliothek, um Inferenz und Feinabstimmung auf Apple-Geräten zu ermöglichen.

Für das Training verwendete der Technologiekonzern öffentlich verfügbare Datensätze wie RefinedWeb, deduplizierte Versionen von The PILE, Teile von RedPajama und Dolma 1.6. Insgesamt umfasst der Trainingsdatensatz rund 1,8 Billionen Token.

Sicher, datenschutzfreundlich, auf dem Gerät

OpenELM dürfte ein weiterer Baustein in Apples KI-Strategie sein, die auf Datenschutz, Effizienz und Kontrolle setzt und generative KI wohl vorwiegend auf dem Gerät vorsieht.

Empfehlung

Denkbar wären Verbesserungen für den Sprachassistenten Siri oder neue Funktionen in Apps wie Mail oder News. Das Unternehmen will zeigen, dass es führende KI-Systeme bauen kann, ohne Nutzerdaten auszubeuten.

Für anspruchsvolle Cloud-KI-Anwendungen könnte Apple mit Google, OpenAI und anderen Anbietern kooperieren. Details zu Apples generativer KI-Strategie dürften spätestens im Sommer auf der WWDC bekannt werden.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Apple veröffentlicht OpenELM, eine Reihe von Open-Source-Sprachmodellen, die mit weniger Trainingsdaten und Rechenzeit eine bessere Leistung erzielen als vergleichbare Modelle.
  • Die OpenELM-Modelle sind in vier Größen von 270 Millionen bis 3 Milliarden Parametern erhältlich, jedes davon auch in einer instruktionsoptimierten Version. Apple stellt das gesamte Framework inklusive Trainingsprotokoll, Checkpoints und Konfiguration als Open Source zur Verfügung.
  • OpenELM dürfte Teil der KI-Strategie von Apple sein, die auf Datenschutz, Effizienz und Kontrolle setzt und generative KI vor allem auf den Geräten der Nutzer anbieten will.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!