Inhalt
summary Zusammenfassung

Apples eigene Benchmarks zeigen, dass Apples LLMs auf dem Gerät und in der Cloud im Vergleich zu anderen KI-Modellen nur durchschnittliche Leistungen erzielen. Um die Leistung für bestimmte Aufgaben zu optimieren, hat das Unternehmen eine Adapter-Strategie - und ChatGPT.

Anzeige

Auf der Worldwide Developers Conference 2024 hat Apple sein neues generatives KI-System "Apple Intelligence" vorgestellt, das in iOS 18, iPadOS 18 und macOS Sequoia integriert ist. Es besteht aus mehreren generativen KI-Modellen, die den Kontext des Nutzers berücksichtigen sollen.

Als Trainingsdaten verwendet Apple lizenzierte Daten, öffentlich zugängliche Daten des Web-Crawlers AppleBot sowie menschlich annotierte und synthetische Daten. Private Nutzerdaten fließen laut Apple nicht in das Training ein.

Apples Server-Modell ist auf Augenhöhe mit GPT-3.5 Turbo

Interne Benchmarks, bei denen die Modelle mit Open-Source- und kommerziellen Modellen vergleichbarer Größe wie GPT-3.5 verglichen wurden, zeigen eine durchschnittliche Leistungsfähigkeit von Apples eigenen KI-Modellen.

Anzeige
Anzeige

Das On-Device-Modell übertrifft mit etwa drei Milliarden Parametern größere Modelle wie Phi-3-mini, Mistral-7B und Gemma-7B. Das Server-Modell liegt gleichauf mit Modellen wie DBRX-Instruct, Mixtral-8x22B und GPT-3.5-Turbo, und ist dabei laut Apple sehr effizient.

Mit GPT-4 kann das Server-Modell nicht mithalten. Neue Wow-Momente sind von Apple Intelligence daher eher nicht zu erwarten. Der Vorteil von Apple Intelligence ist derzeit primär die tiefe Integration in die Betriebssysteme.

Bild: Apple

Laut Apple wurden für die oben genannte Evaluation Prompts mit unterschiedlichen Schwierigkeitsgraden in Kategorien wie Brainstorming, Klassifizieren, Beantworten geschlossener Fragen, Kodieren, Extrahieren, mathematisches Denken, Beantworten offener Fragen, Umschreiben, Sicherheit, Zusammenfassung und Schreiben getestet. Die Ergebnisse wurden von Menschen beurteilt.

Bei der Bewertung der Schreibleistung auf internen Benchmarks speziell für Zusammenfassung und Zusammenstellung schneiden die On-Device-Modelle von Apple besser ab als größere Modelle. Das Server-Modell liegt gleichauf mit GPT-4 Turbo. Diese Ergebnisse beziehen sich nur auf die Leistung der Modelle ohne funktionsspezifische Adapter (siehe unten).

Bild: Apple (Screenshot bei YouTube)

Für mehr KI-Leistung: Apple setzt auf Adapter und ChatGPT

Um die Leistung der Basismodelle zu steigern, setzt Apple auf eine Adapter-Strategie. Adapter sind kleine neuronale Netzwerkmodule, die für bestimmte Aufgaben wie Zusammenfassungen oder Rechtschreibprüfung optimiert sind und vom Basismodell nach einem Finetuning für diese Aufgabe angesteuert werden können.

Empfehlung

Video: Apple

Laut Apple können Adapter die Basismodelle dynamisch und speichereffizient für spezifische Aufgaben optimieren, ohne dass das allgemeine Modellwissen verloren geht.

Bei Zusammenfassungen von E-Mails und Benachrichtigungen schlagen Apples On-Device-Modell mit Adapter Microsofts Phi-3-mini teils deutlich. Insbesondere die Anzahl schlechter E-Mail-Zusammenfassungen ist geringer.

Bild: Apple

Ansonsten setzt Apple auf die Partnerschaft mit OpenAI und die Integration von ChatGPT, um die Fähigkeiten von Apple Intelligence zu erweitern. Durch die Integration von ChatGPT in iOS und Siri hat Apple Zugriff auf die leistungsstarken multimodalen Modelle von OpenAI, wenn diese benötigt werden, beispielsweise bei schwierigen Schreibaufgaben im Texteditor oder bei komplexen Anfragen an Siri. Wann genau und in welchem Umfang Anfragen an OpenAI ausgelagert werden, ist noch unklar.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Apple stellt auf der WWDC 2024 sein neues generatives KI-System Apple Intelligence vor, das aus mehreren KI-Modellen besteht und in iOS 18, iPadOS 18 und macOS Sequoia integriert ist.
  • Interne Benchmarks zeigen, dass Apples KI-Modelle im Vergleich zu Modellen ähnlicher Größe wie GPT-3.5 eine ähnliche Leistung aufweisen. Um die Leistung für bestimmte Aufgaben wie Zusammenfassungen zu steigern, setzt Apple auf eine Adapter-Strategie.
  • Zusätzlich nutzt Apple die Partnerschaft mit OpenAI und integriert ChatGPT in iOS und Siri, um Zugriff auf leistungsstarke multimodale Modelle zu erhalten und die Fähigkeiten von Apple Intelligence bei anspruchsvollen Aufgaben zu erweitern.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!