Inhalt
summary Zusammenfassung

Update vom 24. April:

Anzeige

Microsoft hat die Phi-3-Familie offiziell vorgestellt. Phi-3-mini mit 3,8 Milliarden Parametern ist ab sofort auf Microsoft Azure AI Studio, Hugging Face und Ollama verfügbar, auch in einer Variante mit bis zu 128.000 Token Kontextlänge.

Die Modelle sind für Instruktionen optimiert und verwenden die ONNX Runtime mit Unterstützung für Windows DirectML und NVIDIA GPUs. In den nächsten Wochen folgen Phi-3-small (7 Milliarden Parameter) und Phi-3-medium (14 Milliarden).

Die ressourcenschonenden Phi-3-Modelle eignen sich laut Microsoft für Szenarien mit begrenzter Rechenleistung, niedriger Latenz oder wenn niedrige Kosten entscheidend sind und ermöglichen ein einfacheres Feintuning.

Anzeige
Anzeige

Ursprünglicher Artikel vom 23. April:

Gerade erst hat Metas Llama 3 neue Maßstäbe für Open-Source-Modelle gesetzt. Microsofts Phi 3 soll sie schon wieder übertreffen - zumindest auf dem Papier. Microsoft setzt dabei auf das Phi-Merkmal: Datenqualität.

Microsoft Research hat ein neues, kompaktes Sprachmodell namens Phi 3 entwickelt, das internen Tests zufolge die Leistung wesentlich größerer Modelle wie Mixtral 8x7B und GPT-3.5 erreicht. Die Kontextlänge liegt bei 128K.

Das Modell Phi-3-mini, das nur 3,8 Milliarden Parameter umfasst, soll beispielsweise im Sprachverständnis-Benchmark MMLU 69 Prozent und im MT-Benchmark 8,38 Punkte erreichen.

Dank seiner geringen Größe kann Phi 3 auf einem handelsüblichen Smartphone mit nur 1,8 GB Speicher lokal ausgeführt und auf 4 Bit quantisiert werden. Auf einem iPhone 14 mit A16-Chip erreicht das Modell laut Microsoft mehr als 12 Token pro Sekunde.

Empfehlung
Phi-3-mini läuft nativ in einer 4-Bit-Version auf einem iPhone mit A16 Bionic Chip flüssig mit mehr als 12 Token pro Sekunde. | Bild: Microsoft

"Es ist, als würde man einen Supercomputer in ein Klapphandy quetschen - nur dass er nicht das Handy, sondern mit seiner winzigen, aber mächtigen Sprachkompetenz das Internet zerstört", lassen die Entwickler das Modell scherzhaft auf die Frage antworten, wie ein KI-Modell auf ChatGPT-Niveau auf einem Smartphone laufen kann.

Maximale Datenqualität im Training

Das Geheimnis der Leistungsfähigkeit von Phi 3 liegt laut Microsoft ausschließlich im Trainingsdatensatz. Dieser besteht aus stark gefilterten Web- und synthetischen Daten und ist eine Weiterentwicklung der Trainingsmethode, die bereits bei den Vorgängern Phi 2 und Phi 1 zum Einsatz kam.

Microsoft betont, dass die Leistung allein durch die Optimierung des Trainingsdatensatzes erreicht wurde. Anstatt Webdaten mit Informationen wie Sportergebnissen zu "verschwenden", wurde der Datensatz näher an das "Datenoptimum" für ein kompaktes Modell gebracht, indem der Schwerpunkt auf Wissen und Schlussfolgerungsfähigkeiten gelegt wurde.

In der ersten Phase des Vortrainings werden hauptsächlich Webdaten verwendet, damit das Modell allgemeines Wissen und Sprachverständnis entwickeln kann. In der zweiten Trainingsphase werden stark gefilterte, qualitativ hochwertige Webdaten mit ausgewählten synthetischen Daten kombiniert, um die Leistung des Modells in spezifischen Bereichen wie Logik und Nischenanwendungen zu optimieren.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Mit den Phi-Modellen will Microsoft qualitativ hochwertige, aber wesentlich effizientere und kostengünstigere KI-Modelle ermöglichen. Gerade Microsoft, das KI über die eigenen Windows- und Office-Produkte sowie die Suche skalieren will, benötigt in der Ausführung kostengünstige Modelle, um aus generativer KI ein Geschäftsmodell zu machen.

Microsofts effizientes KI-Modell Phi 3 schlägt Llama 3 und das freie ChatGPT in Benchmarks

Phi-3-small mit 7 Milliarden Parametern und Phi-3-medium mit 14 Milliarden Parametern, die beide mit 4,8 Billionen Token trainiert wurden, schneiden in den Benchmarks noch besser ab als Phi-3-mini.

Sie erreichen 75 bzw. 78 Prozent im MMLU-Benchmark und 8,7 bzw. 8,9 Punkte im MT-Benchmark. Damit sind sie nicht weit entfernt von deutlich größeren Modellen wie das kürzlich veröffentlichte Llama 3 von Meta mit 70 Milliarden Parametern. Modelle derselben Klassen übertreffen die Phi-Modelle deutlich.

Bild: Microsoft

Die in der Anwendung wahrgenommene Leistung und die in Benchmarks erzielte Punktzahl müssen jedoch nicht unbedingt übereinstimmen. Es bleibt daher abzuwarten, inwieweit das Modell von der Open-Source-Community tatsächlich angenommen wird.

Um der Open-Source-Community den größtmöglichen Nutzen aus Phi 3 zu ermöglichen, verwendet Phi 3 laut Microsoft eine ähnliche Blockstruktur und denselben Tokenizer wie das Llama-Modell von Meta. Dadurch sollen alle für die Llama-2-Modellfamilie entwickelten Pakete direkt an Phi-3-mini angepasst werden können.

Als Schwäche von Phi-3-mini nennt Microsoft die geringere Kapazität für Faktenwissen im Vergleich zu größeren Modellen, z.B. im TriviaQA Benchmark. Dies könne jedoch durch die Integration einer Suchmaschine kompensiert werden. Außerdem beschränkt sich das Training hauptsächlich auf die englische Sprache.

Anzeige
Anzeige

Hinsichtlich der Sicherheit habe Microsoft einen mehrstufigen Ansatz mit Alignment-Training, Red Teaming, automatisierten Tests und unabhängigen Prüfungen gewählt. Dadurch seien potenziell schädliche Antworten deutlich reduziert worden.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Microsoft Research hat das kompakte Sprachmodell Phi-3 entwickelt, das dank optimierter Trainingsdaten die Leistung wesentlich größerer Modelle wie GPT-3.5 erreichen soll. Phi-3-mini mit nur 3,8 Milliarden Parametern erreicht in Benchmarks wie MMLU 69 Prozent und kann auf Smartphones mit nur 1,8 GB Speicher ausgeführt werden
  • Laut Microsoft liegt der Schlüssel zur Leistungsfähigkeit von Phi 3 in der hohen Qualität des Trainingsdatensatzes, der aus gefilterten Web- und synthetischen Daten besteht. Der Fokus auf Wissen und Schlussfolgerungsfähigkeiten soll effizientere und kostengünstigere KI-Modelle ermöglichen, die Microsoft für seine Produkte und Dienstleistungen benötigt.
  • Die größeren Varianten Phi-3-small und Phi-3-medium mit 7 bzw. 14 Milliarden Parametern schneiden in Benchmarks noch besser ab und können mit dem kürzlich veröffentlichten Llama 3 von Meta mithalten. Microsoft setzt auf Sicherheit durch mehrere Prüfschritte, sieht aber noch Schwächen bei Faktenwissen und Mehrsprachigkeit.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!