Phi-2 ist das neueste kleine Sprachmodell von Microsoft und soll noch einmal deutlich besser sein als seine Vorgänger. Das Unternehmen bietet die kleinen Modelle nun über Azure an.
Im Juni 2023 stellten Forschende von Microsoft Phi-1 vor, ein Transformer-basiertes und für Code optimiertes Sprachmodell mit nur 1,3 Milliarden Parametern. Das Modell wurde ausschließlich mit qualitativ hochwertigen Daten trainiert und schlug in Benchmarks bis zu zehnmal größere Modelle.
Wenige Monate später folgte Phi-1.5, ebenfalls 1,3 Milliarden Parameter groß und mit zusätzlichen Daten trainiert, die aus verschiedenen KI-generierten Texten bestehen. So kann Phi-1.5 nicht nur Code schreiben, sondern auch Gedichte verfassen, E-Mails und Geschichten schreiben und Texte zusammenfassen. Eine Variante kann auch Bilder analysieren. In Benchmarks zu "Common Sense", Sprachverständnis und logischem Denken konnte das Modell teilweise mit Modellen mit bis zu 10 Milliarden Parametern mithalten.
Nun hat Microsoft Phi-2 angekündigt, das mit 2,7 Milliarden Parametern doppelt so groß, aber im Vergleich zu anderen Sprachmodellen immer noch winzig ist. Im Vergleich zu Phi-1.5 zeige das Modell "dramatische Verbesserungen in den Bereichen logisches Denken und Sicherheit", so das Unternehmen. Mit dem richtigen Feintuning und weiteren Anpassungen sei das kleine Sprachmodell ein mächtiges Werkzeug für Cloud- und Edge-Anwendungen.
Microsofts Phi-2 zeigt Verbesserungen in Mathematik und Coding
Bislang hat das Unternehmen noch keine weiteren Details zu dem Modell veröffentlicht, nur Sebastien Bubeck, Leiter der Machine Learning Foundations Group bei Microsoft Research, hat auf Twitter einen Screenshot des "MT-Bench"-Benchmarks veröffentlicht, der versucht, große - und kleine - Sprachmodelle mit leistungsfähigen Sprachmodellen wie GPT-4 auf ihre tatsächlichen Fähigkeiten zu testen.
Demnach übertrifft Phi-2 das Modell Llama-2-7B von Meta in einigen Bereichen. Eine Chat-Variante von Phi-2 ist ebenfalls in Vorbereitung und könnte einige der bestehenden Schwächen des Modells in diesen Bereichen beheben.
Microsoft kündigt "Models as a Service" an
Phi-2 und Phi-1.5 sind nun auch im Azure AI Model Catalog verfügbar. Dort finden sich jetzt auch Modelle wie Stable Diffusion, Falcon, CLIP, Whisper V3, BLIP und SAM. Außerdem bringt Microsoft Code Llama und Nemotron von Meta und Nvidia.
Microsoft kündigte auch "Models as a Service" an: "Professionelle Entwickler werden bald in der Lage sein, die neuesten KI-Modelle wie Llama 2 von Meta, Command von Cohere, Jais von G42 und Premium-Modelle von Mistral als API-Endpunkte in ihre Anwendungen zu integrieren. Sie können diese Modelle auch mit ihren eigenen Daten verfeinern, ohne sich um die Einrichtung und Verwaltung der GPU-Infrastruktur kümmern zu müssen, wodurch die Komplexität der Ressourcenbereitstellung und des Hosting-Managements entfällt. "
