Microsoft will die Kosten für generative KI senken und forscht an effizienteren KI-Modellen. Das neueste Modell Phi 1.5 kann nun auch Bilder analysieren.
Zuvor hatten Microsoft-Forscher das Mini-Sprachmodell Phi-1 entwickelt, das durch Training mit relativ wenigen, aber qualitativ hochwertigen Daten Codierungsaufgaben auf hohem Niveau bewältigt.
Das Modell, das größere Modelle in Benchmarks deutlich übertraf, wurde mit Daten von "Lehrbuchqualität" trainiert. Das unterstreicht die Bedeutung der Datenqualität für das KI-Training.
Phi 1.5 kann Bilder analysieren und ist trotzdem noch klein
Jetzt haben Microsoft-Forscher Phi um die Fähigkeit erweitert, Bilder zu analysieren. Sie nennen das multimodale Modell Phi 1.5, das ergänzend mit synthetischen Daten trainiert wurde. Das zusätzliche Training und die neue Funktion sollen das Modell nur geringfügig vergrößert haben.
Sebastien Bubeck, Leiter der Gruppe Machine Learning Foundations bei Microsoft Research, nennt die Bildanalyse von OpenAI in GPT-4 als Vorbild. Die Forschungsfrage sei gewesen, ob diese Fähigkeit nur einem riesigen KI-Modell vorbehalten sei oder ob sie in ein winziges Modell wie Phi 1.5 integriert werden könne. "Und zu unserer Überraschung: Ja, es geht", sagt Bubeck zu Semafor.
GPT-4 soll rund 1,7 Billionen Parameter in mehreren vernetzten neuronalen Netzen haben, Phi-1 liegt laut Paper bei 1,3 Milliarden Parametern, hat also nur einen Bruchteil der Größe von GPT-4. Allerdings hat das Modell auch deutlich weniger Fähigkeiten, ist etwa auf Codierungsaufgaben mit Python spezialisiert und kein allgemeines Sprachmodell wie GPT-4.
Die hohen Kosten hochwertiger generativer KI
Microsofts Update auf Phi-1.5 passt zu Berichten, dass die Kosten für generative KI hoch sind und Unternehmen daher nach effizienteren Modellen suchen als OpenAIs GPT-4.
Microsofts Forschungschef Peter Lee soll viele der 1.500 Forscher des Unternehmens damit beauftragt haben, kleinere und kostengünstigere Chat-KI-Modelle zu entwickeln. Als Vorbild für die notwendige Effizienzsteigerung wird dabei das Phi-Modell genannt.
Laut Microsofts KI-Forscher Ahmed Awadallah könnten kleine und große KI-Modelle in Zukunft so zusammenarbeiten, dass sich ein Modell wie ein Agent verhält und Aufgaben an das große Modell weitergibt, wenn es sich nicht sicher genug fühlt. Nach diesem Prinzip verfährt Microsoft bereits beim Bing-Chat im "Ausgewogen"-Modus.
Diese kostengünstigeren Systeme sollen in die Software von Microsoft integriert werden, wo täglich viele Millionen Anfragen generiert werden können und somit potenziell besonders hohe Kosten entstehen. Microsoft Phi ist als Open Source verfügbar.
