Meta veröffentlicht das bisher größte Llama-Sprachmodell 405B mit 405 Milliarden Parametern. Außerdem wird die gesamte Llama-3-Familie auf Version 3.1 aktualisiert.
Meta hat neue Modelle seiner Open-Source-Sprachmodellreihe Llama veröffentlicht. Die Llama-3.1-Modelle unterstützen nun acht Sprachen und haben mit 128.000 Tokens eine deutlich größere Kontextlänge als die im April veröffentlichten Llama-3-Modelle.
Das größte Modell ist Llama 3.1 405B - laut Meta das erste "Frontier-Level Open Source AI Model". In internen Benchmarks übertrifft es GPT-4o, eine frühere Version von GPT-4, sowohl bei Aufgaben in englischer Sprache als auch bei Aufgaben, die Fähigkeiten in mehreren Sprachen erfordern.
Die kleineren 3.1 Llama-Modelle mit 70 und 8 Milliarden Parametern wurden laut Meta mit generierten Daten des 405B Modells optimiert. Sie sind ebenfalls mindestens auf Augenhöhe mit vergleichbaren Modellen, die jedoch mit Ausnahme von GPT-3.5 Turbo ebenfalls Open Source sind.
Natürlich sind das reine Benchmark-Ergebnisse, und die in der Praxis wahrgenommene Leistung kann davon abweichen. Die Ergebnisse sind jedoch zumindest ein Hinweis darauf, dass Llama 3 405B im Allgemeinen auf Augenhöhe mit bezahlten Modellen ist.
Meta stellt zudem neue Sicherheitstools vor, darunter Llama Guard 3 zur Moderation von Ein- und Ausgaben, Prompt Guard zum Schutz vor Prompt-Injektionen und CyberSecEval 3 zur Bewertung von Cybersicherheitsrisiken.
Meta-CEO Mark Zuckerberg trommelt für Open-Source-KI
Meta veröffentlicht das größte Llama-Modell mit Code und Gewichten. Die kommerzielle Nutzung ist unter der Llama-Lizenz erlaubt, das Modell darf verfeinert, sogar in andere Modelle übertragen ("destilliert") und die Generierungen für das KI-Training verwendet werden. Hierfür arbeitet Meta mit zahlreichen Partnern zusammen.
Nur Unternehmen mit mehr als 700 Millionen Nutzern müssen eine Lizenz für die kommerzielle Nutzung bei Meta erwerben. Warum macht Meta das, obwohl es Milliarden von Dollar in die Entwicklung und das Training des KI-Modells gesteckt hat?
Zum einen dürfte der Konzern hoffen, viele Entwickler für das eigene "KI-Betriebssystem" zu gewinnen, ähnlich wie es Google mit Android gelungen ist. Meta integriert die Modelle auch in eigene Produkte, etwa in den KI-Assistenten "Meta AI" für die Social-Plattformen. Wenn die Modelle durch die Community besser werden, werden auch Metas Produkte besser.
Zum anderen torpediert Meta damit die Geschäftsmodelle von OpenAI, Microsoft, Google und anderen, die in Sachen KI an Meta vorbeiziehen könnten, weil sie infrastrukturell besser aufgestellt sind und andere Geschäftsmodelle haben, etwa die Cloud. Meta wirft seinen Tech-Kollegen einen Knüppel zwischen die Beine.
Begleitend zur Veröffentlichung von Llama 3.1 405B spricht sich Meta-CEO Mark Zuckerberg für Open-Source-KI aus. Diese sei der Weg in die Zukunft, ähnlich wie Linux bei Hochleistungsrechnern die geschlossenen Unix-Systeme der großen Tech-Firmen abgelöst habe. Zuckerberg glaubt, dass offene Modelle wie Llama ab nächstem Jahr führend sein werden, da sie anpassbar und kosteneffizient sind.
Die Veröffentlichung von Llama 3 könnte OpenAI und andere unter Druck setzen, schneller mit leistungsfähigeren Modellen nachzuziehen, sofern dies technisch möglich ist. Die Fortschritte bei Sprachmodellen waren in letzter Zeit, gemessen an Benchmarks, eher gering. Auch Llama 3 sieht nicht nach einem großen Sprung aus.
Der derzeitige heilige Gral der KI-Industrie ist die Fähigkeit zum logischen Denken, kombiniert mit dem Wissen und den Sprachfähigkeiten großer multimodaler Modelle. Hier bringt Llama 3 keinen Fortschritt gegenüber der Konkurrenz.
