Meta hat weitere Einzelheiten zur Llama 2-Architektur, Trainingsaufwand, dem Ansatz für das Feintuning und mehr veröffentlicht, "um der Community zu ermöglichen, auf unserer Arbeit aufzubauen und zur verantwortungsvollen Entwicklung von LLMs beizutragen", wie das Unternehmen schreibt.
Mit dem neuen Sprachmodell Llama 2 positioniert sich Meta als Open-Source-Alternative zu OpenAI. Überraschenderweise ist Microsoft als Partner mit an Bord.
Llama 2 ist ab sofort frei verfügbar für Forschung und kommerzielle Nutzung mit bis zu 700 Millionen aktiven Nutzern pro Monat. Das Modell kommt in drei Größen mit 7, 13 und 70 Milliarden Parametern und wurde laut Meta mit 40 Prozent mehr Daten trainiert als Llama v1.
Die Kontextlänge, also die maximal im KI-Kurzzeitgedächtnis verfügbare Datenmenge, die das Modell auf einmal verarbeiten kann, liegt mit 4096 Token doppelt so hoch wie beim Vorgänger und ist auf dem Niveau von ChatGPT mit GPT-3.5.
Im Vergleich zu Llama v1 und anderen Open-Source-Modellen zeigt Llama 2 in allen Benchmarks eine bessere Performance. Insbesondere im wichtigen Massive Multi-Task Language Understanding (MMLU)-Benchmark setzt sich Llama deutlich vom Vorgängermodell und der Open-Source-Konkurrenz ab.
Im Vergleich zu Closed-Source-Modellen wie GPT-4 und PaLM-2 spricht Meta selbst von einer "großen Leistungslücke". Das Niveau von ChatGPT mit GPT-3.5 dürfte aber in der Praxis in vielen Fällen von Llama-2 erreicht werden.
Für Coding-Aufgaben dürften GPT-4 mit Codeinterpreter oder spezialisierte Modelle wie Starcoder laut Benchmarks weiter vorne liegen.
Diese Modelle [Llama 2] haben bewiesen, dass sie mit bestehenden Open-Source-Chatmodellen konkurrieren können und in den von uns untersuchten Evaluierungsreihen einigen proprietären Modellen gleichwertig sind, obwohl sie noch hinter anderen Modellen wie GPT-4 zurückbleiben.
Aus dem Paper
Laut Meta wurde Llama 2 mit öffentlich zugänglichen Online-Datenquellen trainiert. Das fein abgestimmte Modell für Chats, Llama-2-chat, verwendet öffentlich verfügbare Instruktionsdatensätze und mehr als eine Million menschliche Annotationen. Mit der gleichen Methode, Reinforcement Learning from Human Feedback (RLHF), hat OpenAI auch ChatGPT optimiert.
Meta stellt die Modelle kostenlos per Download auf der Llama-Webseite zur Verfügung. Zuvor muss man jedoch eine Anmeldung ausfüllen.
Jeder Download kommt mit dem Modell-Code, den Gewichten, einem Benutzerhandbuch, einem Leitfaden zur verantwortungsvollen Nutzung, Richtlinien zur akzeptablen Nutzung, der Modellkarte und der Lizenz.
Eine kostenlose Demo-Version des Chat-Modells mit 7 und 13 Milliarden Parametern ist auf dieser Website verfügbar.
Meta kooperiert mit Microsoft
Etwas überraschend präsentiert Meta das Llama-Modell zusammen mit Microsoft, dem größten Investor in OpenAI. Offenbar will sich Microsoft in beiden Bereichen, Closed Source und Open Source, positionieren und die Modelle über die eigene Azure-Infrastruktur Unternehmen zur Verfügung stellen. Meta bietet Lama auch über Amazon Web Services, Hugging Face und andere Anbieter an.
Die beiden Unternehmen hätten eine gemeinsame Geschichte bei der Schaffung offener KI-Ökosysteme und unterstützten PyTorch - ein von Meta mitentwickeltes KI-Framework - auf Microsoft Azure, heißt es in der Ankündigung des Modells.
Die Zusammenarbeit sieht auch vor, immersive Erfahrungen für die Zukunft der Arbeit und des Spielens im Metaverse zu ermöglichen. Microsoft kündigte im vergangenen Herbst erstmals Office-Software für Metas VR-Brille an.
Darüber hinaus betont Meta die Bedeutung eines verantwortungsvollen Umgangs mit KI und stellt Ressourcen wie Red-Teaming-Übungen, ein Transparenzschema, einen Leitfaden zur verantwortungsvollen Nutzung und eine Richtlinie zur akzeptablen Nutzung zur Verfügung, um einen fairen und verantwortungsvollen Umgang mit Llama 2 zu gewährleisten.
Zusätzlich sichert sich Meta PR-technisch mit einer Reihe von Bestätigungen von Experten ab, die die Veröffentlichung des Modells - trotz der damit verbundenen Risiken - begrüßen. "Verantwortliche und offene Innovation gibt uns allen eine Stimme im KI-Entwicklungsprozess und bringt Sichtbarkeit, Kontrolle und Vertrauen in diese Technologien", heißt es in der Erklärung.
Metas KI-Chef Yann LeCun, einer der renommiertesten Forscher auf dem Gebiet der Künstlichen Intelligenz, feierte die Veröffentlichung von Llama 2 auf Twitter: "Das wird die Landschaft des LLM-Marktes verändern."
Die Veröffentlichung bestätigt einige Gerüchte der letzten Wochen, unter anderem, dass Llama v2 kommerziell nutzbar ist und das Wachstum von OpenAI bremsen soll. Meta selbst könnte sich in eine strategisch interessante Position bringen, indem es die Open-Source-Bewegung für sein eigenes KI-Ökosystem nutzt.
