Das nächste Open-Source-Sprachmodell von Meta, Llama 3, soll im Juli auf den Markt kommen und auf Augenhöhe mit GPT-4 Konkurrenz sein.
Laut Quellen von The Information soll die neue Version des Modells bei schwierigen Themen mehr auf den Benutzer eingehen und Kontext anbieten, anstatt knifflige Fragen zu blockieren.
Bei Wörtern, die je nach Kontext eine gefährliche oder harmlose Bedeutung haben können (z. B. "schlagen"), soll Llama 3 besser unterscheiden können. Bei Llama 2 habe Meta die Sicherheit konservativer gehandhabt, um auf jeden Fall ein PR-Desaster zu vermeiden.
Meta wolle einen Verantwortlichen für den Ton und das Sicherheitstraining des Modells einsetzen, um die Antworten des Modells nuancierter zu gestalten. Allerdings hätten allein in diesem Monat drei wichtige Personen im Bereich der KI-Sicherheit Meta verlassen.
In Sachen KI-Sicherheit gibt es derzeit zwei Lager: Auf der einen Seite der stark regulierte Ansatz wie bei OpenAIs ChatGPT, GPT-4 und Google Advanced, bei dem das KI-Modell klare Vorgaben hat, wie es politisch korrekt zu antworten hat.
Auf der anderen Seite steht die etwas offenere Open-Source-Bewegung und das Kontrastprogramm rund um X-Eigentümer Elon Musk, der mit seinem Chatbot "Grok" bewusst einen Chatbot anbietet, der konservative Weltanschauungen besser vertreten soll. Zum Leidwesen der Zielgruppe ist aber auch Grok noch zu "woke" und respektiert etwa Transsexuelle.
Llama 3 könnte doppelt so groß werden wie Llama 2
Ob Llama 3 wieder ein reines Sprachmodell oder multimodal wird, also neben Text auch Bilder versteht oder generiert, soll bisher nicht entschieden sein. Die größte Version von Llama 3 könnte mit mehr als 140 Milliarden Parametern doppelt so groß werden wie Llama 2 mit maximal 70 Milliarden Parametern.
Das wäre aber immer noch nur ein Bruchteil des ursprünglichen GPT-4 Mixture-of-Experts-Modells mit 1,76 Billionen Parametern. Wie viele Parameter die derzeit bei ChatGPT in Betrieb befindlichen GPT-4-Modelle haben, ist nicht bekannt, wahrscheinlich sind es weniger. Parameter sind längst nicht mehr der einzige Maßstab für die zu erwartende Output-Qualität von KI-Modellen.
Die Feinabstimmung von Llama 3 soll bisher nicht begonnen haben. Das endgültige Modell, das laut Quellen von The Information für Juli geplant ist, soll dann GPT-4-Qualität erreichen. Llama 2 erschien im Juli 2023.
Insgesamt hat Meta bei generativer KI noch viel vor und will der Open-Source-Strategie treu bleiben. Meta-CEO Mark Zuckerberg ist einer der größten Kunden von Nvidia und will bis Ende des Jahres rund 600.000 Grafikkarten für das KI-Training im Einsatz haben. Mit Artemis entwickelt Meta auch einen eigenen KI-Chip.
