Metas Llama 3 soll im Juli starten und etwas lockerer werden
Kurz & Knapp
- Meta wird voraussichtlich im Juli Llama 3 auf den Markt bringen, ein Open-Source-Sprachmodell, das GPT-4 von OpenAI ebenbürtig sein soll. Llama 3 soll bei schwierigen Themen besser auf den Benutzer eingehen und Kontext liefern, anstatt Anfragen abzublocken.
- Meta plant, einen Verantwortlichen für die Tonalität und das Sicherheitstraining des Modells einzusetzen, um die Antworten nuancierter zu gestalten. Llama 3 soll besser mit Wörtern umgehen können, die je nach Kontext eine brisante oder harmlose Bedeutung haben
- Die größte Version von Llama 3 könnte mit mehr als 140 Milliarden Parametern doppelt so groß sein wie Llama 2. Bisher nicht entschieden ist, ob Llama 3 wieder ein reines Sprachmodell oder multimodal wird, also auch Bilder verarbeiten oder generieren kann.
Das nächste Open-Source-Sprachmodell von Meta, Llama 3, soll im Juli auf den Markt kommen und auf Augenhöhe mit GPT-4 Konkurrenz sein.
Laut Quellen von The Information soll die neue Version des Modells bei schwierigen Themen mehr auf den Benutzer eingehen und Kontext anbieten, anstatt knifflige Fragen zu blockieren.
Bei Wörtern, die je nach Kontext eine gefährliche oder harmlose Bedeutung haben können (z. B. "schlagen"), soll Llama 3 besser unterscheiden können. Bei Llama 2 habe Meta die Sicherheit konservativer gehandhabt, um auf jeden Fall ein PR-Desaster zu vermeiden.
Meta wolle einen Verantwortlichen für den Ton und das Sicherheitstraining des Modells einsetzen, um die Antworten des Modells nuancierter zu gestalten. Allerdings hätten allein in diesem Monat drei wichtige Personen im Bereich der KI-Sicherheit Meta verlassen.
In Sachen KI-Sicherheit gibt es derzeit zwei Lager: Auf der einen Seite der stark regulierte Ansatz wie bei OpenAIs ChatGPT, GPT-4 und Google Advanced, bei dem das KI-Modell klare Vorgaben hat, wie es politisch korrekt zu antworten hat.
Auf der anderen Seite steht die etwas offenere Open-Source-Bewegung und das Kontrastprogramm rund um X-Eigentümer Elon Musk, der mit seinem Chatbot "Grok" bewusst einen Chatbot anbietet, der konservative Weltanschauungen besser vertreten soll. Zum Leidwesen der Zielgruppe ist aber auch Grok noch zu "woke" und respektiert etwa Transsexuelle.
Llama 3 könnte doppelt so groß werden wie Llama 2
Ob Llama 3 wieder ein reines Sprachmodell oder multimodal wird, also neben Text auch Bilder versteht oder generiert, soll bisher nicht entschieden sein. Die größte Version von Llama 3 könnte mit mehr als 140 Milliarden Parametern doppelt so groß werden wie Llama 2 mit maximal 70 Milliarden Parametern.
Das wäre aber immer noch nur ein Bruchteil des ursprünglichen GPT-4 Mixture-of-Experts-Modells mit 1,76 Billionen Parametern. Wie viele Parameter die derzeit bei ChatGPT in Betrieb befindlichen GPT-4-Modelle haben, ist nicht bekannt, wahrscheinlich sind es weniger. Parameter sind längst nicht mehr der einzige Maßstab für die zu erwartende Output-Qualität von KI-Modellen.
Die Feinabstimmung von Llama 3 soll bisher nicht begonnen haben. Das endgültige Modell, das laut Quellen von The Information für Juli geplant ist, soll dann GPT-4-Qualität erreichen. Llama 2 erschien im Juli 2023.
Insgesamt hat Meta bei generativer KI noch viel vor und will der Open-Source-Strategie treu bleiben. Meta-CEO Mark Zuckerberg ist einer der größten Kunden von Nvidia und will bis Ende des Jahres rund 600.000 Grafikkarten für das KI-Training im Einsatz haben. Mit Artemis entwickelt Meta auch einen eigenen KI-Chip.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.