Inhalt
summary Zusammenfassung

Das nächste Open-Source-Sprachmodell von Meta, Llama 3, soll im Juli auf den Markt kommen und auf Augenhöhe mit GPT-4 Konkurrenz sein.

Anzeige

Laut Quellen von The Information soll die neue Version des Modells bei schwierigen Themen mehr auf den Benutzer eingehen und Kontext anbieten, anstatt knifflige Fragen zu blockieren.

Bei Wörtern, die je nach Kontext eine gefährliche oder harmlose Bedeutung haben können (z. B. "schlagen"), soll Llama 3 besser unterscheiden können. Bei Llama 2 habe Meta die Sicherheit konservativer gehandhabt, um auf jeden Fall ein PR-Desaster zu vermeiden.

Meta wolle einen Verantwortlichen für den Ton und das Sicherheitstraining des Modells einsetzen, um die Antworten des Modells nuancierter zu gestalten. Allerdings hätten allein in diesem Monat drei wichtige Personen im Bereich der KI-Sicherheit Meta verlassen.

Anzeige
Anzeige

In Sachen KI-Sicherheit gibt es derzeit zwei Lager: Auf der einen Seite der stark regulierte Ansatz wie bei OpenAIs ChatGPT, GPT-4 und Google Advanced, bei dem das KI-Modell klare Vorgaben hat, wie es politisch korrekt zu antworten hat.

Auf der anderen Seite steht die etwas offenere Open-Source-Bewegung und das Kontrastprogramm rund um X-Eigentümer Elon Musk, der mit seinem Chatbot "Grok" bewusst einen Chatbot anbietet, der konservative Weltanschauungen besser vertreten soll. Zum Leidwesen der Zielgruppe ist aber auch Grok noch zu "woke" und respektiert etwa Transsexuelle.

Llama 3 könnte doppelt so groß werden wie Llama 2

Ob Llama 3 wieder ein reines Sprachmodell oder multimodal wird, also neben Text auch Bilder versteht oder generiert, soll bisher nicht entschieden sein. Die größte Version von Llama 3 könnte mit mehr als 140 Milliarden Parametern doppelt so groß werden wie Llama 2 mit maximal 70 Milliarden Parametern.

Das wäre aber immer noch nur ein Bruchteil des ursprünglichen GPT-4 Mixture-of-Experts-Modells mit 1,76 Billionen Parametern. Wie viele Parameter die derzeit bei ChatGPT in Betrieb befindlichen GPT-4-Modelle haben, ist nicht bekannt, wahrscheinlich sind es weniger. Parameter sind längst nicht mehr der einzige Maßstab für die zu erwartende Output-Qualität von KI-Modellen.

Die Feinabstimmung von Llama 3 soll bisher nicht begonnen haben. Das endgültige Modell, das laut Quellen von The Information für Juli geplant ist, soll dann GPT-4-Qualität erreichen. Llama 2 erschien im Juli 2023.

Empfehlung

Insgesamt hat Meta bei generativer KI noch viel vor und will der Open-Source-Strategie treu bleiben. Meta-CEO Mark Zuckerberg ist einer der größten Kunden von Nvidia und will bis Ende des Jahres rund 600.000 Grafikkarten für das KI-Training im Einsatz haben. Mit Artemis entwickelt Meta auch einen eigenen KI-Chip.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Meta wird voraussichtlich im Juli Llama 3 auf den Markt bringen, ein Open-Source-Sprachmodell, das GPT-4 von OpenAI ebenbürtig sein soll. Llama 3 soll bei schwierigen Themen besser auf den Benutzer eingehen und Kontext liefern, anstatt Anfragen abzublocken.
  • Meta plant, einen Verantwortlichen für die Tonalität und das Sicherheitstraining des Modells einzusetzen, um die Antworten nuancierter zu gestalten. Llama 3 soll besser mit Wörtern umgehen können, die je nach Kontext eine brisante oder harmlose Bedeutung haben
  • Die größte Version von Llama 3 könnte mit mehr als 140 Milliarden Parametern doppelt so groß sein wie Llama 2. Bisher nicht entschieden ist, ob Llama 3 wieder ein reines Sprachmodell oder multimodal wird, also auch Bilder verarbeiten oder generieren kann.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!