Inhalt
summary Zusammenfassung
Update
  • Informationen des London-Events ergänzt

Update vom 10. April 2024:

Anzeige

Meta-Cheflobbyist Nick Clegg bestätigt auf einer Meta KI-Veranstaltung in London, dass Llama 3 bald starten soll. Ein genaues Datum nennt Clegg nicht. Es soll eine Reihe verschiedener Modelle mit unterschiedlichen Fähigkeiten geben, die Meta im Laufe des Jahres veröffentlicht.

Langfristig sollen die KI-Agenten in der Lage sein, neben Antworten auch konkrete Aktionen zu generieren, etwa die Buchung einer Reise. Meta selbst will Llama 3-Modelle in zahlreiche eigene Dienste integrieren, darunter WhatsApp und RayBan Smartglasses. Meta AI, das die Llama-Modelle nutzt, soll der nützlichste KI-Assistent werden.

"Wir werden die ganze Zeit mit diesen KI-Assistenten sprechen", sagte Metas KI-Chefwissenschaftler Yann LeCun. "Unsere gesamte digitale Versorgung wird über KI-Systeme laufen."

Anzeige
Anzeige

LeCun bekräftigt erneut, dass für einen signifikanten logischen Fortschritt bei großen Sprachmodellen ein wissenschaftlicher Durchbruch erforderlich ist, der es dem Modell ermöglicht, aus möglichen Antworten die beste auszuwählen und ein mentales Modell der Auswirkungen seiner Handlungen zu entwickeln.

Originalartikel vom 9. April 2024:

Meta Llama 3: Neues Open Source KI-Modell soll nächste Woche starten

Einem Angestellten von Meta zufolge wird das Unternehmen in der nächsten Woche zwei kleinere Versionen seines kommenden Large Language Model Llama 3 veröffentlichen.

Das berichtet The Information unter Berufung auf eine Quelle bei Meta. Die kleineren Modelle sollen die Vorfreude auf die größere Version von Llama 3 im Sommer schüren, die ein Jahr nach der Veröffentlichung von Llama 2 im Sommer 2023 erscheinen soll.

Seitdem hat sich der Wettbewerb auf dem Open-Source-Markt deutlich verschärft. Immer mehr Modellentwickler versuchen auf sich aufmerksam zu machen, indem sie ihre Modelle oder eine Auswahl davon ebenfalls als Open Source zur Verfügung stellen.

Empfehlung

Neben den Llama-Modellen hat insbesondere das französische Modell-Start-up Mistral mit seinem Mistral 7B und dem Mixtral MoE-Modell die Open-Source-Szene geprägt. Mit den Gemma-Modellen mischt auch Google-Deepmind auf dem Open-Source-Markt mit.

Llama 3 wird multimodal

Die beiden kleineren Modelle werden auf die Textgenerierung spezialisiert sein. Das für den Sommer geplante vollwertige Llama 3 soll jedoch multimodal arbeiten und auch Bilder erzeugen oder Fragen zu Bildern beantworten können.

Meta hofft, dass Llama 3 zu OpenAIs GPT-4 aufschließen kann. Die größte Version von Llama 3 könnte mit etwa 140 Milliarden Parametern doppelt so groß werden wie Llama 2.

Allerdings sagt die Anzahl der Parameter nur bedingt etwas über die Qualität des Modells aus. Elon Musks Grok-1 ist mit 314 Milliarden Parametern derzeit das größte Open Source Mixture-of-Experts-Modell. Es bietet aber nur eine Leistung auf dem Niveau von OpenAIs GPT-3.5 oder dem mit 56 Milliarden Parametern wesentlich kleineren Mixtral-Modell von Mistral.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Auch inhaltlich wird es wahrscheinlich Veränderungen geben: In den vergangenen Monaten hat das Meta-Team daran gearbeitet, Llama 3 offener für die Beantwortung kontroverser Fragen zu machen. Den Verantwortlichen von Meta waren die Antworten von Llama 2 zu vorsichtig. Llama 3 könnte bei schwierigen Fragen besser auf den Nutzer eingehen und mehr Kontext liefern.

Meta investierte zuletzt stark in KI und gehört zu den Hauptkunden für Nvidias Grafik-Chips. Bis Ende des Jahres will Meta-CEO Mark Zuckerberg rund 600.000 Grafikkarten für das KI-Training im Einsatz haben. Mit Artemis entwickelt Meta zudem einen eigenen KI-Chip.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Meta wird in Kürze mit der Veröffentlichung seines Sprachmodells Llama 3 beginnen. Im Laufe des Jahres sind mehrere Versionen geplant. Ein Schwerpunkt werden KI-Assistenten sein, die auch Aktionen ausführen können.
  • Llama 3 soll im Gegensatz zu den auf Textgenerierung spezialisierten Vorgängerversionen multimodal arbeiten und mit rund 140 Milliarden Parametern doppelt so groß sein wie sein Vorgänger. Außerdem soll es offener mit kontroversen Themen umgehen können.
  • Die Open-Source-Szene für Sprachmodelle ist in den letzten Monaten stark gewachsen. Neben Meta drängen auch Mistral und Google Deepmind sowie viele kleinere Anbieter mit eigenen Modellen auf den Markt.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!