Metas Open Source GPT-4 Konkurrent Llama 3 soll in Kürze starten

LeCun bekräftigt erneut, dass für einen signifikanten logischen Fortschritt bei großen Sprachmodellen ein wissenschaftlicher Durchbruch erforderlich ist, der es dem Modell ermöglicht, aus möglichen Antworten die beste auszuwählen und ein mentales Modell der Auswirkungen seiner Handlungen zu entwickeln.

Originalartikel vom 9. April 2024:

Meta Llama 3: Neues Open Source KI-Modell soll nächste Woche starten

Einem Angestellten von Meta zufolge wird das Unternehmen in der nächsten Woche zwei kleinere Versionen seines kommenden Large Language Model Llama 3 veröffentlichen.

Das berichtet The Information unter Berufung auf eine Quelle bei Meta. Die kleineren Modelle sollen die Vorfreude auf die größere Version von Llama 3 im Sommer schüren, die ein Jahr nach der Veröffentlichung von Llama 2 im Sommer 2023 erscheinen soll.

Seitdem hat sich der Wettbewerb auf dem Open-Source-Markt deutlich verschärft. Immer mehr Modellentwickler versuchen auf sich aufmerksam zu machen, indem sie ihre Modelle oder eine Auswahl davon ebenfalls als Open Source zur Verfügung stellen.

Neben den Llama-Modellen hat insbesondere das französische Modell-Start-up Mistral mit seinem Mistral 7B und dem Mixtral MoE-Modell die Open-Source-Szene geprägt. Mit den Gemma-Modellen mischt auch Google-Deepmind auf dem Open-Source-Markt mit.

Llama 3 wird multimodal

Die beiden kleineren Modelle werden auf die Textgenerierung spezialisiert sein. Das für den Sommer geplante vollwertige Llama 3 soll jedoch multimodal arbeiten und auch Bilder erzeugen oder Fragen zu Bildern beantworten können.

Meta hofft, dass Llama 3 zu OpenAIs GPT-4 aufschließen kann. Die größte Version von Llama 3 könnte mit etwa 140 Milliarden Parametern doppelt so groß werden wie Llama 2.

Allerdings sagt die Anzahl der Parameter nur bedingt etwas über die Qualität des Modells aus. Elon Musks Grok-1 ist mit 314 Milliarden Parametern derzeit das größte Open Source Mixture-of-Experts-Modell. Es bietet aber nur eine Leistung auf dem Niveau von OpenAIs GPT-3.5 oder dem mit 56 Milliarden Parametern wesentlich kleineren Mixtral-Modell von Mistral.

Auch inhaltlich wird es wahrscheinlich Veränderungen geben: In den vergangenen Monaten hat das Meta-Team daran gearbeitet, Llama 3 offener für die Beantwortung kontroverser Fragen zu machen. Den Verantwortlichen von Meta waren die Antworten von Llama 2 zu vorsichtig. Llama 3 könnte bei schwierigen Fragen besser auf den Nutzer eingehen und mehr Kontext liefern.

Meta investierte zuletzt stark in KI und gehört zu den Hauptkunden für Nvidias Grafik-Chips. Bis Ende des Jahres will Meta-CEO Mark Zuckerberg rund 600.000 Grafikkarten für das KI-Training im Einsatz haben. Mit Artemis entwickelt Meta zudem einen eigenen KI-Chip.