Inhalt
summary Zusammenfassung

Einem ersten Gerücht zufolge soll Llama 3 mit GPT-4 konkurrieren können, aber weiterhin unter der Llama-Lizenz frei verfügbar sein.

Anzeige

Dies berichtet zumindest der OpenAI-Ingenieur Jason Wei, der früher bei Google Brain gearbeitet hat. Auf einem von Meta organisierten Social Event der Generative AI Group habe er ein Gespräch belauscht, in dem es hieß, Meta verfüge nun über genügend Rechenleistung, um Llama 3 und 4 zu trainieren. Llama 3 soll das Niveau von GPT-4 erreichen, aber frei verfügbar bleiben.

Bild: Jason Wei via Twitter

Auch wenn Wei selbst eine glaubwürdige Quelle ist, könnten die gehörten Aussagen natürlich falsch sein oder die Pläne sich noch ändern. Wann Llama 3 erscheinen könnte, ist nicht bekannt. Zwischen der Veröffentlichung von Llama 1 Ende Februar 2023 und Llama 2 Ende Juli 2023 liegen etwa fünf Monate.

GPT-4 hat eine komplexere Architektur

GPT-4 erreicht seine hohe Leistungsfähigkeit vermutlich insbesondere durch eine komplexere Mixture-of-Experts-Architektur mit 16 Expertennetzwerken mit jeweils rund 111 Milliarden Parametern.

Anzeige
Anzeige

Der Sprung von Llama 2 zu Llama 3 dürfte entsprechend anspruchsvoller sein als nur mehr Training und könnte daher länger dauern als der Sprung von Llama 1 zu 2.

Llama 2 erreicht in einigen Anwendungen das Niveau von GPT-3.5 und wird zudem von der Open-Source-Gemeinschaft durch Feintuning und zusätzliche Anwendungen optimiert.

Beispielsweise erreicht der kürzlich veröffentlichte Code Llama, das auf Llama 2 basiert, durch Feintuning im Coding Benchmark HumanEval Ergebnisse auf dem Niveau von GPT-3.5 und GPT-4 (je nach Art der Messung).

Im Paper zu Llama 2 stellt Meta jedoch selbst fest, dass noch eine große Leistungslücke zu Closed-Source-Modellen wie GPT-4 und Googles PaLM-2 besteht.

Die Financial Times berichtete Mitte Juli, dass das Hauptziel von Metas Llama-Modellen sei, die Dominanz von OpenAI auf dem LLM-Markt zu brechen. Meta dürfte versuchen, ähnlich wie es Google mit Android gelang, die Llama-Modelle als Basistechnologie im LLM-Markt zu etablieren, um später zusätzliche Angebote zu vermarkten. Zudem profitiert Meta von der schnellen Weiterentwicklung der Modelle durch die Open-Source-Gemeinschaft.

Empfehlung

OpenAI-Chef Sam Altman sagte Anfang Juni 2023, dass GPT-5 noch weit von einem Trainingsstart entfernt sei. Google plant, mit Gemini Ende dieses oder Anfang nächsten Jahres die nächste Generation multimodaler LLMs auf den Markt zu bringen.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Einem ersten Gerücht zufolge arbeitet Meta an Llama 3, das mit GPT-4 konkurrieren kann, aber unter der Llama-Lizenz weitgehend frei verfügbar bleiben soll.
  • Der OpenAI-Ingenieur Jason Wei berichtet, er habe gehört, dass Meta über genügend Rechenleistung verfüge, um Llama 3 auf dem Niveau von GPT-4 zu trainieren. Auch das Training von Llama 4 sei bereits möglich.
  • Auch wenn Wei selbst eine glaubwürdige Quelle ist, können die gehörten Aussagen natürlich falsch sein oder die Pläne sich noch ändern.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!