Einem ersten Gerücht zufolge soll Llama 3 mit GPT-4 konkurrieren können, aber weiterhin unter der Llama-Lizenz frei verfügbar sein.
Dies berichtet zumindest der OpenAI-Ingenieur Jason Wei, der früher bei Google Brain gearbeitet hat. Auf einem von Meta organisierten Social Event der Generative AI Group habe er ein Gespräch belauscht, in dem es hieß, Meta verfüge nun über genügend Rechenleistung, um Llama 3 und 4 zu trainieren. Llama 3 soll das Niveau von GPT-4 erreichen, aber frei verfügbar bleiben.
Auch wenn Wei selbst eine glaubwürdige Quelle ist, könnten die gehörten Aussagen natürlich falsch sein oder die Pläne sich noch ändern. Wann Llama 3 erscheinen könnte, ist nicht bekannt. Zwischen der Veröffentlichung von Llama 1 Ende Februar 2023 und Llama 2 Ende Juli 2023 liegen etwa fünf Monate.
GPT-4 hat eine komplexere Architektur
GPT-4 erreicht seine hohe Leistungsfähigkeit vermutlich insbesondere durch eine komplexere Mixture-of-Experts-Architektur mit 16 Expertennetzwerken mit jeweils rund 111 Milliarden Parametern.
Der Sprung von Llama 2 zu Llama 3 dürfte entsprechend anspruchsvoller sein als nur mehr Training und könnte daher länger dauern als der Sprung von Llama 1 zu 2.
Llama 2 erreicht in einigen Anwendungen das Niveau von GPT-3.5 und wird zudem von der Open-Source-Gemeinschaft durch Feintuning und zusätzliche Anwendungen optimiert.
Beispielsweise erreicht der kürzlich veröffentlichte Code Llama, das auf Llama 2 basiert, durch Feintuning im Coding Benchmark HumanEval Ergebnisse auf dem Niveau von GPT-3.5 und GPT-4 (je nach Art der Messung).
Im Paper zu Llama 2 stellt Meta jedoch selbst fest, dass noch eine große Leistungslücke zu Closed-Source-Modellen wie GPT-4 und Googles PaLM-2 besteht.
Die Financial Times berichtete Mitte Juli, dass das Hauptziel von Metas Llama-Modellen sei, die Dominanz von OpenAI auf dem LLM-Markt zu brechen. Meta dürfte versuchen, ähnlich wie es Google mit Android gelang, die Llama-Modelle als Basistechnologie im LLM-Markt zu etablieren, um später zusätzliche Angebote zu vermarkten. Zudem profitiert Meta von der schnellen Weiterentwicklung der Modelle durch die Open-Source-Gemeinschaft.
OpenAI-Chef Sam Altman sagte Anfang Juni 2023, dass GPT-5 noch weit von einem Trainingsstart entfernt sei. Google plant, mit Gemini Ende dieses oder Anfang nächsten Jahres die nächste Generation multimodaler LLMs auf den Markt zu bringen.
