Auch das Wall Street Journal berichtet über die Pläne von Meta für Llama 3, das um ein Vielfaches leistungsfähiger sein soll als Llama 2.
Laut WSJ soll Meta das neue Modell für 2024 planen und die eigenen Rechenzentren speziell für das KI-Training mit H100s aufrüsten. Das Training soll Anfang 2024 beginnen und das resultierende Modell soll "ungefähr" auf dem Niveau von GPT-4 und deutlich besser als Llama 2 sein. Das WSJ beruft sich auf Quellen, die mit dem Projekt vertraut sind.
Meta-CEO Mark Zuckerberg soll trotz der Leistungssteigerung weiter an der Open-Source-Strategie festhalten, die Llama-Modelle für viele, wenn auch nicht alle Anwendungsfälle, kostenlos nutzbar zu machen - auch kommerziell.
Die Veröffentlichung des neuen Modells soll Teil von Zuckerbergs Strategie sein, Meta wieder als führendes KI-Unternehmen zu positionieren. Allerdings dürfte Google bis dahin Gemini veröffentlicht haben, und auch von OpenAI sind bis nächstes Jahr weitere Innovationen zu erwarten - wenn auch eher nicht GPT-5.
WSJ bestätigt Gerüchte über Llama 3
Der Bericht des Wall Street Journal deckt sich mit Aussagen des OpenAI-Ingenieurs Jason Wei. Er berichtete Ende August von einem Gruppentreffen mit Meta-KI-Entwicklern, die behaupteten, über genügend Rechenleistung zu verfügen, um Llama 3 und 4 zu trainieren. Llama 3 soll das Niveau von GPT-4 erreichen, aber frei verfügbar bleiben.
Llama 2 erreicht in einigen Anwendungen das Niveau von GPT-3.5 und wird ebenfalls von der Open-Source-Gemeinschaft durch Feintuning und zusätzliche Anwendungen optimiert. Das Niveau von GPT-4 zu erreichen, dürfte ungleich anspruchsvoller sein, da das aktuelle Modell von OpenAI auf einer komplexeren Architektur von 16 Expertennetzwerken mit jeweils ca. 111 Milliarden Parametern basiert.
Das könnte erklären, warum Meta mit einem Open-Source-Ansatz nicht das Ziel verfolgt, GPT-4 zu übertreffen, sondern nur das Niveau von GPT-4 zu erreichen. Die Verbreitung eines Modells mit der Komplexität von GPT-4 könnte ungleich schwieriger sein.
