Meta will GPT-4-Konkurrenz als Open-Source-Llama veröffentlichen
Auch das Wall Street Journal berichtet über die Pläne von Meta für Llama 3, das um ein Vielfaches leistungsfähiger sein soll als Llama 2.
Laut WSJ soll Meta das neue Modell für 2024 planen und die eigenen Rechenzentren speziell für das KI-Training mit H100s aufrüsten. Das Training soll Anfang 2024 beginnen und das resultierende Modell soll "ungefähr" auf dem Niveau von GPT-4 und deutlich besser als Llama 2 sein. Das WSJ beruft sich auf Quellen, die mit dem Projekt vertraut sind.
Meta-CEO Mark Zuckerberg soll trotz der Leistungssteigerung weiter an der Open-Source-Strategie festhalten, die Llama-Modelle für viele, wenn auch nicht alle Anwendungsfälle, kostenlos nutzbar zu machen - auch kommerziell.
Die Veröffentlichung des neuen Modells soll Teil von Zuckerbergs Strategie sein, Meta wieder als führendes KI-Unternehmen zu positionieren. Allerdings dürfte Google bis dahin Gemini veröffentlicht haben, und auch von OpenAI sind bis nächstes Jahr weitere Innovationen zu erwarten - wenn auch eher nicht GPT-5.
WSJ bestätigt Gerüchte über Llama 3
Der Bericht des Wall Street Journal deckt sich mit Aussagen des OpenAI-Ingenieurs Jason Wei. Er berichtete Ende August von einem Gruppentreffen mit Meta-KI-Entwicklern, die behaupteten, über genügend Rechenleistung zu verfügen, um Llama 3 und 4 zu trainieren. Llama 3 soll das Niveau von GPT-4 erreichen, aber frei verfügbar bleiben.
Llama 2 erreicht in einigen Anwendungen das Niveau von GPT-3.5 und wird ebenfalls von der Open-Source-Gemeinschaft durch Feintuning und zusätzliche Anwendungen optimiert. Das Niveau von GPT-4 zu erreichen, dürfte ungleich anspruchsvoller sein, da das aktuelle Modell von OpenAI auf einer komplexeren Architektur von 16 Expertennetzwerken mit jeweils ca. 111 Milliarden Parametern basiert.
Das könnte erklären, warum Meta mit einem Open-Source-Ansatz nicht das Ziel verfolgt, GPT-4 zu übertreffen, sondern nur das Niveau von GPT-4 zu erreichen. Die Verbreitung eines Modells mit der Komplexität von GPT-4 könnte ungleich schwieriger sein.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.