Meta sieht intern KI-Wende nach turbulenten Monaten

Meta hat laut einem internen Memo das Vortraining seines neuen KI-Modells mit dem Codenamen "Avocado" abgeschlossen.

Das Modell sei das "leistungsfähigste vortrainierte Basismodell" des Unternehmens, berichtet The Information unter Berufung auf ein internes Dokument. Beim Vortraining lernt ein KI-Modell aus großen Datenmengen grundlegende Muster und Zusammenhänge - es ist die erste Phase bei der Entwicklung von KI-Modellen.

Avocado übertreffe die besten frei verfügbaren Basismodelle, heißt es in dem Memo von Megan Fu, einer Produktmanagerin bei Meta Superintelligence Labs. Bei Wissen, visueller Wahrnehmung und mehrsprachiger Leistung könne es sogar mit führenden fertig trainierten Modellen mithalten - obwohl Avocado selbst noch nicht die zweite Trainingsphase durchlaufen hat. In dieser Phase, dem sogenannten Nachtraining, werden Modelle für bestimmte Aufgaben verfeinert.

Das Modell arbeite zudem deutlich sparsamer mit Rechenleistung: zehnmal effizienter als Maverick und hundertmal effizienter als Behemoth, zwei frühere Meta-Modelle. Diese Fortschritte habe Meta unter anderem durch bessere Trainingsdaten, Verbesserungen an der technischen Grundlage und durch eine veränderte Trainingsmethode erreicht.

Bewährungsprobe für Zuckerbergs Milliarden-Wette

Diese Fortschritte sind für Meta besonders wichtig, da das Unternehmen 2025 erhebliche Probleme mit seinem Llama-4-Modell hatte. Die Veröffentlichung musste mehrfach verschoben werden, Benchmarks wurden "optimiert" und Entwickler zeigten sich nach dem Start enttäuscht von der Leistung. Diese Schwierigkeiten führten zu einem großen Umbau der KI-Abteilung, inklusive des Abgangs von Yann LeCun. Meta investierte 14,3 Milliarden Dollar in das Start-up Scale AI und holte dessen Chef Alexandr Wang, um eine neue KI-Einheit namens Meta Superintelligence Labs zu leiten.

Meta steckt nun Rekordsummen in seine KI-Bemühungen: Für 2026 rechnet das Unternehmen mit Investitionsausgaben zwischen 115 und 135 Milliarden Dollar - etwa 73 Prozent mehr als 2025. Technikchef Andrew Bosworth sagte kürzlich beim Weltwirtschaftsforum in Davos, dass Metas KI-Modelle "sehr gut" seien, aber noch viel Nachtraining nötig sei. CEO Mark Zuckerberg wiederholte diese Aussicht bei der letzten Bilanzpressekonferenz. Im Laufe des Jahres wolle Meta stetig neue Modelle veröffentlichen. Laut Gerüchten wird sich Meta mit Avocado vom Open-Source-Ansatz der Llama-Modelle abwenden. Ein auf visuelle Anwendungen fokussiertes Modell mit dem Codenamen Mango ist ebenfalls in Entwicklung.