Mit dem halb veröffentlichten, halb geleakten LLaMA-Modell hat Meta eine Open-Source-Bewegung für Sprachmodelle in Gang gesetzt. Auch in Zukunft wird Meta offen agieren.
In einem internen Meeting und im aktuellen Lex Fridman Podcast macht Zuckerberg deutlich, dass er weiter viel Potenzial in Open Source sieht.
Kritik an diesem Ansatz, insbesondere zum Thema Sicherheit, begegnet Zuckerberg mit dem Hinweis auf die noch begrenzten Fähigkeiten der Systeme an sich, aber auch mit dem Vergleich von Meta mit den deutlich größeren Modellen von Google oder OpenAI.
Sollte KI tatsächlich den Status einer Superintelligenz erreichen, müsste diese Position überdacht werden, aber bis dahin sei das Open Sourcing von KI-Systemen der beste Weg, um Feedback über Sicherheit und die Ausrichtung an menschlichen Bedürfnissen zu erhalten. Die Rückmeldungen und die enge Zusammenarbeit mit Außenstehenden würden Meta helfen, die eigenen Technologien zu verbessern.
Intern äußerte sich Zuckerberg laut der New York Times ähnlich zur Open-Source-Strategie: Die "Demokratisierung" der Technologie habe viele Vorteile und passe zudem zur eigenen Produktvision, möglichst viele KI-Systeme zu ermöglichen, anstatt ein einziges, das alles beherrsche.
"Unterschiedliche Menschen haben unterschiedliche Interessen, und wir brauchen ein breites Spektrum an KI, um all diese unterschiedlichen Interessen zu vertreten", sagt Zuckerberg.
LLaMA v2 soll mehr werden als ein Forschungsprojekt
Meta arbeitet an einem Nachfolgemodell für LLaMA, das LLaMA v2 oder einen anderen Namen tragen könnte. Laut Zuckerberg soll das neue Modell zu einem zentralen Infrastrukturprodukt für Meta werden, das viele Funktionen in den eigenen Produkten und "hoffentlich auch in vielen anderen" erfüllen wird, so Zuckerberg. Meta selbst plant offenbar Chatbots in WhatsApp und Instagram sowie einen KI-Assistenten für Smart Glasses und Headsets.
Einen besonderen Fokus will Meta auf das Thema Sicherheit legen und neueste Sicherheitstechnologien integrieren. Verantwortlichkeit und Alignment sind zwei zentrale Aspekte bei der Entwicklung. Außerdem soll im Vergleich zu LLaMA mit "mehr Daten aus den eigenen Diensten" trainiert werden.
Ob LLaMA v2 wieder Open Source wird, ist noch unklar. Mark Zuckerberg schließt dies nicht aus und sagt bei Fridman, dass Meta intern primär über das "Wie" diskutiere. LLaMA v1 wurde nur unter einer Forschungslizenz freigegeben und darf daher nicht für kommerzielle Projekte verwendet werden, was laut Zuckerberg weitgehend respektiert wird.
Metas LLaMA diente als Grundlage für zahlreiche Iterationen und Weiterentwicklungen von Open-Source-Chatbots und -Sprachmodellen wie Alpaca, Vicuna oder OpenAssistant.
