Ein durchgesickertes Dokument eines anonymen Google-Mitarbeiters diskutiert die Rolle von Open-Source-KI-Projekten und ihre möglichen Auswirkungen auf Branchenriesen wie Google und OpenAI.
Bitte beachten: Bei diesem Dokument handelt es sich vermutlich um eine Einzelmeinung innerhalb von Google. Es gibt keinen Hinweis darauf, dass der Inhalt des Papiers die Geschäftsstrategie von Google beeinflussen wird, und es ist nur eine von vielen Perspektiven. Dennoch ist es interessant zu sehen, was innerhalb von Google über Open Source KI diskutiert wird.
Das Dokument unterstreicht die beeindruckenden Errungenschaften der Open-Source-Gemeinschaft in den letzten Wochen und stellt die Frage, ob die großen Akteure ihren Wettbewerbsvorteil in diesem schnelllebigen Bereich aufrechterhalten können. Das Dokument wurde bei Discord geleakt und von Semianalysis verifiziert.
Open-Source-KI läuft den Großen davon
"Wir haben keinen Burggraben. Und OpenAI auch nicht", lautet eine zentrale Aussage des Papiers. Weder Google noch OpenAI könnten sich angesichts des rasanten Fortschritts der Open-Source-Community einen nachhaltigen Wettbewerbsvorteil verschaffen.
Die Open-Source-KI-Community habe in letzter Zeit bemerkenswerte Fortschritte gemacht. Große Sprachmodelle (Large Language Models, LLMs) könnten nun auf Smartphones laufen, und personalisierte KI-Systeme könnten innerhalb weniger Stunden auf Laptops angepasst oder mit beeindruckender Geschwindigkeit trainiert werden.
Diese Entwicklungen wurden durch die Fähigkeit der Open-Source-Gemeinschaft ermöglicht, KI-Modelle schnell zu iterieren und zu verbessern, heißt es im Papier.
"Die Einstiegshürde für Training und Experimente ist von der Gesamtleistung einer großen Forschungseinrichtung auf eine Person, einen Abend und einen leistungsstarken Laptop gesunken."
Die Modelle von Google hätten zwar noch einen kleinen Vorsprung, der aber schnell schrumpfen werde. In Bezug auf das Preis-Leistungs-Verhältnis seien die Open-Source-Modelle schon jetzt besser und zudem schneller, leichter anpassbar und datenschutzfreundlicher.
Der "Stable-Diffusion-Moment" von Sprachmodellen
Ein wichtiger Faktor, der zu dieser schnellen Innovation beiträgt, ist die Low-Rank-Adaption (LoRA), eine Methode zur schnellen und kostengünstigen Feinabstimmung von KI-Modellen.
LoRA in Verbindung mit dem LLaMA-Leak habe eine Flut von Ideen und Iterationen von Einzelpersonen und Institutionen auf der ganzen Welt ermöglicht, die die großen Akteure in diesem Bereich schnell überholt hätten, so das Papier.
Das Papier betont, dass große Modelle, die von Grund auf neu entwickelt werden müssen, den Innovationsprozess verlangsamen und dass kleinere Modelle, die schneller überarbeitet werden können, letztlich vorteilhafter sein können. Qualitativ hochwertige, kuratierte Datensätze seien für die Verbesserung der Modellleistung wichtiger als die reine Datenmenge.
Meta als großer Gewinner der Open-Source-Bewegung
Das Papier legt nahe, dass ein direkter Wettbewerb mit Open-Source-Projekten für Google und OpenAI langfristig kein gangbarer Weg ist. Stattdessen empfiehlt es Google, mit der Open-Source-Community zusammenzuarbeiten, von ihren Innovationen zu lernen und seine Strategien anzupassen.
Das Papier weist auch darauf hin, dass die geschlossene Politik von OpenAI im Widerspruch zur Open-Source-Bewegung stehe, OpenAI aber "letztlich nicht wichtig" sei, da es die gleichen Fehler wie Google mache und von Open-Source-Lösungen überholt werde. Außerdem würde Google durch Personalwechsel ohnehin Informationen mit OpenAI teilen. Geheimhaltung oder Closed Source mit Verweis auf den Wettbewerb sei daher unnötig.
Der große Gewinner der Open-Source-Entwicklung der letzten Wochen sei Meta: Alle Innovationen aus der Open-Source-Community würden auf der LLaMA-Architektur von Meta basieren. Nichts hindere Meta daran, diese Innovationen in die eigenen Produkte zu integrieren. Der Facebook-Konzern habe auf diese Weise viel kostenlose Arbeitszeit erhalten.
Der Rat des Papiers: Google solle sich ähnlich wie bei Android und Chrome als Vorreiter der Open-Source-Bewegung positionieren und damit eine führende Position im KI-Ökosystem einnehmen. Dafür müsse man bereit sein, die Kontrolle über die eigenen KI-Modelle abzugeben.
"Wir können nicht darauf hoffen, Innovation voranzutreiben und sie gleichzeitig zu kontrollieren", heißt es im Papier.
Von Open zu Closed Source: ChatGPT sorge bei Google angeblich für Strategiewechsel
Parallel berichtet die Washington Post, dass Googles KI-Chef Jeff Dean im Februar intern angekündigt habe, dass Googles KI-Forschende ihre Arbeiten nicht mehr wie in den vergangenen Jahren öffentlich teilen dürften. Forschungsergebnisse sollten nur noch geteilt werden, wenn sie bereits Teil eines Produkts seien. Grund dafür sei der große Erfolg von ChatGPT.
Seit ChatGPT und GPT-4 veröffentlicht OpenAI nur noch rudimentäre Informationen über die eigenen Modelle. Wichtige Informationen wie die Modellgröße, der genaue Trainingsprozess oder die verwendeten Trainingsdaten wurden von OpenAI "aus Wettbewerbsgründen" bisher nicht veröffentlicht.
Das geleakte Dokument bezieht sich insbesondere auf die Fortschritte in der Open-Source-KI seit dem Leak von Metas LLaMA, dem ersten großen Foundational Model. Es könnte also eine direkte Replik auf Deans Strategiewechsel sein. In jedem Fall zeigen diese beiden Fälle die unterschiedlichen Strömungen innerhalb von Google und zeichnen ein Bild der Komplexität der aktuellen KI-Landschaft. Und dabei wurde noch nicht einmal ernsthaft über das Geldverdienen gesprochen.
