Sora wird weithin vor allem als Text- und Video-zu-Video-Modell wahrgenommen. Das eigentliche Forschungsziel von OpenAI ist jedoch ein Weltensimulator.
Doch genau dafür ist Sora nach Ansicht von Metas KI-Chef Yann LeCun nicht geeignet. Der renommierte KI-Forscher findet deutliche Worte für die Simulator-Theorie von OpenAI: Die Welt durch Pixelgenerierung vorhersagen zu wollen, sei ein verschwenderischer und zum Scheitern verurteilter Ansatz.
Es habe bei Computer Vision bereits eine historische Debatte über die Vorteile von generativen und diskriminativen Klassifikationsmethoden gegeben, wobei generative Methoden als schwieriger und weniger effektiv angesehen worden seien, sagte LeCun.
LeCun glaubt, dass generative Modelle für sensorische Eingaben scheitern werden, weil es zu schwierig ist, mit der Vorhersageunsicherheit bei hochdimensionalen kontinuierlichen sensorischen Eingaben umzugehen.
Für Text funktioniere generative KI gut, da er diskret sei und eine endliche Anzahl von Symbolen habe. Der Umgang mit Unsicherheiten sei hier einfach. Sensorische Eingaben erzeugten jedoch eine höhere Komplexität.
"Wenn dein Ziel ist, ein Weltmodell für Erkennung oder Planung zu trainieren, ist die Verwendung von Pixel-Vorhersagen eine schreckliche Idee", schreibt LeCun.
LeCun verfolgt einen eigenen Ansatz
Mit seinem KI-Modell "Video Joint Embedding Predictive Architecture (V-JEPA)" hat LeCun fast zeitgleich mit Sora eine eigene Architektur für einen Schritt hin zu einem Weltmodell vorgestellt, die nicht auf eine generative Methode setzt.
Das Modell sagt komplexe Interaktionen voraus und interpretiert sie, indem es verdeckte Teile von Videos ergänzt, um der KI die Dynamik von Objekten und Interaktionen zu vermitteln.
V-JEPA konzentriert sich dabei auf Vorhersagen in einem breiteren konzeptuellen Raum, ähnlich der kognitiven Bildverarbeitung des Menschen.
Diese Architektur ermöglicht es V-JEPA, sich an verschiedene Aufgaben anzupassen, indem eine kleine, aufgabenspezifische Schicht hinzugefügt wird, anstatt das gesamte Modell neu zu trainieren - ein großer Fortschritt gegenüber herkömmlichen KI-Modellen.
Metas KI-Team plant, die Fähigkeiten von V-JEPA zu erweitern und die Langzeitprognosen zu verbessern, um schließlich umfassende Weltmodelle für autonome KI-Systeme zu entwickeln.