Google Deepmind sieht in KI-Videogeneratoren mächtige Bildverarbeitungswerkzeuge

Ein neues Modell von Google Deepmind namens GenCeption nutzt ein vortrainiertes Video-Generierungsmodell als Basis für klassische Bildverarbeitungsaufgaben. Es erreicht damit den Stand der Technik in Disziplinen wie Tiefenschätzung, Segmentierung und 3D-Pose-Erkennung mit wenig Trainingsdaten.

Sprachmodelle sind über einen Umweg zu vielseitigen Verarbeitungsmaschinen geworden. Wer lernt, das nächste Wort in einem Text vorherzusagen, muss dabei offenbar automatisch Grammatik, Weltwissen und Zusammenhänge verinnerlichen. So zumindest lautet das derzeit vorherrschende Verständnis der emergenten Fähigkeiten von Large Language Models.

In der Computer Vision fehlt bislang ein solches universelles Trainingsprinzip. Dort dominieren noch immer Spezialmodelle wie Segment Anything für Segmentierung oder Depth Anything für Tiefenschätzung, jedes mit eigener Architektur.

Die Deepmind-Forschenden argumentieren in einem neuen Paper, dass große Text-zu-Video-Modelle diese Lücke schließen könnten. Wer realistische Videos erzeugen will, muss die räumliche Geometrie einer Szene, die Bewegungen von Objekten und die Grundregeln der Physik verstehen. Solche Modelle sind zudem auf Textbeschreibungen konditioniert und kennen daher den Zusammenhang zwischen Sprache und Bildinhalten von Haus aus. Außerdem ließen sie sich mit riesigen Datenmengen skalieren, weil die Beschriftung vergleichsweise günstig sei.

GenCeption baut auf einem Video-Generator auf

Das Modell GenCeption verwendet das offene Video-Modell Alibabas Wan2.1 als Grundlage. Der zentrale Trick liegt in einer architektonischen Vereinfachung. Statt wie üblich Videos in vielen kleinen Rechenschritten aus Rauschen zu erzeugen, wird das Modell so umgebaut, dass es in einem einzigen Durchgang eine Vorhersage liefert. Das macht es schnell genug für praktische Bildverarbeitungsaufgaben.

Damit ein und dasselbe Modell verschiedene Aufgaben erledigen kann, greifen die Forschenden zu einem einfachen Kniff. Alle Ausgaben werden als normales dreikanaliges RGB-Bild dargestellt, egal ob Tiefenkarte, Oberflächennormalen oder Segmentierung. Auch Kamerabewegungen werden in ein solches Bild übersetzt. Welche Aufgabe das Modell erledigen soll, teilt man ihm über einen Text-Prompt mit, ähnlich wie bei einem Chatbot.

Für Aufgaben wie die 3D-Keypoint-Vorhersage, die keine Bildausgabe benötigen, kommen zusätzliche lernbare Bausteine hinzu. Auffällig ist auch die schlanke Trainingsphilosophie mit einer einzigen einheitlichen Verlustfunktion für alle Aufgaben. Aufgabenspezifische Eigenheiten löst das Team über die Aufbereitung der Trainingsdaten, nicht über architektonische Sonderbehandlungen.

Konkurrenzfähig mit einem Bruchteil der Daten

Als Trainingsdaten dient hauptsächlich ein synthetisch erzeugter Datensatz aus lediglich 7.500 Videos. Das Team hat dafür 800 digitale Menschenmodelle mit 200 Bewegungsabläufen aus einem Motion-Capture-Datensatz kombiniert und die Ergebnisse in Blender vor variablen Hintergründen und Kamerawinkeln gerendert. Nur für sprachgesteuerte Segmentierung wurden zusätzlich echte Videos verwendet.

Trotz seiner einheitlichen Architektur schlägt oder erreicht GenCeption laut Studie in zahlreichen Benchmarks den Stand der Technik. Bei der Tiefenschätzung liegt es gleichauf mit spezialisierten Modellen wie DepthAnything 3. Bei der Normalenschätzung übertrifft es NormalCrafter und Lotus-2, bei der 3D-Pose-Erkennung schneidet es besser ab als Genmo und TRAM. Bei komplexer sprachgesteuerter Segmentierung liegt es auf dem Niveau von Metas SAM 3 in Kombination mit Gemini 3.5 Flash.

Besonders bemerkenswert ist die Effizienz. Konkurrenzmodelle wie D4RT und VGGT-Ω wurden mit Millionen von Videos trainiert, GenCeption erreicht vergleichbare Ergebnisse mit 7- bis 500-mal weniger Daten. Unter fairen Bedingungen schlägt das video-generative Vortraining zudem konkurrierende Vortrainings-Ansätze wie V-JEPA und VideoMAE V2 deutlich. Für die Autoren ist das ein Hinweis, dass nicht nur die Datenmenge, sondern das Generierungsziel selbst entscheidend ist für das Erlernen brauchbarer räumlich-zeitlicher Repräsentationen.

Überraschende Generalisierung, aber nicht alles klappt reibungslos

Obwohl das Modell fast ausschließlich mit synthetischen Videos einzelner Menschen trainiert wurde, funktioniert es auch bei echten Videos, bei mehreren Personen im Bild und bei völlig anderen Objektkategorien wie Tieren oder anthropomorphen Robotern. Laut Studie ist die Detailtreue der Ausgaben teils sogar besser als die Qualität der ursprünglichen Blender-Renderings, mit denen trainiert wurde. Zu sehen sind etwa die Schnurrhaare einer Katze oder feine Kanten einzelner Haarsträhnen.

Gleichzeitig räumen die Forschenden ein, dass gemeinsames Training über alle Aufgaben hinweg die 3D-Keypoint-Schätzung deutlich verschlechtert. Als Grund vermuten sie, dass die dafür nötigen Zusatzbausteine die vortrainierten Mechanismen des Basismodells stören.

Die Lehre daraus: Am ursprünglichen Modell sollte möglichst wenig verändert werden. Auch bei der Geschwindigkeit gibt es noch Luft nach oben. Das kleinere Modell benötigt rund sechs Sekunden für ein 81-Bilder-Video, das größere mit 14 Milliarden Parametern etwa zehn Sekunden.

Videogeneratoren als Weltmodelle?

Die Autoren positionieren ihre Arbeit als Argument gegen die Sichtweise, Videogeneratoren seien reine Unterhaltungswerkzeuge. Aus ihrer Sicht steckt in solchen Modellen bereits eine Art universelles "Weltmodell", aus dem sich ein Foundation-Model für Bildverarbeitung entwickeln lässt. Es könnte eine ähnliche Rolle einnehmen wie große Sprachmodelle in der Textverarbeitung.

Ob diese Einordnung trägt, ist allerdings umstritten. Ein internationales Forschungsteam hat kürzlich mit OpenWorldLib eine einheitliche Definition vorgeschlagen und Text-zu-Video-Modelle ausdrücklich ausgeschlossen, weil ihnen die Rückkopplung mit der realen Welt fehle. Metas früherer KI-Chef Yann LeCun geht noch weiter und hält generative Videomodelle für eine Sackgasse. Sein Gegenentwurf V-JEPA 2 sagt keine Pixel vorher, sondern abstrakte Konzepte.

Ein Benchmark der Tsinghua-Universität liefert dazu passende Belege. Selbst Sora 2, Seedance 2.0 und Veo 3.1 scheiterten regelmäßig an einfacher Physik und logischen Schlussfolgerungen, obwohl ihre Bilder überzeugen.

GenCeption setzt hier an einer anderen Stelle an: Statt zu fragen, ob Wan2.1 die Welt korrekt vorhersagen kann, nutzt das Team das Modell als Merkmalsextraktor für konkrete Aufgaben wie Tiefe oder Segmentierung. Dort reicht das gelernte Wissen offenbar aus, um spezialisierte Systeme zu schlagen. Google Deepmind verfolgt parallel mit Genie 3 den umgekehrten Weg und baut interaktive 3D-Umgebungen, in denen KI-Agenten trainieren sollen.