Inhalt
summary Zusammenfassung

Metas Make-A-Video3D geniert dynamische 3D-Szenen aus Textbeschreibungen, die auch in Echtzeit in 3D-Engines laufen.

Anzeige

Nach Text und Bild sollen generative KI-Modelle bald Videos und 3D-Objekte synthetisieren. Modelle wie Make-a-Video, Imagen Video, Phenaki für Video und 3DiM, Dreamfusion oder MCC für 3D zeigen mögliche Ansätze und erzeugen teils beeindruckende Ergebnisse.

Meta zeigt nun eine Methode, die Video und 3D verbindet: Make-A-Video3D (MAV3D) ist ein generatives KI-Modell, das aus Textbeschreibungen dreidimensionale dynamische Szenen erzeugt.

Metas Make-A-Video3D setzt auf NeRFs

Im September 2022 zeigte Google Dreamfusion, ein KI-Modell, das aus Textbeschreibungen 3D-Repräsentationen in Form von Neural Radiance Fields (NeRFs) lernt. Google kombinierte dafür NeRFs mit dem großen Bildmodell Imagen: Es generiert zu Text passende Bilder, die als Lernsignal für das NeRF dienen.

Anzeige
Anzeige
MAV3D generiert Szenen, in denen freie Kamerawinkel und sich bewegende Objekte möglich sind. | Bild: Meta

Einen ähnlichen Ansatz verfolgt Meta mit MAV3D: Eine für dynamische Szenen geeignete NeRF-Variante (HexPlane) generiert aus einer Sequenz von Kamerapositionen eine Sequenz von Bildern.

Diese werden als Video zusammen mit einem Textprompt an Metas Videomodell Make-A-Video (MAV) übergeben, das die von HexPlane gelieferten Inhalte anhand des Textprompts und weiterer Parameter bewertet.

Die Bewertung dient dann als Lernsignal für das NeRF, das seine Parameter anpasst. In mehreren Durchgängen lernt es so eine dem Text entsprechende Repräsentation.

MAV3D-Inhalte können in Echtzeit gerendert werden

So erzeugt MAV3D 3D-Darstellungen einer singenden Katze, eines Eis essenden Pandababys oder eines Saxophon spielenden Eichhörnchens. Ein qualitativ vergleichbares Modell gibt es derzeit nicht, die von Meta gezeigten Ergebnisse stimmen eindeutig mit den Textprompts überein.

Video: Meta

Empfehlung

Das gelernte HexPlane-Modell könne zudem in animierte Meshes umgewandelt werden, so das Team. Das Ergebnis ließe sich dann in jeder gängigen 3D-Engine in Echtzeit rendern - und wäre damit für Anwendungen in der virtuellen Realität oder in klassischen Videospielen geeignet. Allerdings sei das Verfahren derzeit noch ineffizient und das Team wolle es daher verbessern - ebenso wie die Auflösung der Szenen.

Weitere Video-Beispiele und Renderings gibt es auf der MAV3D-Projektseite. Das Modell und der Code sind nicht verfügbar.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Metas Make-A-Video3D (MAV3D) erzeugt dynamische 3D-Szenen aus Textbeschreibungen.
  • Dazu lernt MAV3D eine NeRF-Variante (HexPlane) aus den Feedbacks des Text-to-Video-Modells MAV.
  • Die gelernten Szenen können als animierte Meshes exportiert und in Echtzeit in 3D-Engines gerendert werden.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!