Inhalt
summary Zusammenfassung

Alibaba zeigt einen neuen TikTok-Generator: DreaMoving kann personalisierte Tanzvideos per Bild- oder Textprompt erstellen.

Anzeige

Das System basiert auf Diffusionsmodellen und nutzt unter anderem Video ControlNet und einen Content Guider. Das Video ControlNet steuert die Generierung entlang der vorgegebenen Animation. Der Content Guider ist für die Steuerung des Inhalts der generierten Videos verantwortlich, einschließlich des Aussehens von Personen und Hintergründen.

Bild: Alibaba

DreaMoving integriert zusätzlich sogenannte Bewegungsblöcke sowohl in das Denoising U-Net als auch in das ControlNet, um die zeitliche Konsistenz und Bewegungstreue zu verbessern. Benutzer können Text- oder Bildhinweise verwenden, um das gewünschte Aussehen und den Hintergrund des Videos zu steuern.

DreamMoving lernt aus 1.000 Tanzvideos

Das DreaMoving-System wurde mit über 1.000 Tanzvideos trainiert, die in kurze Clips von 8 bis 10 Sekunden Länge unterteilt wurden, um kontinuierliche Bilder ohne Übergänge und Spezialeffekte zu gewährleisten. Die einzelnen Bilder der Clips wurden für das Training zusätzlich mit MiniGPT-v2-Beschreibungen versehen, um das für Text-Steuerung erforderliche multimodale Training zu ermöglichen.

Anzeige
Anzeige

Video: Alibaba

Video: Alibaba

Video: Alibaba

Durch das Training und die angepasste Architektur ist DreaMoving in der Lage, realistische Videos aus Texteingaben, Bildern oder einer Kombination davon zu erstellen. Das System kann so beispielsweise Videos einer bestimmten Person in einem bestimmten Kleidungsstück generieren, die der Benutzer via Bild zur Verfügung stellt.

Video: Alibaba

Empfehlung

Neben DreamMoving hat Alibaba kürzlich ein ähnliches System namens Animate Anyone vorgestellt, das Videos von animierten Personen erstellen kann, die nicht nur tanzen. Ein ähnliches System gibt es mit MagicAnimate auch von der TikTok-Firma Bytedance.

Weitere Beispiele und Informationen finden sich auf der Projektseite von DreaMoving. Auf HuggingFace gibt es auch eine Demo, bei der eigene Gesichter und Animationen hochgeladen oder aus einer Vorauswahl ausgewählt werden können.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Alibaba präsentiert DreaMoving, einen TikTok-Generator, der personalisierte Tanzvideos mithilfe von Bild- oder Textprompts erstellt.
  • DreaMoving wurde mit über 1.000 Tanzvideos trainiert, die in kurze Clips von 8 bis 10 Sekunden Länge unterteilt wurden.
  • Neben DreaMoving hat Alibaba auch Animate Anyone vorgestellt, ein ähnliches System, das animierte Personen in Videos erstellt, die nicht nur tanzen. Ein vergleichbares KI-System namens MagicAnimate wurde auch von der TikTok-Firma Bytedance entwickelt.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!