Inhalt
summary Zusammenfassung

Generative KI kann fotorealistische Bilder erzeugen, erste Modelle können Videos generieren. Bytedance und Alibaba zeigen nun jeweils Modelle, die fotorealistische Videoclips von animierten Menschen erzeugen.

Anzeige

Beide Unternehmen setzen auf leicht unterschiedliche Architekturen, nutzen aber im Kern Diffusionsmodelle, die Bilder an ein Modell anpassen, das die Posen etwa einer Tanzsequenz über einen bestimmten Zeitraum vorgibt. MagicAnimate von Bytedance und dem Show Labder National University of Singapore sowie Animate Anyone von Alibaba und dem Institute for Intelligent Computing generieren dann aus einem Referenzbild und einer Tanzsequenz kurze Videoclips von tanzenden Menschen oder Zeichentrickfiguren.

Durch den Einsatz von Methoden wie ControlNet und anderen Methoden zur Sicherstellung der zeitlichen Stabilität erreichen die Videos eine wesentlich höhere Konsistenz als andere Text-zu-Video- oder Bild-zu-Video-Modelle und übertreffen die aktuellen Bestwerte des TikTok-Benchmarks um fast 40 Prozent.

Beide Methoden benötigen nur ein Bild und eine Bewegungssequenz, um Videos zu erzeugen - das kann eine reale Person, die Mona Lisa oder ein KI-generiertes Bild sein. Bytedance MagicAnimate kann sogar mehrere Personen gleichzeitig animieren.

Anzeige
Anzeige

Video: ByteDance

Mehr Möglichkeiten für TikTok - und KI-Influencer

Mit diesen Methoden könnten KI-Influencer, die heute vor allem in Form von statischen Bildern und KI-generierten Texten existieren, bald auch aktuelle TikTok-Trends aufgreifen oder andere Bewegtbilder erstellen. Bytedance könnte die Modelle in Zukunft auch direkt auf TikTok für die eigenen Kunden anbieten.

Der Code für MagicAnimate ist auf der Projektseiten auf Github verfügbar. Für MagicAnimate gibt es auch eine Demo. Der Code für Animate Anyone soll ebenfalls bald auf Github verfügbar sein - das Team will noch einige Verbesserungen vor der Veröffentlichugn vornehmen.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Bytedance und Alibaba entwickeln KI-Modelle, die fotorealistische Videoclips von animierten Menschen erzeugen.
  • Die entwickelten Modelle, MagicAnimate von Bytedance und Animate Anyone von Alibaba, erreichen eine höhere Konsistenz als bisherige Text-zu-Video- oder Bild-zu-Video-Modelle.
  • Diese KI-Modelle könnten die Möglichkeiten für KI-Influencer erweitern und in Zukunft möglicherweise direkt auf Plattformen wie TikTok angeboten werden.
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!