Am Dienstag hat Stability AI Stable Video Diffusion veröffentlicht. Jetzt gibt es die erste Implementierung für Heimanwender.
Die Macher hinter dem Stable Diffusion Tool "ComfyUI" haben in einem neuen Update die Unterstützung für die Stable Video Diffusion Modelle von Stable AI hinzugefügt. ComfyUI ist eine grafische Benutzeroberfläche für Stable Diffusion und nutzt ein Graph/Node Interface, dass es Nutzer:innen erlaubt, komplexe Workflows zusammenzustellen. Es ist eine Alternative zu anderen Schnittstellen wie AUTOMATIC1111.
Laut den Entwickler:innen können mit dem Update Videos in einer Auflösung von 1024 x 576 Pixel mit einer Länge von 25 Frames auf der 7 Jahre alten Nvidia GTX 1080 mit 8 Gigabyte VRAM erzeugt werden. Auch AMD Nutzer:innen können ab einer AMD 6800 XT mit ROCm auf Linux die generative Video-KI mit ComfyUI nutzen. Die Erstellung eines Videos nimmt etwa 3 Minuten in Anspruch.
Zwei Beispiel-Workflows für Stable Video Diffusion in ComfyUI - einen für das 14-Frame-Modell und einen für das 25-Frame-Modell - haben die Entwickler:innen auf ihrem Blog zur Verfügung gestellt.
Stability AI plant weitere Verbesserungen für Stable Video Diffusion
Anfang der Woche veröffentlichte Stability AI die Research Preview von Stable Video Diffusion, einem generativen Videomodell, das die kommerziellen Konkurrenten RunwayML und Pika Labs in Benutzerpräferenzstudien übertreffen soll.
Das Modell wurde in zwei Bild-zu-Video-Formaten veröffentlicht, die 14 oder 25 Bilder mit einstellbaren Bildraten zwischen 3 und 30 Bildern pro Sekunde erzeugen können und basiert auf dem Bildmodell Stable Diffusion.
Zunächst als Forschungsversion auf Github verfügbar, plant Stability AI die Entwicklung eines Ökosystems von Modellen auf dieser Basis. Das endgültige Modell wird wie Stable Diffusion frei verfügbar sein, und eine Webversion mit Text-zu-Video-Funktion ist ebenfalls geplant.
