- Updates ergänzt
Ursprünglicher Artikel vom 19. Juni 2024:
Luma AI erweitert die Funktionen seiner "Dream Machine" um "Extend Video". Damit lassen sich Videos auf Basis von Prompts verlängern, wobei das System den neuen Kontext bei der Videogenerierung berücksichtigt. Laut Luma AI liegt die maximale Länge eines mehrfach verlängerten Clips derzeit bei 1:20. Zuvor waren die Clips auf fünf Sekunden beschränkt.
Video: Luma AI
Luma AI kündigt außerdem an, dass die "Dream Machine" in Kürze mit leistungsstarken Bearbeitungsfunktionen und intuitiven Bedienelementen ausgestattet wird. Ab sofort können Nutzer der Stufen Standard, Pro und Premier Wasserzeichen entfernen können.
Video: Luma AI
Ursprünglicher Artikel vom 12. Juni 2024:
Luma AI veröffentlicht KI-Videogenerator "Dream Machine" als kostenlose Testversion
Das KI-Startup Luma Labs hat mit Dream Machine einen Videogenerator vorgestellt, der aus Textanweisungen und Bildern hochwertige und realistische Videos erstellen soll. Das Tool steht ab sofort für Tests zur Verfügung.
Laut Luma Labs wurde Dream Machine auf einer skalierbaren, effizienten und multimodalen Transformer-Architektur aufgebaut und direkt auf Videos trainiert. Dadurch sei es in der Lage, physikalisch genaue, konsistente und actionreiche Szenen zu generieren.
Das Modell verstehe, wie Menschen, Tiere und Objekte mit der physischen Welt interagieren. Die generierten Videos böten daher hohe Charakterkonsistenz und korrekte Physik. Geprompted wird per Text- oder Bildeingabe.
Die Länge der Videos ist derzeit auf fünf Sekunden begrenzt. Ein Video mit bis zu 120 Bildern kann in nur 120 Sekunden erstellt werden. Dream Machine soll es auch ermöglichen, mit einer Vielzahl von fließenden, filmischen und natürlichen Kamerabewegungen zu experimentieren.
Einschränkungen gibt es bei der Konsistenz, z. B., dass sich Objekte während der Bewegung verändern, bei der Bewegung allgemein, bei der Textdarstellung und bei einem Effekt, den die Entwickler nach dem römischen Gott mit zwei Köpfen "Janus" getauft haben. Auch die generierten Objekte können (vorübergehend) zwei Köpfe haben. Luma will den Videogenerator weiterentwickeln.
Luma AI macht KI-Videos und mehr
Dream Machine soll das erste einer Reihe von "Frontier Generative Models" sein, die Nutzern helfen sollen, aus Bildern, Videos, Texten und anderen Eingaben neue Inhalte zu generieren. Die ersten Reaktionen auf das Video-Modell seien "enthusiastisch", so das Start-up. Eine Testversion ist auf der Website nach einem Google-Login verfügbar.
LumaLabs AI ist ein KI-Start-up, das bisher für die Anwendung generativer KI im 3D-Modellierungsprozess bekannt ist, insbesondere mit NeRFs. Mit ihrer Video-zu-3D-API und einer Webschnittstelle können Entwickler und Endnutzer 3D-Modelle aus Bildern oder Videos erstellen.
Luma AI bietet auch eine Text-zu-3D-Schnittstelle namens Genie, die 3D-Modelle aus Textbeschreibungen erzeugt.
Mit dem Videogenerator betritt das Start-up ein neues Feld, das zuletzt mit Sora und KLING einen deutlichen Qualitätssprung erlebt hat - zumindest in Demos. Denn noch ist keiner der Generatoren öffentlich zugänglich. Der bisherige Platzhirsch RunwayML dürfte ebenfalls bald nachlegen. Offene Fragen sind die Qualitätskonstanz sowie Kosten, Aufwand und Dauer der Generierung.
