Inhalt
summary Zusammenfassung
Update
  • Updates ergänzt

Luma AI hat eine neue Version des Videogenerators Dream Machine veröffentlicht, der aus Textanweisungen und Bildern hochwertige und realistische Videos erstellen kann. Das Tool steht ab sofort für Tests zur Verfügung.

Anzeige

Knapp zwei Monate nach der ersten Version von Dream Machine hat Luma AI die Version 1.5 seines Videogenerators veröffentlicht. Die neue Version soll Text-Prompts besser umsetzen, benutzerdefinierten Text rendern und Bild-zu-Video besser beherrschen.

Dream Machine 1.5 ist auf Luma Labs AI verfügbar.

Update vom 19. Juni 2024:

Anzeige
Anzeige

Luma AI erweitert die Funktionen seiner "Dream Machine" um "Extend Video". Damit lassen sich Videos auf Basis von Prompts verlängern, wobei das System den neuen Kontext bei der Videogenerierung berücksichtigt. Laut Luma AI liegt die maximale Länge eines mehrfach verlängerten Clips derzeit bei 1:20. Zuvor waren die Clips auf fünf Sekunden beschränkt.

Video: Luma AI

Luma AI kündigt außerdem an, dass die "Dream Machine" in Kürze mit leistungsstarken Bearbeitungsfunktionen und intuitiven Bedienelementen ausgestattet wird. Ab sofort können Nutzer der Stufen Standard, Pro und Premier Wasserzeichen entfernen können.

Video: Luma AI

Ursprünglicher Artikel vom 12. Juni 2024:

Empfehlung

Luma AI veröffentlicht KI-Videogenerator "Dream Machine" als kostenlose Testversion

Das KI-Startup Luma Labs hat mit Dream Machine einen Videogenerator vorgestellt, der aus Textanweisungen und Bildern hochwertige und realistische Videos erstellen soll. Das Tool steht ab sofort für Tests zur Verfügung.

Laut Luma Labs wurde Dream Machine auf einer skalierbaren, effizienten und multimodalen Transformer-Architektur aufgebaut und direkt auf Videos trainiert. Dadurch sei es in der Lage, physikalisch genaue, konsistente und actionreiche Szenen zu generieren.

Das Modell verstehe, wie Menschen, Tiere und Objekte mit der physischen Welt interagieren. Die generierten Videos böten daher hohe Charakterkonsistenz und korrekte Physik. Geprompted wird per Text- oder Bildeingabe.

Die Länge der Videos ist derzeit auf fünf Sekunden begrenzt. Ein Video mit bis zu 120 Bildern kann in nur 120 Sekunden erstellt werden. Dream Machine soll es auch ermöglichen, mit einer Vielzahl von fließenden, filmischen und natürlichen Kamerabewegungen zu experimentieren.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Einschränkungen gibt es bei der Konsistenz, z. B., dass sich Objekte während der Bewegung verändern, bei der Bewegung allgemein, bei der Textdarstellung und bei einem Effekt, den die Entwickler nach dem römischen Gott mit zwei Köpfen "Janus" getauft haben. Auch die generierten Objekte können (vorübergehend) zwei Köpfe haben. Luma will den Videogenerator weiterentwickeln.

Luma AI macht KI-Videos und mehr

Dream Machine soll das erste einer Reihe von "Frontier Generative Models" sein, die Nutzern helfen sollen, aus Bildern, Videos, Texten und anderen Eingaben neue Inhalte zu generieren. Die ersten Reaktionen auf das Video-Modell seien "enthusiastisch", so das Start-up. Eine Testversion ist auf der Website nach einem Google-Login verfügbar.

LumaLabs AI ist ein KI-Start-up, das bisher für die Anwendung generativer KI im 3D-Modellierungsprozess bekannt ist, insbesondere mit NeRFs. Mit ihrer Video-zu-3D-API und einer Webschnittstelle können Entwickler und Endnutzer 3D-Modelle aus Bildern oder Videos erstellen.

Luma AI bietet auch eine Text-zu-3D-Schnittstelle namens Genie, die 3D-Modelle aus Textbeschreibungen erzeugt.

Mit dem Videogenerator betritt das Start-up ein neues Feld, das zuletzt mit Sora und KLING einen deutlichen Qualitätssprung erlebt hat - zumindest in Demos. Denn noch ist keiner der Generatoren öffentlich zugänglich. Der bisherige Platzhirsch RunwayML dürfte ebenfalls bald nachlegen. Offene Fragen sind die Qualitätskonstanz sowie Kosten, Aufwand und Dauer der Generierung.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Das KI-Startup Luma Labs hat mit Dream Machine einen KI-Videogenerator vorgestellt, der aus Text und Bildern hochwertige und realistische Videos generieren soll. Er basiert auf einer skalierbaren Transformer-Architektur und wurde direkt auf Videos trainiert.
  • Dream Machine soll in der Lage sein, physikalisch genaue, konsistente und actionreiche Szenen zu erzeugen. Die Videos sind derzeit auf eine Länge von 5 Sekunden begrenzt. 120 Bilder können in 120 Sekunden erzeugt werden.
  • Es gibt noch Einschränkungen in Bezug auf Konsistenz, Bewegung, Textdarstellung und Fehler wie doppelte Köpfe. Luma Labs plant, den Generator weiterzuentwickeln und bietet ihn als erstes einer Reihe von "Frontier Generative Models" an, mit denen Benutzer neue Inhalte aus verschiedenen Eingaben generieren können.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!