Das auf KI-Grafik spezialisierte Startup Luma AI präsentiert eine beeindruckende neue Funktion: 3D-Flythroughs aus Videos, die an professionelle Drohnenflüge erinnern.
Dazu generiert die App aus einem Video zunächst ein 3D-Bild der Umgebung. Dabei kommt laut Luma AI die "weltweit fortschrittlichste 3D generative NeRF-Technologie" zum Einsatz. Neural Radiance Fields (NeRFs) sind neuronale 3D-Darstellungen von Szenen oder Objekten, die in 2D aufgenommen wurden. Sie können ohne spezielles Datentraining in wenigen Sekunden oder Minuten erzeugt werden.
Drohnenflug ohne Drohne
Die Video-to-3D-Funktion ist nicht neu, Luma hat sie bereits im März vorgestellt. Neu ist die "3D Camera Path AI", die es ermöglicht, wie bei einem Drohnenflug frei durch das 3D-Modell zu fliegen. Der virtuelle Flugweg wird einfach per App festgelegt. Technische Details zur "3D Camera Path AI" verrät Luma AI bisher nicht.
Solche virtuellen Drohnenflüge waren zwar auch bisher schon möglich, allerdings musste man dafür umständlich in den AR-Modus wechseln und das Smartphone durch die Szene bewegen oder in einem komplexeren Editor Keyframes definieren.
Die Flug-Funktion hat Luma AI nun vereinfacht in die neue iPhone-App "Luma Flythroughs" gegossen, die es explizit an die Immobilienbranche vermarktet, die aber von jedermann über den App Store heruntergeladen werden kann. Laut Luma AI kann die App teure professionelle Wohnungsaufnahmen ersetzen, etwa für den Immobilienverkauf.
In einem ersten Werbetrailer und auf der Website zeigt Luma AI hochwertige Beispiele von Flythroughs, die mit der App generiert wurden.
Video: Luma AI
Manche 3D-Szenen zeigen noch visuelle Fehler, vorwiegend bei vielen Details im Bild. Möglicherweise wären diese Fehler mit etwas mehr Zeit und Sorgfalt im Produktionsprozess vermeidbar gewesen. Auch Außenaufnahmen sind möglich.
Video: Luma AI
Video: Luma AI
Generell gilt für NeRFs: Je hochwertiger das Ausgangsmaterial, desto detaillierter und fehlerfreier die 3D-Szene. Laut Luma sind normale Aufnahmen bei guten Lichtverhältnissen ausreichend. Spezielle Hilfsmittel wie Stabilisatoren sollen nicht notwendig sein, um ein qualitativ hochwertiges Flythrough-Video zu generieren.