Augmented Reality: KI-System macht aus 2D-Filmen Raumvideos

Das KI-gestützte Werkzeug Volume projiziert gewöhnliche 2D-Filme als räumliche Augmented-Reality-Darstellung in die echte Welt.

In einer Demonstration der Software Volume zeigen die Entwickler die ikonische Tanzszene aus dem Kultfilm "Pulp Fiction". Das KI-System analysiert die 2D-Bilder und rekonstruiert aus den dabei gewonnenen Daten eine 3D-Darstellung der gleichen Szene.

Für den Bildtrick setzen die Entwickler von Volume auf ein spezielles neuronales Netz (Convolutional Neural Network), das Millionen von Pixeln verarbeiten kann und daher besonders gut geeignet ist, Bilder und Videos zu verstehen und zu verändern.

Die umgerechnete 3D-Szene wird anschließend mit Apples ARKit und einem iPad in der realen Welt verankert. Die Demo zeigt die Schwachstellen des Systems, das noch weit davon entfernt ist, ein fehlerfreies, räumliches Video zu generieren.

Der Ansatz ist trotz der vielen Bildfehler interessant: Fast alle Experimente mit volumetrischen Videos setzen auf aufwendige Kamerasysteme, die Millionen kosten und riesige Datenmengen produzieren. Volume hingegen soll ausentwickelt als simple Webschnittstelle zur Verfügung stehen und es jedermann ermöglichen, aus 2D-Inhalten ein Raumvideo zu generieren.

Betrachtet man die schon möglichen glaubhaften KI-Fakes von zwedimensionalen Bild- und Videoaufnahmen, scheint es nicht völlig abwegig, dass Algorithmen einmal zwar gefälschte, aber dennoch authentische 3D-Welten basierend auf realen 2D-Aufnahmen erstellen können.

Im Gegensatz zu volumetrischen Kameras, die von jetzt an nur mehr die Gegenwart einfangen können, würde ein solches System regelrechte Zeitreisen ermöglichen, in denen man mit einer VR- oder AR-Brille die Originalaufnahmen von historischen Ereignissen ein bisschen so erleben könnte, als wäre man dabei gewesen.

Die Bildspezialisten bei Adobe arbeiten an einer ähnlichen Software, die flach gefilmte 360-Grad-Videos nachträglich um eine Tiefendimension erweitern soll.