Forscher haben mit VideoRF einen neuen Ansatz zur Darstellung dynamischer NeRF-Szenen auf verschiedenen Geräten, einschließlich mobiler Plattformen, vorgestellt.
Neuronale Strahlungsfelder (NeRFs) ermöglichen es, aus einer Serie von 2D-Bildern hoch detaillierte 3D-Darstellungen von Szenen zu erzeugen. Ältere Methoden haben Schwierigkeiten bei der Darstellung bewegter Szenen und sind sehr ressourcenintensiv. Inzwischen gibt es jedoch Varianten von NeRFs und verwandten Methoden, die in der Lage sind, bewegte Szenen darzustellen, und die deutlich weniger Zeit und Rechenleistung für Training und Rendering benötigen.
Mit VideoRF zeigt ein Team der ShanghaiTech University, der KU Leuven und NeuDim eine Methode, die Echtzeit-Streams von bewegten NeRFs auf mobile Geräte wie Smartphones oder VR-Brillen ermöglicht.
VideoRF streamt 360° Videosequenzen von Menschen in Echtzeit
VideoRF wandelt ein gelerntes NeRF in eine einfachere 2D-Bildsequenz um. Diese Umwandlung wird durch ein spezielles Training unterstützt, das sicherstellt, dass diese Bildreihe sowohl zeitlich als auch räumlich redundant strukturiert ist. Dadurch können die Bilder wie normale Videos effizient komprimiert und verfügbare Hardwarebeschleunigung genutzt werden.
Die Methode ermöglicht laut den Forschenden eine Echtzeitdekodierung und ein hochwertiges Rendering auf mobilen Geräten bei vergleichsweise niedrigen und variablen Bitraten um ein halbes Megabyte. Das Team stellt auch einen interaktiven Player für nahtloses Online-Streaming und Rendering dynamischer Szenen vor.
In Tests zeigt das Team, dass VideoRF immersive 360° Videosequenzen von Menschen rendern kann. Die Fähigkeit, dynamische neuronale Strahlungsfelder auf mobilen Geräten in Echtzeit zu rendern, stellt einen wichtigen Schritt in der neuronalen Szenenmodellierung dar, die insbesondere für VR/AR-Anwendungen wichtig ist.
Als Einschränkungen von AL nennt das Team die notwendigen komplexen Multi-View-Erfassungssysteme für die 360°-Videosequenzen. Zudem seien insbesondere bei längeren Sequenzen noch lange Trainingszeiten erforderlich.
Mehr Informationen gibt es auf der VideoRF-Projektseite. Dort soll demnächst auch der Code verfügbar sein.
