VideoRF: Neue Methode bringt Echzeit-Streaming von NeRFs auf Smartphones und VR-Brillen
Kurz & Knapp
- Forschende präsentieren VideoRF, einen neuen Ansatz zur Darstellung dynamischer NeRF-Szenen (Neuronale Strahlungsfelder) auf verschiedenen Geräten, einschließlich mobiler Plattformen wie Smartphones oder VR-Brillen.
- VideoRF wandelt ein gelerntes NeRF in eine einfachere 2D-Bildsequenz um, die effizient komprimiert und auf mobilen Geräten in Echtzeit dekodiert und gerendert werden kann.
- Trotz Erfolgen bei der Erstellung von 360°-Videosequenzen sind immer noch komplexe Multi-View-Erfassungssysteme und lange Trainingszeiten für längere Sequenzen erforderlich.
Forscher haben mit VideoRF einen neuen Ansatz zur Darstellung dynamischer NeRF-Szenen auf verschiedenen Geräten, einschließlich mobiler Plattformen, vorgestellt.
Neuronale Strahlungsfelder (NeRFs) ermöglichen es, aus einer Serie von 2D-Bildern hoch detaillierte 3D-Darstellungen von Szenen zu erzeugen. Ältere Methoden haben Schwierigkeiten bei der Darstellung bewegter Szenen und sind sehr ressourcenintensiv. Inzwischen gibt es jedoch Varianten von NeRFs und verwandten Methoden, die in der Lage sind, bewegte Szenen darzustellen, und die deutlich weniger Zeit und Rechenleistung für Training und Rendering benötigen.
Mit VideoRF zeigt ein Team der ShanghaiTech University, der KU Leuven und NeuDim eine Methode, die Echtzeit-Streams von bewegten NeRFs auf mobile Geräte wie Smartphones oder VR-Brillen ermöglicht.
VideoRF streamt 360° Videosequenzen von Menschen in Echtzeit
VideoRF wandelt ein gelerntes NeRF in eine einfachere 2D-Bildsequenz um. Diese Umwandlung wird durch ein spezielles Training unterstützt, das sicherstellt, dass diese Bildreihe sowohl zeitlich als auch räumlich redundant strukturiert ist. Dadurch können die Bilder wie normale Videos effizient komprimiert und verfügbare Hardwarebeschleunigung genutzt werden.
Die Methode ermöglicht laut den Forschenden eine Echtzeitdekodierung und ein hochwertiges Rendering auf mobilen Geräten bei vergleichsweise niedrigen und variablen Bitraten um ein halbes Megabyte. Das Team stellt auch einen interaktiven Player für nahtloses Online-Streaming und Rendering dynamischer Szenen vor.
In Tests zeigt das Team, dass VideoRF immersive 360° Videosequenzen von Menschen rendern kann. Die Fähigkeit, dynamische neuronale Strahlungsfelder auf mobilen Geräten in Echtzeit zu rendern, stellt einen wichtigen Schritt in der neuronalen Szenenmodellierung dar, die insbesondere für VR/AR-Anwendungen wichtig ist.
Als Einschränkungen von AL nennt das Team die notwendigen komplexen Multi-View-Erfassungssysteme für die 360°-Videosequenzen. Zudem seien insbesondere bei längeren Sequenzen noch lange Trainingszeiten erforderlich.
Mehr Informationen gibt es auf der VideoRF-Projektseite. Dort soll demnächst auch der Code verfügbar sein.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.