Inhalt
summary Zusammenfassung

Forscher haben mit VideoRF einen neuen Ansatz zur Darstellung dynamischer NeRF-Szenen auf verschiedenen Geräten, einschließlich mobiler Plattformen, vorgestellt.

Anzeige

Neuronale Strahlungsfelder (NeRFs) ermöglichen es, aus einer Serie von 2D-Bildern hoch detaillierte 3D-Darstellungen von Szenen zu erzeugen. Ältere Methoden haben Schwierigkeiten bei der Darstellung bewegter Szenen und sind sehr ressourcenintensiv. Inzwischen gibt es jedoch Varianten von NeRFs und verwandten Methoden, die in der Lage sind, bewegte Szenen darzustellen, und die deutlich weniger Zeit und Rechenleistung für Training und Rendering benötigen.

Mit VideoRF zeigt ein Team der ShanghaiTech University, der KU Leuven und NeuDim eine Methode, die Echtzeit-Streams von bewegten NeRFs auf mobile Geräte wie Smartphones oder VR-Brillen ermöglicht.

VideoRF streamt 360° Videosequenzen von Menschen in Echtzeit

VideoRF wandelt ein gelerntes NeRF in eine einfachere 2D-Bildsequenz um. Diese Umwandlung wird durch ein spezielles Training unterstützt, das sicherstellt, dass diese Bildreihe sowohl zeitlich als auch räumlich redundant strukturiert ist. Dadurch können die Bilder wie normale Videos effizient komprimiert und verfügbare Hardwarebeschleunigung genutzt werden.

Anzeige
Anzeige

Die Methode ermöglicht laut den Forschenden eine Echtzeitdekodierung und ein hochwertiges Rendering auf mobilen Geräten bei vergleichsweise niedrigen und variablen Bitraten um ein halbes Megabyte. Das Team stellt auch einen interaktiven Player für nahtloses Online-Streaming und Rendering dynamischer Szenen vor.

In Tests zeigt das Team, dass VideoRF immersive 360° Videosequenzen von Menschen rendern kann. Die Fähigkeit, dynamische neuronale Strahlungsfelder auf mobilen Geräten in Echtzeit zu rendern, stellt einen wichtigen Schritt in der neuronalen Szenenmodellierung dar, die insbesondere für VR/AR-Anwendungen wichtig ist.

Als Einschränkungen von AL nennt das Team die notwendigen komplexen Multi-View-Erfassungssysteme für die 360°-Videosequenzen. Zudem seien insbesondere bei längeren Sequenzen noch lange Trainingszeiten erforderlich.

Mehr Informationen gibt es auf der VideoRF-Projektseite. Dort soll demnächst auch der Code verfügbar sein.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forschende präsentieren VideoRF, einen neuen Ansatz zur Darstellung dynamischer NeRF-Szenen (Neuronale Strahlungsfelder) auf verschiedenen Geräten, einschließlich mobiler Plattformen wie Smartphones oder VR-Brillen.
  • VideoRF wandelt ein gelerntes NeRF in eine einfachere 2D-Bildsequenz um, die effizient komprimiert und auf mobilen Geräten in Echtzeit dekodiert und gerendert werden kann.
  • Trotz Erfolgen bei der Erstellung von 360°-Videosequenzen sind immer noch komplexe Multi-View-Erfassungssysteme und lange Trainingszeiten für längere Sequenzen erforderlich.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!