Googles SMERF kann 3D-Repräsentationen ganzer Wohnungen in Echtzeit auf ein Smartphone streamen.
Forscher von Google, Google DeepMind und der Universität Tübingen haben mit SMERF eine neue Technologie vorgestellt, die das Echtzeit-3D-Rendering von großen Szenen wie ganzen Wohnungen auf verschiedenen Geräten wie Smartphones und Laptops ermöglicht.
SMERF steht für Streamable Memory Efficient Radiance Fields und ist eine an NeRFs angelehnte Methode, die auf die speichereffizienteren MERFs (Memory-Efficient Radiance Fields) setzt.
SMERF lernt von Zip-NeRF
SMERF ist darauf spezialisiert, große 3D-Darstellungen zu lernen, wie z.B. komplette Wohnungen der beteiligten Forscher. Dazu kombiniert das Team ein hierarchisches Modell-Partitionierungsschema, bei dem verschiedene Teile des Raumes und der gelernten Parameter durch verschiedene MERFs repräsentiert werden. Dies erhöht die Modellkapazität und begrenzt gleichzeitig den Rechen- und Speicherbedarf - derart große 3D-Darstellungen können mit klassischen NeRFs nicht in Echtzeit gerendert werden.
Um die Darstellungsqualität von SMERF zu verbessern, verwenden die Forscher eine "Lehrer-Schüler"-Destillation, bei der ein bereits trainiertes, qualitativ hochwertiges Zip-NeRF-Modell (der "Lehrer") zur Überwachung eines neuen MERF-Modells (der "Schüler") verwendet wird. Dieser Ansatz ermöglicht es den Forschern, die Detailgenauigkeit und Bildqualität des leistungsfähigeren Zip-NeRF-Modells auf eine effizientere und schnellere Struktur zu übertragen, was besonders für Anwendungen auf weniger leistungsfähigen Geräten wie Smartphones und Laptops nützlich ist.
SMERF streamt via Webbrowser in Echtzeit fotorealistische 3D-Räume
Nach dem Training ermöglicht SMERF die vollständige Navigation mit sechs Freiheitsgraden in einem Webbrowser und das Rendering in Echtzeit auf gängigen Smartphones und Laptops.
Die Fähigkeit, große 3D-Szenen in Echtzeit zu rendern, ist für eine Vielzahl von Anwendungen wichtig, darunter Videospiele, virtuelle und erweiterte Realität sowie professionelle Design- und Architekturanwendungen. Bei Google könnte die Methode etwa für Immersive View zum Einsatz kommen.
Es gibt jedoch auch Einschränkungen: Die Methode bietet zwar eine hervorragende Rekonstruktionsqualität und Speichereffizienz, ist aber mit hohen Speicherkosten, langen Ladezeiten und einem hohen Trainingsaufwand verbunden. Die Arbeit zeigt jedoch, dass NeRFs und ähnliche Strahlungsfelder weiterhin Vorteile gegenüber 3D Gaussian Splatting haben können.
Mehr Informationen gibt es auf der SMERF-Projektseite. Dort gibt es auch Demos, die das Echtzeit-Streaming von Wohnungen zeigen.