Googles SMERF streamt eure Wohnung in 3D aufs Smartphone
Googles SMERF kann 3D-Repräsentationen ganzer Wohnungen in Echtzeit auf ein Smartphone streamen.
Forscher von Google, Google DeepMind und der Universität Tübingen haben mit SMERF eine neue Technologie vorgestellt, die das Echtzeit-3D-Rendering von großen Szenen wie ganzen Wohnungen auf verschiedenen Geräten wie Smartphones und Laptops ermöglicht.
SMERF steht für Streamable Memory Efficient Radiance Fields und ist eine an NeRFs angelehnte Methode, die auf die speichereffizienteren MERFs (Memory-Efficient Radiance Fields) setzt.
SMERF lernt von Zip-NeRF
SMERF ist darauf spezialisiert, große 3D-Darstellungen zu lernen, wie z.B. komplette Wohnungen der beteiligten Forscher. Dazu kombiniert das Team ein hierarchisches Modell-Partitionierungsschema, bei dem verschiedene Teile des Raumes und der gelernten Parameter durch verschiedene MERFs repräsentiert werden. Dies erhöht die Modellkapazität und begrenzt gleichzeitig den Rechen- und Speicherbedarf - derart große 3D-Darstellungen können mit klassischen NeRFs nicht in Echtzeit gerendert werden.
Um die Darstellungsqualität von SMERF zu verbessern, verwenden die Forscher eine "Lehrer-Schüler"-Destillation, bei der ein bereits trainiertes, qualitativ hochwertiges Zip-NeRF-Modell (der "Lehrer") zur Überwachung eines neuen MERF-Modells (der "Schüler") verwendet wird. Dieser Ansatz ermöglicht es den Forschern, die Detailgenauigkeit und Bildqualität des leistungsfähigeren Zip-NeRF-Modells auf eine effizientere und schnellere Struktur zu übertragen, was besonders für Anwendungen auf weniger leistungsfähigen Geräten wie Smartphones und Laptops nützlich ist.
SMERF streamt via Webbrowser in Echtzeit fotorealistische 3D-Räume
Nach dem Training ermöglicht SMERF die vollständige Navigation mit sechs Freiheitsgraden in einem Webbrowser und das Rendering in Echtzeit auf gängigen Smartphones und Laptops.
Die Fähigkeit, große 3D-Szenen in Echtzeit zu rendern, ist für eine Vielzahl von Anwendungen wichtig, darunter Videospiele, virtuelle und erweiterte Realität sowie professionelle Design- und Architekturanwendungen. Bei Google könnte die Methode etwa für Immersive View zum Einsatz kommen.
Es gibt jedoch auch Einschränkungen: Die Methode bietet zwar eine hervorragende Rekonstruktionsqualität und Speichereffizienz, ist aber mit hohen Speicherkosten, langen Ladezeiten und einem hohen Trainingsaufwand verbunden. Die Arbeit zeigt jedoch, dass NeRFs und ähnliche Strahlungsfelder weiterhin Vorteile gegenüber 3D Gaussian Splatting haben können.
Mehr Informationen gibt es auf der SMERF-Projektseite. Dort gibt es auch Demos, die das Echtzeit-Streaming von Wohnungen zeigen.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.