Inhalt
summary Zusammenfassung

Googles SMERF kann 3D-Repräsentationen ganzer Wohnungen in Echtzeit auf ein Smartphone streamen.

Anzeige

Forscher von Google, Google DeepMind und der Universität Tübingen haben mit SMERF eine neue Technologie vorgestellt, die das Echtzeit-3D-Rendering von großen Szenen wie ganzen Wohnungen auf verschiedenen Geräten wie Smartphones und Laptops ermöglicht.

SMERF steht für Streamable Memory Efficient Radiance Fields und ist eine an NeRFs angelehnte Methode, die auf die speichereffizienteren MERFs (Memory-Efficient Radiance Fields) setzt.

SMERF lernt von Zip-NeRF

SMERF ist darauf spezialisiert, große 3D-Darstellungen zu lernen, wie z.B. komplette Wohnungen der beteiligten Forscher. Dazu kombiniert das Team ein hierarchisches Modell-Partitionierungsschema, bei dem verschiedene Teile des Raumes und der gelernten Parameter durch verschiedene MERFs repräsentiert werden. Dies erhöht die Modellkapazität und begrenzt gleichzeitig den Rechen- und Speicherbedarf - derart große 3D-Darstellungen können mit klassischen NeRFs nicht in Echtzeit gerendert werden.

Anzeige
Anzeige

Um die Darstellungsqualität von SMERF zu verbessern, verwenden die Forscher eine "Lehrer-Schüler"-Destillation, bei der ein bereits trainiertes, qualitativ hochwertiges Zip-NeRF-Modell (der "Lehrer") zur Überwachung eines neuen MERF-Modells (der "Schüler") verwendet wird. Dieser Ansatz ermöglicht es den Forschern, die Detailgenauigkeit und Bildqualität des leistungsfähigeren Zip-NeRF-Modells auf eine effizientere und schnellere Struktur zu übertragen, was besonders für Anwendungen auf weniger leistungsfähigen Geräten wie Smartphones und Laptops nützlich ist.

SMERF streamt via Webbrowser in Echtzeit fotorealistische 3D-Räume

Nach dem Training ermöglicht SMERF die vollständige Navigation mit sechs Freiheitsgraden in einem Webbrowser und das Rendering in Echtzeit auf gängigen Smartphones und Laptops.

Die Fähigkeit, große 3D-Szenen in Echtzeit zu rendern, ist für eine Vielzahl von Anwendungen wichtig, darunter Videospiele, virtuelle und erweiterte Realität sowie professionelle Design- und Architekturanwendungen. Bei Google könnte die Methode etwa für Immersive View zum Einsatz kommen.

Es gibt jedoch auch Einschränkungen: Die Methode bietet zwar eine hervorragende Rekonstruktionsqualität und Speichereffizienz, ist aber mit hohen Speicherkosten, langen Ladezeiten und einem hohen Trainingsaufwand verbunden. Die Arbeit zeigt jedoch, dass NeRFs und ähnliche Strahlungsfelder weiterhin Vorteile gegenüber 3D Gaussian Splatting haben können.

Mehr Informationen gibt es auf der SMERF-Projektseite. Dort gibt es auch Demos, die das Echtzeit-Streaming von Wohnungen zeigen.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Empfehlung
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Google, DeepMind und die Universität Tübingen präsentieren SMERF, eine Technologie für Echtzeit-3D-Rendering von großen Szenen wie Wohnungen auf Smartphones und Laptops.
  • SMERF (Streamable Memory Efficient Radiance Fields) basiert auf Memory-Efficient Radiance Fields (MERFs) und verwendet ein hierarchisches Modell-Partitionierungsschema für speichereffizientes Rendering, sowie Lehrer-Schüler-Destillation von einem Zip-NeRF für bessere Darstellungsqualität.
  • Trotz hervorragender Rekonstruktionsqualität und Speichereffizienz sind derzeit noch hohe Speicherkosten, lange Ladezeiten und hoher Trainingsaufwand vorhanden.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!