Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Google zeigt KI-gerenderte Straßenblöcke. Die sollen autonomen Autos bei der Orientierung helfen und könnten Google Maps Street View in die dritte Dimension bringen.

Neural Radiance Fields (NeRFs) sind eine von zahlreichen KI-Technologien, die einmal klassische Render-Ansätze ersetzen könnten. NeRFs sind neuronale Netze, die aus mehreren Fotos Repräsentationen von 3D-Objekten und -Szenen lernen und anschließend aus verschiedenen Blickwinkeln in Echtzeit-3D rendern können.

Google-Forschende zeigten in den letzten zwei Jahren mehrere Fortschritte, wie extrem detaillierte Ansichten von Sehenswürdigkeiten oder Echtzeit-Rendering von NeRFs, die sonst mehrere Sekunden Rechenzeit pro Bild benötigen.

Auch Nvidia forscht an NeRFs und stellte kürzlich Instant-NGP vor, eine Methode, mit der das sonst zeit- und rechenintensive KI-Training der Netze stark beschleunigt wird. Künstliche Intelligenz wird so immer mehr zu einer Alternative für klassische Renderverfahren.

Anzeige
Anzeige

Block-NeRF rendert erstmals umfangreiche 3D-Szene

Bisher wurden NeRFs jedoch nur für die Darstellung einzelner Objekte oder einzelner Räume eingesetzt. Nun zeigt Google Block-NeRF, einen Ansatz, der die bisher größte KI-gerenderte 3D-Szene überhaupt darstellen kann: Alamo Square in San Francisco, bestehend aus acht Straßenzügen.

Ermöglicht wird das durch ein Netz aus mehreren NeRFs, jedes für einen eigenen Block in der Stadt. Die Aufteilung entkopple die Renderzeit von der Größe der Szene, ermögliche die Skalierung auf beliebig große Umgebungen und erlaube Aktualisierungen pro Block bei Änderungen wie Baustellen.

Kamera-Autos liefern Trainingsdaten

Trainiert wurden die Block-NeRFs mit knapp 2,8 Millionen Bildern, die über drei Monate von mit Kameras ausgestatteten Autos aufgenommen wurden. Die unterschiedlichen Licht- und Wetterverhältnisse der Aufnahmen ermöglichen den NeRF-Netzen, die Straßenszenen ebenfalls unter unterschiedlichen Bedingungen darzustellen.

Fußgänger:innen, Autos und andere sich ändernde Objekte filtert das System im KI-Training automatisch raus. Allerdings sind in manchen Bildern noch Schatten von Fahrzeugen sichtbar und die sich ändernde Vegetation führt zu verwaschenen Bäumen und Sträuchern an der Fahrbahn.

Trainiert wurden die einzelnen NeRFs zwischen neun und 24 Stunden auf 32 TPUv3-Chips von Google. Das Rendern eines 1200 mal 900 Pixel großen Bildes eines einzelnen NeRFs benötigt 5,9 Sekunden.

Empfehlung

Mehrere Block-NeRFs können parallel rendern, was in manchen Szenen, in denen sich die Blöcke überschneiden, notwendig ist. Die Darstellung in der Entfernung ist aktuell ebenfalls verwaschen. Verbesserungen seien jedoch bereits geplant, so das Team.

Einsatz für Google Maps mit 3D Street View möglich

Als mögliche Anwendungen für Block-NeRFs nennt Google das Training von autonomen Fahrzeugen oder anderen Robotern sowie Unterstützung für die Luftbildvermessung. Das Projekt entstand in Kooperation mit dem Alphabet-Unternehmen Waymo, das auf autonomes Fahren spezialisiert ist.

Die detaillierten 3D-Umgebungen können etwa für das Planen und Testen von Routen eingesetzt werden. In Zukunft könnten außerdem zusätzliche NeRFs einzelne Fahrzeuge dynamisch in der gerenderten Szene darstellen, um Verkehr zu simulieren, so das Team.

Google plant zudem Verbesserungen für Trainings- und Renderzeit in Block-NeRF zu integrieren und die Darstellung ganzer Straßenzüge so deutlich energieeffizienter und schneller zu ermöglichen. Das könnte neue Anwendungsfälle für die Block-NeRFs eröffnen, etwa als 3D-Variante von Googles Street-View-Service in Google Maps.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weitere Render-Beispiele gibt es auf der Waymo-Projektseite von Block-NeRF.

Weiterlesen über Künstliche Intelligenz:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!