Inhalt
summary Zusammenfassung

EmerNeRF lernt 3D-Repräsentationen der realen Welt und soll so Robotern und autonomen Autos helfen, sich sicher zu orientieren.

Anzeige

Forschende der University of Southern California, des Georgia Institute of Technology, der University of Toronto, der Stanford University, Technion und von Nvidia haben EmerNeRF entwickelt. Das KI-Modell kann anhand von Videoaufnahmen selbstständig erkennen, welche Teile einer Verkehrsszene sich bewegen und welche statisch sind.

Für selbstfahrende Autos oder andere Roboter, die sich in der realen Welt bewegen, ist es entscheidend zu erkennen, welche Elemente in ihrer Umgebung statisch sind und welche sich bewegen. Nur so können sie sich in der Welt orientieren und sicher mit ihr interagieren. Beim autonomen Fahren werden daher beispielsweise Verkehrsszenen in statische und sich bewegende Objekte wie andere Fahrzeuge unterteilt. Dieser Prozess erfordert heute jedoch meist eine menschliche Überwachung - das ist teuer und schlecht skalierbar.

EmerNeRF lernt selbst-überwacht und schlägt ältere Methoden

EmerNeRF hingegen lernt die Einteilung völlig autonom aus Kamera- und LiDAR-Aufnahmen. Für EmerNeRF nutzten die Forschenden die namensgebenden neuronalen Strahlungsfelder: eines für statische, eines für bewegte Repräsentationen. Das Programm optimiert diese Felder so, dass die Nachbildungen der Szenen möglichst realistisch aussehen - ohne Information darüber, welche Objekte statisch oder bewegt sind.

Anzeige
Anzeige

Um bewegte Objekte besser wiedergeben zu können, berechnet EmerNeRF zusätzlich ein Strömungsfeld, das darstellt, wie sich die Objekte im Laufe der Zeit bewegen. Mit dieser Bewegungsinformation kann es Daten aus mehreren Zeitpunkten kombinieren, um bewegte Objekte detaillierter darzustellen.

Durch das Training war EmerNeRF dann in der Lage, dynamische Szenen wie Videoaufnahmen von Autofahrten ohne menschliche Markierungen direkt in statische und bewegte Elemente zu trennen. Zusätzlich verbesserte das Team EmerNeRF mit Teilen eines Foundation-Modells für 2D-Bilder und konnte so die Leistung bei der Erkennung von Objekten in 3D-Umgebungen um durchschnittlich knapp 38 Prozent steigern.

Video: Yang et al.

In einem anspruchsvollen Benchmark mit 120 Fahrszenen übertrifft EmerNeRF bisherige State-of-the-Art-Methoden wie HyperNeRF und D2NeRF deutlich.

Mehr Informationen, Videos und den Code gibt es auf GitHub.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Empfehlung
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forschende verschiedener Universitäten und Nvidia haben EmerNeRF entwickelt, ein KI-Modell, das autonomen Fahrzeugen und Robotern hilft, sich in der realen Welt zurechtzufinden, indem es bewegte und statische Objekte in Verkehrsszenen erkennt.
  • EmerNeRF lernt selbstständig aus Kamera- und LiDAR-Aufnahmen und nutzt neuronale Strahlungsfelder, um statische und bewegte Darstellungen zu optimieren und realistische Nachbildungen von Szenen zu erzeugen.
  • In einem Benchmark mit 120 Fahrszenen übertraf EmerNeRF bisherige Verfahren deutlich.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!