Inhalt
summary Zusammenfassung

Forschende zeigen mit PAC-NeRF, wie NeRFs aus Videos die geometrische Struktur und physikalischen Eigenschaften von Objekten lernen können.

Anzeige

NeRFs sind eine beeindruckende Technologie, die in der Videoproduktion, 3D-Rekonstruktion und anderen Aufgaben eingesetzt werden kann - wenn auch noch mit Einschränkungen. Die Neural Radiance Fields lernen aus Videos die geometrische Struktur und Beleuchtung von Szenen und Objekte zu repräsentieren und können sie anschließend rendern.

Forschende der UC Los Angeles, University of Maryland, MIT CSAIL, Columbia University, UMass Amherst und des MIT-IBM Watson AI Lab gehen nun einen Schritt weiter: PAC-NeRF (Physics Augmented Continuum Neural Radiance Fields) lernt neben der geometrischen Struktur auch die physikalischen Eigenschaften der Objekte. Das erlaubt dem Netz unter anderem dynamische Szenen zu repräsentieren und die gelernten physikalischen Eigenschaften könnten in Zukunft in anderen Pipelines weiterverwendet werden.

Links Video, mitte PAC-NeRF, rechts Partikelrekonstruktion. | Videos: Li et al.

Anzeige
Anzeige

PAC-NeRF folgt den Erhaltungssätzen der Kontinuumsmechanik

Die Forschenden entwickeln für PAC-NeRF eine Architektur, die das Netz zwingt, im Training den Erhaltungssätzen der Kontinuumsmechanik zu folgen. So stellen das Team sicher, dass das NeRF nur physikalisch plausible Zustände modelliert. Die genutzte Repräsentation "verbindet nahtlos effizientes neuronales Rendering mit der Materialpunktmethode (MPM) für robuste differenzierbare Physiksimulationen."

PAC-NeRF kann Objekte mit newtonschem und nicht-newtonschem Flüssigkeiten, sowie elastische Materialien, Knete oder Sand darstellen. Das Training eines Netzes dauert derzeit auf einer Nvidia 3090 GPU 1,5 Stunden, das anschließende Rendering eines Bildes etwa eine Sekunde. Das Team sieht die eigene Methode als deutlich überlegen gegenüber älteren Ansätzen, die auf das Lernen der geometrischen Struktur verzichten oder keine physikalischen Gesetzmäßigkeiten einbeziehen.

PAC-NeRF soll in Zukunft weitere Materialien modellieren können

Als Einschränkung sieht das Team die derzeit noch notwendigen festen Kamerawinkel mit synchronisierten und kalibrierten Kameras. Außerdem sollte die Szene einen einfachen und leicht entfernbaren Hintergrund haben. Die meisten der gezeigten Beispiele verwenden daher Aufnahmen aus einer physikalischen Simulation, aber es gibt auch ein Beispiel aus der realen Welt.

Links Video, mitte PAC-NeRF, rechts Partikelrekonstruktion. | Video: Li et al.

In Zukunft will das Team das verwendete MPM-Framework erweitern, um auch Objekte mit anderen physikalischen Eigenschaften, wie z.B. Gewebe, steife Materialien oder Gelenkkörpersimulationen, trainieren zu können.

Empfehlung

Weitere Beispiele gibt es auf der PAC-NeRF Projektseite.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • PAC-NeRF lernt die geometrische Struktur und die physikalischen Eigenschaften von Objekten aus Videos.
  • Das Team hinter PAC-NeRF setzt dabei auf physikalische Priors im Netz: die Erhaltungssätze der Kontinuumsmechanik.
  • Mit PAC-NeRF können dynamische NeRFs gelernt werden, als Nächstes will das Team weitere Materialien mit anderen Eigenschaften lernfähig machen.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!