PAC-NeRF lernt die Physik von Objekten aus Videos

Forschende zeigen mit PAC-NeRF, wie NeRFs aus Videos die geometrische Struktur und physikalischen Eigenschaften von Objekten lernen können.

NeRFs sind eine beeindruckende Technologie, die in der Videoproduktion, 3D-Rekonstruktion und anderen Aufgaben eingesetzt werden kann - wenn auch noch mit Einschränkungen. Die Neural Radiance Fields lernen aus Videos die geometrische Struktur und Beleuchtung von Szenen und Objekte zu repräsentieren und können sie anschließend rendern.

Forschende der UC Los Angeles, University of Maryland, MIT CSAIL, Columbia University, UMass Amherst und des MIT-IBM Watson AI Lab gehen nun einen Schritt weiter: PAC-NeRF (Physics Augmented Continuum Neural Radiance Fields) lernt neben der geometrischen Struktur auch die physikalischen Eigenschaften der Objekte. Das erlaubt dem Netz unter anderem dynamische Szenen zu repräsentieren und die gelernten physikalischen Eigenschaften könnten in Zukunft in anderen Pipelines weiterverwendet werden.

Links Video, mitte PAC-NeRF, rechts Partikelrekonstruktion. | Videos: Li et al.

PAC-NeRF folgt den Erhaltungssätzen der Kontinuumsmechanik

Die Forschenden entwickeln für PAC-NeRF eine Architektur, die das Netz zwingt, im Training den Erhaltungssätzen der Kontinuumsmechanik zu folgen. So stellen das Team sicher, dass das NeRF nur physikalisch plausible Zustände modelliert. Die genutzte Repräsentation "verbindet nahtlos effizientes neuronales Rendering mit der Materialpunktmethode (MPM) für robuste differenzierbare Physiksimulationen."

PAC-NeRF kann Objekte mit newtonschem und nicht-newtonschem Flüssigkeiten, sowie elastische Materialien, Knete oder Sand darstellen. Das Training eines Netzes dauert derzeit auf einer Nvidia 3090 GPU 1,5 Stunden, das anschließende Rendering eines Bildes etwa eine Sekunde. Das Team sieht die eigene Methode als deutlich überlegen gegenüber älteren Ansätzen, die auf das Lernen der geometrischen Struktur verzichten oder keine physikalischen Gesetzmäßigkeiten einbeziehen.

PAC-NeRF soll in Zukunft weitere Materialien modellieren können

Als Einschränkung sieht das Team die derzeit noch notwendigen festen Kamerawinkel mit synchronisierten und kalibrierten Kameras. Außerdem sollte die Szene einen einfachen und leicht entfernbaren Hintergrund haben. Die meisten der gezeigten Beispiele verwenden daher Aufnahmen aus einer physikalischen Simulation, aber es gibt auch ein Beispiel aus der realen Welt.

Links Video, mitte PAC-NeRF, rechts Partikelrekonstruktion. | Video: Li et al.

In Zukunft will das Team das verwendete MPM-Framework erweitern, um auch Objekte mit anderen physikalischen Eigenschaften, wie z.B. Gewebe, steife Materialien oder Gelenkkörpersimulationen, trainieren zu können.

Weitere Beispiele gibt es auf der PAC-NeRF Projektseite.