Forscher entwickeln "Gaussian Frosting", eine Technik, die das Rendern und Bearbeiten von hochwertigen 3D-Effekten in Echtzeit ermöglicht.
Wissenschaftler der französischen Universität Ecole des Ponts ParisTech haben mit "Gaussian Frosting" eine innovative Methode zur Darstellung und Bearbeitung komplexer 3D-Inhalte vorgestellt. Der Ansatz kombiniert 3D-Gaussian und klassische Meshes, um Feinheiten und Lichteffekte detailliert zu erfassen.
Gaussian Frosting extrahiert zunächst ein Basisgitter aus den Gaussians und baut dann eine adaptive Schicht aus Gaussians mit variabler Dicke darüber. Die Dicke der Schicht variiert je nach Material: dünner für flache Oberflächen, dicker für "flauschige" Materialien wie Haare oder Gras.
Gaussian Frosting kombiniert neuronale und klassische Rendering-Techniken
Frosting ermöglicht das effiziente Rendern komplexer volumetrischer Effekte und kann aus RGB-Bildern aufgebaut werden. Es ist in der Lage, Szenen mit realistischen Details darzustellen, die mit herkömmlichen Renderingverfahren oft nicht erreicht werden können. Die Kombination verbindet somit die Rendering-Qualität von 3DGS mit der Editierbarkeit von Mesh-basierten Methoden. Der Ansatz ähnelt Nvidias Adaptive Shells, die jedoch nicht auf 3D-Gaussians basieren. Gaussian Frosting erreicht eine höhere Darstellungsqualität und Geschwindigkeit als Nvidias Methode, so die Forscher.
Im Vergleich zu SuGaR, das ebenfalls ein Mesh aus Gaussian Splatting extrahiert, aber die Gaussians flach auf das Mesh presst, behält Frosting die Darstellungsqualität für flockige Materialien und volumetrische Effekte bei. Dies zeigt sich z.B. in der korrekten Darstellung von Überlappungen und Verdeckungen, die bei anderen Methoden oft zu Fehlern führen.
Die Methode hat noch einige Einschränkungen, z.B. sind die Darstellungen größer als bei reinen 3D-Gaussians. Das Team glaubt jedoch, dass viele dieser Einschränkungen überwunden werden können. So könnte Frosting auch außerhalb des bildbasierten Renderings nützlich sein, zum Beispiel in allgemeinen Computergrafikanwendungen, wo Frosting komplexe Materialien in Echtzeit rendern könnte.
Mehr Beispiele gibt es auf der Projektseite, der Code soll in Kürze folgen.