DiffusionLight ist eine Methode, bei der die Belichtung einer Umgebung über eine generierte Chromsphäre ausgewertet wird.
Forschende haben eine einfache, aber effektive Technik entwickelt, um die Beleuchtung in einem einzigen Eingabebild zu schätzen. Sie verwenden Diffusionsmodelle, die an Milliarden von Standardbildern trainiert wurden, um eine Chromkugel in das Eingabebild zu rendern und so als Lichtsonde zu nutzen.
Diese Methode hat eine Vielzahl von Anwendungen, darunter das realistische Einfügen virtueller Objekte in Bilder, Verbesserungen in AR und VR, realistische Visualisierungen in Architektur und Innenarchitektur, realistischere Szenen in Computerspielen, präzisere Planung in Fotografie und Film.
DiffusionLight nutzt Stable Diffusion XL
Aktuelle Techniken zur Beleuchtungsschätzung basieren auf HDR-Panoramadatensätzen, mit denen neuronale Netze trainiert werden. Diese Ansätze haben jedoch oft Probleme mit realen Aufnahmen aufgrund der begrenzten Vielfalt und Größe der verfügbaren Datensätze.
Die "DiffusionLight" genannte Technik verwendet dagegen das mit Milliarden von Bildern vortrainierte Diffusionsmodell Stable Diffusion XL, um eine Chromkugel in das Eingabebild zu rendern. Die Methode geht davon aus, dass die KI-Modelle durch Beispiele von unter- und überbelichteten Bildern in ihren Trainingssets indirekt etwas über HDR und den großen Helligkeitsbereich gelernt haben.
Ohne weitere Eingriffe erzeugt SDXL jedoch falsche oder inkonsistente Objekte und kann nicht ohne weiteres Bilder im HDR-Format erzeugen. Die Forschenden haben daher eine Technik namens "Iteratives Inpainting" verwendet, um eine anfängliche Diffusionsrauschkarte zu finden, die dann verwendet wird, um Chromsphären von konsistenter Qualität zu erzeugen.
Um HDR-Chromsphären zu erzeugen, generieren und kombinieren die Forschenden auch mehrere LDR-Chromsphären mit unterschiedlichen Belichtungswerten, die zur weiteren Verfeinerung von SDXL mit einer speziellen LoRA verwendet werden.
Nach dem Training liefert DiffusionLight überzeugende Lichtschätzungen in verschiedenen Einstellungen und kann ganz unterschiedliche Szenen verarbeiten.
DiffusionLight liefert die notwendigen Informationen, um die Beleuchtung platzierter 3D-Objekte an die der Umgebung anzupassen. | Video: Phongthawee, Chinchuthakun et al.
Mehr Informationen und Beispiele gibt es auf der Projektseite von DiffusionLight.