Mit Photogrammetrie kann die reale Welt enorm realistisch in die Virtual Reality übertragen werden. Das Verfahren hat krasses Potenzial, aber der manuelle Aufwand ist hoch. Künstliche Intelligenz kann ihn schon jetzt deutlich reduzieren, wie ein Beispiel zeigt.
Ende Juni schrieb' ich - für meine Verhältnisse - beinahe ekstatisch über einen VR-Ausflug in die ägyptische Grabkammer der Königin Nefertari. Die Kammer wurde mittels Photogrammetrie fotorealistisch in die Virtual Reality übertragen.
Der geringen Auflösung und dem engen Sichtfeld aktueller VR-Brillen zum Trotz, fühle ich mich an einen anderen Ort teleportiert wie in kaum einer anderen VR-App. Zu verdanken ist das insbesondere dem erstaunlichen Detailgrad der Texturen sowie der gelungenen Ausleuchtung.
Technischer Vorsprung dank KI-Rendering
Entwickelt wurde der VR-Ausflug vom neuseeländischen VR-Unternehmen RealityVirtual, das sich schon vor Jahren auf Photogrammetrie-VR spezialisiert hat. Um die aufwendigen Arbeitsprozesse zu verschlanken, setzte das Unternehmen bei Neferatri auf Künstliche Intelligenz.
Ein auf Bildverarbeitung spezialisiertes neuronales Netz (Wasserstein GAN) bereitete die insgesamt 4.000 42-Megapixel-Fotos der Grabkammer für den Photogrammetrie-Einsatz auf. Normalerweise müssen Details in den Fotos wie die Oberflächenstruktur eines Steines oder Lichtreflexionen auf einer Wand aufwendig manuell nachbearbeitet werden, damit die Photogrammie-Umgebung wie aus einem Guss wirkt.
Besonders das "Entleuchten" der Fotos - so heißt es in der Fachsprache - ist zeitintensive Detailarbeit. Der Sinn dahinter: Die lichtneutralen Foto-Texturen können anschließend in Echtzeit in der 3D-Umgebung neu ausgeleuchtet werden. Die gesamte Szene gewinnt so atmosphärisch enorm dazu.
Ergänzend nutzte RealityVirtual eine im April vorgestellte Foto-KI von Nvidia, die Zeichen der Moderne aus den Bildern entfernte: Türschilder, Halogen-Beleuchtungen, Plaketten, Geländer, Dielenbretter.
Zu ersetzende Objekte werden auf den Fotos manuell eingekringelt, der Computer übermalt die markierten Stellen dann automatisch mit passenden Pixeln entlang des Trainingsmaterials. Nvidia nennt das "Image Inpainting".
Das folgende Video zeigt eine noch unveröffentlichte Version der Neferatri-App, bei der die Pixelanzahl durch KI-Supersampling nochmals erhöht und die Ausleuchtung verbessert wurde. Sämtliche KI-Berechnungen wurden mit Nvidias Highend-Grafikkarten der Quadro-Serie ausgeführt.
Computer lernt Licht
Trainiert wurde die verwendete KI-Software deepPBR mit Hunderttausenden Fotos, die RealityVirtual-Gründer Simon Che de Boer und sein Team bei ihren zahlreichen Touren von unterschiedlichen Oberflächen bei verschiedenen Lichtbedingungen knipsten.
"Wir konnten die Maschine so trainieren, dass sie in Sekunden erledigt, wofür ein Mensch ansonsten Hunderte Stunden benötigt", sagt mir de Boer. Keine der Texturen der Neferatri-App seien von Hand erstellt worden. Nur bei wenigen Details sei manuell nachgearbeitet worden.
Das KI-System arbeite robust und ließe sich beispielsweise von Hieroglyphen an einer Wand nicht aus dem Tritt bringen. "Wir haben der Maschine beigebracht, was Licht ist", sagt de Boer.
Deep Learning spart viele Wochen Arbeitszeit
Sechs Wochen war Neferatri in Entwicklung, ohne KI-Unterstützung wären es laut de Boer mindestens zehn Wochen gewesen. Mit dem aktuellen Kenntnisstand, schätzt de Boer, wäre die App in vier Wochen umsetzbar. Zukünftig hält er sogar ein bis zwei Wochen für ein Projekt dieser Größenordnung für machbar.
Der nächste Schritt laut de Boer: Künstliche Intelligenz soll entlang einer eigenen Vorstellungskraft fotorealistische 3D-Umgebungen anhand weniger 2D-Fotos hochrechnen, so wie es kürzlich Googles KI-Abteilung Deepmind andeutete. Spätestens dann könnte der Traum wahr werden, dass man jeden besonderen Ort anhand weniger Fotos digital konservieren und in VR jederzeit erneut besuchen kann.
Derzeit such RealityVirtual nach Partnern und Investoren, die dabei helfen, deepPBR und Deep-Learning-Photogrammetrie fortzuentwickeln und zu vermarkten. Weitere Informationen zum Produkt und der Geschäftsplanung stehen hier.
