Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Mit Photogrammetrie kann die reale Welt enorm realistisch in die Virtual Reality übertragen werden. Das Verfahren hat krasses Potenzial, aber der manuelle Aufwand ist hoch. Künstliche Intelligenz kann ihn schon jetzt deutlich reduzieren, wie ein Beispiel zeigt.

Ende Juni schrieb' ich - für meine Verhältnisse - beinahe ekstatisch über einen VR-Ausflug in die ägyptische Grabkammer der Königin Nefertari. Die Kammer wurde mittels Photogrammetrie fotorealistisch in die Virtual Reality übertragen.

Der geringen Auflösung und dem engen Sichtfeld aktueller VR-Brillen zum Trotz, fühle ich mich an einen anderen Ort teleportiert wie in kaum einer anderen VR-App. Zu verdanken ist das insbesondere dem erstaunlichen Detailgrad der Texturen sowie der gelungenen Ausleuchtung.

Die Fototexturen sind auch in VR kaum von der Realität zu unterscheiden.
Die detaillierten Fototexturen wirken auch in VR extrem realistisch.

Technischer Vorsprung dank KI-Rendering

Entwickelt wurde der VR-Ausflug vom neuseeländischen VR-Unternehmen RealityVirtual, das sich schon vor Jahren auf Photogrammetrie-VR spezialisiert hat. Um die aufwendigen Arbeitsprozesse zu verschlanken, setzte das Unternehmen bei Neferatri auf Künstliche Intelligenz.

Anzeige
Anzeige

Ein auf Bildverarbeitung spezialisiertes neuronales Netz (Wasserstein GAN) bereitete die insgesamt 4.000 42-Megapixel-Fotos der Grabkammer für den Photogrammetrie-Einsatz auf. Normalerweise müssen Details in den Fotos wie die Oberflächenstruktur eines Steines oder Lichtreflexionen auf einer Wand aufwendig manuell nachbearbeitet werden, damit die Photogrammie-Umgebung wie aus einem Guss wirkt.

Besonders das "Entleuchten" der Fotos - so heißt es in der Fachsprache - ist zeitintensive Detailarbeit. Der Sinn dahinter: Die lichtneutralen Foto-Texturen können anschließend in Echtzeit in der 3D-Umgebung neu ausgeleuchtet werden. Die gesamte Szene gewinnt so atmosphärisch enorm dazu.

Die Stiege hinab zu Neferatri - die Atmosphäre in der VR-Grabkammer ist sehr dicht.
Die Stiege hinab zu Neferatri - die Atmosphäre in der VR-Grabkammer ist dank der gelungen Ausleuchtung sehr dicht.

Ergänzend nutzte RealityVirtual eine im April vorgestellte Foto-KI von Nvidia, die Zeichen der Moderne aus den Bildern entfernte: Türschilder, Halogen-Beleuchtungen, Plaketten, Geländer, Dielenbretter.

Zu ersetzende Objekte werden auf den Fotos manuell eingekringelt, der Computer übermalt die markierten Stellen dann automatisch mit passenden Pixeln entlang des Trainingsmaterials. Nvidia nennt das "Image Inpainting".

Das folgende Video zeigt eine noch unveröffentlichte Version der Neferatri-App, bei der die Pixelanzahl durch KI-Supersampling nochmals erhöht und die Ausleuchtung verbessert wurde. Sämtliche KI-Berechnungen wurden mit Nvidias Highend-Grafikkarten der Quadro-Serie ausgeführt.

Empfehlung

Computer lernt Licht

Trainiert wurde die verwendete KI-Software deepPBR mit Hunderttausenden Fotos, die RealityVirtual-Gründer Simon Che de Boer und sein Team bei ihren zahlreichen Touren von unterschiedlichen Oberflächen bei verschiedenen Lichtbedingungen knipsten.

"Wir konnten die Maschine so trainieren, dass sie in Sekunden erledigt, wofür ein Mensch ansonsten Hunderte Stunden benötigt", sagt mir de Boer. Keine der Texturen der Neferatri-App seien von Hand erstellt worden. Nur bei wenigen Details sei manuell nachgearbeitet worden.

Das KI-System arbeite robust und ließe sich beispielsweise von Hieroglyphen an einer Wand nicht aus dem Tritt bringen. "Wir haben der Maschine beigebracht, was Licht ist", sagt de Boer.

Deep Learning spart viele Wochen Arbeitszeit

Sechs Wochen war Neferatri in Entwicklung, ohne KI-Unterstützung wären es laut de Boer mindestens zehn Wochen gewesen. Mit dem aktuellen Kenntnisstand, schätzt de Boer, wäre die App in vier Wochen umsetzbar. Zukünftig hält er sogar ein bis zwei Wochen für ein Projekt dieser Größenordnung für machbar.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Der nächste Schritt laut de Boer: Künstliche Intelligenz soll entlang einer eigenen Vorstellungskraft fotorealistische 3D-Umgebungen anhand weniger 2D-Fotos hochrechnen, so wie es kürzlich Googles KI-Abteilung Deepmind andeutete. Spätestens dann könnte der Traum wahr werden, dass man jeden besonderen Ort anhand weniger Fotos digital konservieren und in VR jederzeit erneut besuchen kann.

Derzeit such RealityVirtual nach Partnern und Investoren, die dabei helfen, deepPBR und Deep-Learning-Photogrammetrie fortzuentwickeln und zu vermarkten. Weitere Informationen zum Produkt und der Geschäftsplanung stehen hier.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!