Forscher von Magic Leap präsentieren eine KI-gestützte Methode, um Szenen in 3D einzufangen - mit nur einer RGB-Kamera.
Die Atlas getaufte Methode besteht aus einem zweistufigen KI-Verfahren, das aus flachen 2D-Aufnahmen eine 3D-Umgebung generiert. Eine vorherige 3D-Analyse der Umgebung beispielsweise über Stereokameras oder ein spezielles Radarsystem ist nicht notwendig.
Die Forscher gehen davon aus, dass die KI-gestützte Rekonstruktion auf Basis von 2D-Bildern effizienter ist als auf 3D-Daten basierte Verfahren. Ihr Forschungsergebnis sehen sie als Beweis für diese Hypothese.
Ein auf Bildanalyse optimiertes neuronales Netz segmentiert die einzelnen 2D-Bilder unabhängig voneinander und erstellt ein einfaches auf den Kameradaten basiertes Voxel-3D-Modell.
Diese sogenannte Rückprojektionstechnik muss man sich so vorstellen, als würde man einen Gebäudeplan aufzeichnen, indem man um das Gebäude herumgeht und durch jedes Fenster schaut. Man sieht nicht alles, aber aus den vielen unterschiedlichen Perspektiven kann ein stimmiges Gesamtbild der Innenräume aufgezeichnet werden.
KI-Rekonstruktion: Besser als 3D-Scanner?
Ein zweites für 3D-Distanzschätzung trainiertes neuronales Netz verfeinert und ergänzt das 3D-Modell. Die Forscher können so ein vollständiges 3D-Modell einer Szene erstellen, sogar von Bereichen, die beim Scanvorgang verdeckt sind.
Die KI füllt diese blinden Flecken mit passender Bildinformation, die sie beim KI-Training mit dem Datensatz ScanNet gelernt hat, der hochwertige und dokumentierte 3D-Scans enthält.
Laut der Forscher schlägt ihr KI-gestütztes 2D-3D-Rekonstruktionsverfahren quantitativ und qualitativ gängige und aufwendigere Verfahren, die auf Hardware-basierte 3D-Analyse der Umgebung setzen.
Schnelle PC-Hardware ist allerdings Voraussetzung: Aktuell läuft die Rekonstruktion mit circa 14 Bildern pro Sekunde auf einer Nvidia Titan RTX. Die Anwendung der 3D-Rekonstruktion beispielsweise für eine schlanke AR-Brille, die den Raum in Echtzeit in 3D vermisst und digitale Objekte exakt darin platziert, liegt daher noch in weiter Ferne.
Die Forscher stellen ihren Quellcode kostenlos bei Github zur Verfügung. Weitere Informationen und die wissenschaftliche Veröffentlichung gibt es auf der offiziellen Projektseite.
