Inhalt
newsletter Newsletter

Forscher von Magic Leap präsentieren eine KI-gestützte Methode, um Szenen in 3D einzufangen - mit nur einer RGB-Kamera.

Anzeige

Die Atlas getaufte Methode besteht aus einem zweistufigen KI-Verfahren, das aus flachen 2D-Aufnahmen eine 3D-Umgebung generiert. Eine vorherige 3D-Analyse der Umgebung beispielsweise über Stereokameras oder ein spezielles Radarsystem ist nicht notwendig.

Die Forscher gehen davon aus, dass die KI-gestützte Rekonstruktion auf Basis von 2D-Bildern effizienter ist als auf 3D-Daten basierte Verfahren. Ihr Forschungsergebnis sehen sie als Beweis für diese Hypothese.

 

Anzeige
Anzeige
Links ist das komplette 3D-Modell zu sehen, in der Mitte die Atlas-Rekonstruktion. Das rechte 3D-Modell wurde ebenfalls KI-gestützt erstellt auf Basis von stereoskopischen Aufnahmen. | Bild: Murez et al.
Links ist das komplette 3D-Modell zu sehen, in der Mitte die Atlas-Rekonstruktion. Das rechte 3D-Modell wurde mit MVDepthNet ebenfalls KI-gestützt erstellt auf Basis von stereoskopischen Aufnahmen. | Bild: Murez et al.

Ein auf Bildanalyse optimiertes neuronales Netz segmentiert die einzelnen 2D-Bilder unabhängig voneinander und erstellt ein einfaches auf den Kameradaten basiertes Voxel-3D-Modell.

Diese sogenannte Rückprojektionstechnik muss man sich so vorstellen, als würde man einen Gebäudeplan aufzeichnen, indem man um das Gebäude herumgeht und durch jedes Fenster schaut. Man sieht nicht alles, aber aus den vielen unterschiedlichen Perspektiven kann ein stimmiges Gesamtbild der Innenräume aufgezeichnet werden.

KI-Rekonstruktion: Besser als 3D-Scanner?

Ein zweites für 3D-Distanzschätzung trainiertes neuronales Netz verfeinert und ergänzt das 3D-Modell. Die Forscher können so ein vollständiges 3D-Modell einer Szene erstellen, sogar von Bereichen, die beim Scanvorgang verdeckt sind.

Die KI füllt diese blinden Flecken mit passender Bildinformation, die sie beim KI-Training mit dem Datensatz ScanNet gelernt hat, der hochwertige und dokumentierte 3D-Scans enthält.

Die KI kann Lücken in 3D-Scans eigenständig mit Bildinformationen füllen. | Bild: Murez et al.
Die KI kann Szenen in 3D-Scans eigenständig mit Bildinformationen füllen an Stellen, die a) unvollständig oder ungenau eingescannt wurden oder b) gar nicht erfasst wurden. | Bild: Murez et al.

Laut der Forscher schlägt ihr KI-gestütztes 2D-3D-Rekonstruktionsverfahren quantitativ und qualitativ gängige und aufwendigere Verfahren, die auf Hardware-basierte 3D-Analyse der Umgebung setzen.

Empfehlung

Schnelle PC-Hardware ist allerdings Voraussetzung: Aktuell läuft die Rekonstruktion mit circa 14 Bildern pro Sekunde auf einer Nvidia Titan RTX. Die Anwendung der 3D-Rekonstruktion beispielsweise für eine schlanke AR-Brille, die den Raum in Echtzeit in 3D vermisst und digitale Objekte exakt darin platziert, liegt daher noch in weiter Ferne.

Die Forscher stellen ihren Quellcode kostenlos bei Github zur Verfügung. Weitere Informationen und die wissenschaftliche Veröffentlichung gibt es auf der offiziellen Projektseite.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weiterlesen über 3D-Scanning:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!