Inhalt
summary Zusammenfassung

Im Projekt "Seeing the World through Your Eyes" (Die Welt durch deine Augen sehen) zeigen Forscher der University of Maryland, College Park, dass die Reflexionen des menschlichen Auges zur Rekonstruktion von 3D-Szenen genutzt werden können. Dies sei eine bisher "unterschätzte Informationsquelle darüber, wie die Welt um uns herum aussieht".

Anzeige

Die Arbeit nutzt eine NeRF-basierte Methode, um aus einer Reflexion im Auge eine 3D-Szene zu rekonstruieren. Das klinge einfach, sei aber in Wirklichkeit ein komplizierter Prozess, der durch mehrere Faktoren erschwert werde, darunter die genaue Bestimmung der Blickrichtung und die Unterscheidung der Reflexionen von den Mustern der Iris, so die Forscher.

Links sieht man eine Iris mit Spiegelung, rechts davon eine 3D-Rekonstruktion dieser Spiegelung.
Im Projekt "Seeing the World through Your Eyes" (Die Welt durch deine Augen sehen) zeigen Forscher, dass die Reflexionen des menschlichen Auges zur Rekonstruktion von 3D-Szenen genutzt werden können. | Bild: Alzayer, Zhang et al.

Die Hornhaut als Basis für die Berechnung der Außenwelt

Um die Außenwelt zu berechnen, nutzt das Team die Geometrie der Hornhaut, die bei gesunden Erwachsenen ziemlich einheitlich ist. Anhand der Größe der Hornhaut in einem Bild können sie die Position und Ausrichtung des Auges abschätzen.

Ein wichtiger Aspekt ist die Optimierung der Erkennung der Hornhautposition, mit der die anfängliche Positionsschätzung für jedes Bild verfeinert wird. Diese Technik hat sich als entscheidend für die Robustheit des Verfahrens erwiesen.

Anzeige
Anzeige
Der Aufbau der Rekonstruktionsmethode. | Bild: Alzayer, Zhang et al.

Um die Reflexion der Außenwelt vom Irismuster zu trennen, verwendet das Team ein modifiziertes Trainings-Framework von Nerfstudio. Sie ließen NeRF sowohl die reflektierte 3D-Szene als auch das Irismuster lernen und trainierten das System gleichzeitig, die beiden Elemente voneinander zu trennen.

Rekonstruktion einer 3D-Szene aus der Spiegelung im Auge eines Porträtfotos. | Video: Alzayer, Zhang et al.

Bild im Fotolabor, Mann schaut in Kamera, auf dem Tisch vor ihm liegen zwei Plüschtiere, die Lampen leuchten die Szene hell aus.
Das Foto-Setup unter Laborbedingungen. | Bild: Alzayer, Zhang et al.

Für die Erkennung der Iris wurde dem System die allgemeine radialsymmetrische Form als Vorgabe gegeben und die Annahme, dass sich die Reflexion aus verschiedenen Perspektiven ändert, die Textur der Iris aber gleich bleibt.

Rekonstruktion einer 3D-Szene aus der Spiegelung im Auge eines Porträtfotos. | Video: Alzayer, Zhang et al.

Nur eine Kamera für ein 3D-Nerf

Während typische NeRF-Rekonstruktionen mehrere Kameraperspektiven auf das zu rekonstruierende Objekt erfordern, bewegten die Forscher die Person einfach durch das Sichtfeld der Kamera. Die Reflexionen im Auge, die sich bereits bei minimalen Bewegungen verändern, lieferten die für die 3D-Szenenrekonstruktion notwendigen unterschiedlichen Perspektiven, obwohl die Person selbst nur von einer Kamera gesehen wurde.

Empfehlung

Zur Validierung ihrer Methode verwendete das Team synthetische Augenbilder, die mit Blender gerendert wurden, und reale Fotos einer Person, die sich im Sichtfeld der Kamera bewegte. Trotz Herausforderungen wie Ungenauigkeiten bei der Lokalisierung der Hornhaut und der Schätzung ihrer Geometrie sowie der inhärent niedrigen Auflösung der Bilder erwies sich ihre Methode als vielversprechend. Bei Tests mit synthetischen Augenmodellen konnte das Team vollständige Szenenrekonstruktionen nur anhand von Augenreflexionen durchführen.

Sehr detaillierte Rekonstruktion einer 3D-Szene mit Hilfe eines synthetischen Augenmodells unter optimalen Bedingungen. | Video: Alzayer, Zhang et al.

Allerdings wurden die Tests nur unter Laborbedingungen durchgeführt, in der Realität spielten viele andere Faktoren eine Rolle, und die in der Arbeit gemachten Annahmen, z.B. über die Beschaffenheit der Iris, waren möglicherweise zu einfach. Hellere Iristexturen oder Situationen mit starker Augenrotation könnten zusätzliche Herausforderungen darstellen.

Das Team hofft, dass die Arbeit weitere Forschung anregt, wie unerwartete, zufällige visuelle Signale genutzt werden können, um Informationen über die umgebende Welt zu enthüllen.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forscher der Universität von Maryland haben eine NeRF-basierte Methode entwickelt, die es ermöglicht, 3D-Szenen aus Reflexionen im menschlichen Auge zu rekonstruieren. Sie betrachten dies als eine bisher unterschätzte Informationsquelle über die Welt um uns herum.
  • Die Methode nutzt die einheitliche Geometrie der Hornhaut bei gesunden Erwachsenen, um die Position und Ausrichtung des Auges zu schätzen. Ein wichtier Aspekt der Arbeit ist die Entwicklung einer Technik zur Optimierung der Hornhautposition, die zur Verbesserung der Robustheit der Methode beiträgt.
  • Tests wurden sowohl mit synthetischen Augenbildern als auch mit realen Fotos durchgeführt, allerdings nur unter Laborbedingungen. Trotz gewisser Herausforderungen, wie Ungenauigkeiten bei der Lokalisierung der Hornhaut und der niedrigen Auflösung der Bilder, sei die Methode vielversprechend.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!