Extrem miniaturisierte Kameras ermöglichen neue Anwendungen in Medizin oder Robotik. Dank KI erreichen Forschende jetzt einen wichtigen Meilenstein.
Die stetige Miniaturisierung von Kameras in den letzten Jahrzehnten hat ihre weite Verbreitung in medizinischer Bildgebung, Sicherheitstechnik, Smartphones, Robotik oder autonomen Fahrzeugen ermöglicht. Um eine Größenordnung kleinere Kameras könnten zudem zahlreiche neue Anwendungen in der minimalinvasiven Medizin, Nanorobotik, Wearables oder AR und VR ermöglichen. Diese weitere Miniaturisierung wird jedoch durch grundlegende Beschränkungen aktueller Ansätze verhindert, etwa durch den Einsatz von Linsen.
Forschende arbeiten daher an völlig neuen Kameraansätzen, darunter sogenannte Meta-Oberflächen-Optik (Meta-Optik). Dabei werden winzige, in ihrer Geometrie wechselnde, zylindrische Strukturen auf eine Fläche angebracht. Diese Strukturen fangen ähnlich kleiner Antennen ankommende Photonen ein. Die Signale werden dann an einen Computer weitergeleitet und zu einem Bild gewandelt. Bisherige Systeme erzeugen jedoch unscharfe, verzerrte Bilder und haben ein extrem geringes Sichtfeld.
So klein wie ein Salzkorn: Neuronale Nano-Optik
Forschende der Princeton University und der University of Washington überwinden diese Einschränkungen nun mit einer Kamera in der Größe eines groben Salzkorns. Das neue Kamera-System kann scharfe, vollfarbige Bilder erzeugen, die mit einem 500.000-mal größeren Objektiv einer herkömmlichen Kamera vergleichbar seien, so das Team.
"Es war eine Herausforderung, diese kleinen Nanostrukturen so zu entwerfen und zu konfigurieren, dass sie das tun, was man will", so Ethan Tseng, ein Doktorand der Informatik in Princeton, der die Studie mitleitete. "Für diese spezielle Aufgabe der Erfassung von RGB-Bildern mit großem Sichtfeld war es bisher unklar, wie man die Millionen von Nanostrukturen zusammen mit den Bildverarbeitungsalgorithmen gestalten kann."
Die Forschenden entwickelten die Nano-Optik mit der Hilfe von Künstlicher Intelligenz. Sie automatisierten die Prüfung verschiedener Nanoantennenkonfigurationen und individuell zugeschnittener Bildalgorithmen mit einem KI-Algorithmus. Aufgrund der Anzahl der Antennen und der Komplexität ihrer Wechselwirkungen mit dem Licht hätte ein simples automatisiertes Testen ohne KI-Hilfe "enorme Mengen an Speicher und Zeit" beansprucht, so die Forschenden.
Meta-Optik als Smartphone-Oberfläche
Das integrative Design der Meta-Optik mit 1,6 Millionen Strukturen und Bildverarbeitungsalgorithmus sei eine der zentralen Innovationen, so Felix Heide, Senior-Autor der Studie und Assistenzprofessor für Computerwissenschaften in Princeton. So sei die Leistung der winzigen Kamera unter natürlichen Lichtverhältnissen deutlich gestiegen. Vorherige Systeme benötigen reines Laserlicht oder andere künstlich geschaffene Idealbedingungen.
Video: Princeton Computational Imaging Lab
Heide und sein Team möchten nun die Kapazitäten der Kamera ausbauen. Sie wollen die Bildqualität verbessern und die Kamera um Fähigkeiten wie Objekterkennung erweitern, damit sie etwa in der Medizin und Robotik eingesetzt werden kann.
Meta-Optiken könnten außerdem ganze Oberflächen in Sensoren verwandeln: "Wir könnten einzelne Oberflächen in Kameras mit ultrahoher Auflösung verwandeln, sodass man nicht mehr drei Kameras auf der Rückseite des Smartphones bräuchte, sondern die gesamte Rückseite zu einer einzigen großen Kamera würde." Meta-Optiken ermöglichten völlig neue Wege, Produkte zu konstruieren, so die Forschenden.
Die Aufnahmen und den Code gibt es auf Github.
