Mit Hilfe von Wärme- und Infrarotdaten sowie künstlicher Intelligenz entsteht ein neues visuelles System, das seine Umgebung in völliger Dunkelheit wie bei Tageslicht sehen kann.
HADAR (heat-assisted detection and ranging) kombiniert Wärmephysik, Infrarot-Bildgebung und maschinelles Lernen zu einer "vollständig passiven, aber physikbewussten Maschinenwahrnehmung", wie das Forschungsteam der Purdue University schreibt.
Herkömmliche Sensoren wie LiDAR, Radar und Sonar haben Probleme mit Signalstörungen und Sicherheitsrisiken für die Augen. Videokameras wiederum funktionieren bei schlechten Lichtverhältnissen wie Nacht, Nebel oder Regen weniger gut oder gar nicht. Dafür liefern sie ein realistisches Bild der Umgebung.
Wärmebildsysteme hingegen funktionieren auch bei Dunkelheit und sind unabhängig von Wetter und Licht. Allerdings sind die aufgenommenen Bilder unscharf, ohne Tiefenschärfe und geben nur ein abstraktes Bild der Umgebung wieder.
Robustes Sichtsystem für Roboter und autonome Fahrzeuge, das noch zu langsam und unhandlich ist
Das HADAR-System soll die besten Elemente beider Visualisierungstechnologien vereinen: Die visuellen Daten des robusten Wärmebildsystems werden mit den Tiefendaten eines Infrarotsystems angereichert und durch künstliche Intelligenz mit mehr Details, Tiefe und Textur versehen.
Auf diese Weise soll HADAR die Welt in völliger Dunkelheit so klar sehen wie bei Tageslicht. Außerdem kann es physikalische Eigenschaften erkennen, die das menschliche Sehvermögen übersteigen.
Doch bevor HADAR in Autos oder Roboter für den Alltagsgebrauch eingebaut werden kann, muss das System noch kleiner und schneller werden. Derzeit kann es nur etwa ein Bild pro Sekunde aufnehmen.
Für ein für das menschliche Auge halbwegs flüssiges Bild sind mindestens 24 Bilder pro Sekunde nötig, für sicherheitsrelevante Anwendungen, etwa in autonom fahrenden Autos, besser 30 Bilder pro Sekunde oder mehr. Zudem sei das System noch zu teuer, sagt der an der Entwicklung beteiligte Forscher Fanglin Bao.
Neben dem autonomen Fahren und der Robotik sieht das Forscherteam auch Einsatzmöglichkeiten in der Landwirtschaft, der Verteidigung, dem Gesundheitswesen, der Erd- und Klimaforschung sowie der Tierbeobachtung.
Die Forschungsarbeiten werden unter anderem von der US-Verteidigungsorganisation DARPA unterstützt. Ein Patentantrag ist in Vorbereitung.
