Inhalt
summary Zusammenfassung

EfficientViT bringt effiziente Computer-Vision-Funktionen für hochauflösende Kameras und könnte zu genaueren Ergebnissen beim autonomen Fahren oder in der Medizin führen.

Forschende des MIT haben ein neues Computer-Vision-Modell vorgestellt, das die semantische Segmentierung von hochauflösenden Bildern wesentlich effizienter durchführen kann als bisherige Modelle. Bei der semantischen Segmentierung werden alle Pixel eines Bildes markiert und kategorisiert. So können etwa autonome Fahrzeuge Objekte wie andere Autos, Fußgänger:innen und Umgebung genau erkennen oder medizinische KI-Systeme Tumorgewebe.

EfficientViT reduziert Rechenkomplexität von Vision Transformern

Das neue Modell namens EfficientViT basiert auf dem Vision Transformer, verändert aber den Aufmerksamkeitsmechanismus des Modells. Denn herkömmliche Vision Transformer leiden unter dem gleichen Nachteil wie klassische Transformer für die Sprachverarbeitung: Die Rechenkomplexität des Aufmerksamkeitsmechanismus steigt quadratisch an, was die Verarbeitung hochauflösender Bilder extrem rechenintensiv und damit eine Echtzeitverarbeitung auf aktuellen Edge-Geräten unmöglich macht.

Das Modell der Forschenden, EfficientViT, vereinfacht den Prozess der Erstellung sogenannter "attention maps", also von Repräsentationen, die die Beziehungen zwischen den verschiedenen Teilen des Bildes festhalten. Diese helfen dem Modell, ein "globales rezeptives Feld" zu bilden, was bedeutet, dass es auf alle relevanten Teile des Bildes zugreifen kann.

Anzeige
Anzeige

EfficientViT verwendet eine lineare Funktion anstelle der sonst üblichen nicht linearen Ähnlichkeitsfunktion - die Komplexität der Berechnung steigt dadurch nicht mehr quadratisch, sondern linear.

Team gleicht Genauigkeitsverlust mit weiteren Komponenten aus

Mit der linearen Funktion geht allerdings auch ein Genauigkeitsverlust einher, da die lineare Ähnlichkeitsfunktion nur den globalen Kontext des Bildes erfasst, nicht aber lokale Informationen. Das Team kompensiert diesen Genauigkeitsverlust durch zwei Komponenten, die lokale Merkmale sowie große und kleine Objekte erfassen können.

In Tests erreichte EfficientViT die gleiche oder eine bessere Leistung als weniger effiziente Modelle und verarbeitete hochauflösende Bilder bis zu neunmal schneller.

Diese effizientere Verarbeitung könnte die Segmentierung in Echtzeit für autonome Fahrzeuge, medizinische Bildgebung, VR-Brillen und andere Edge-Anwendungen ermöglichen.

Code und Modell sind auf GitHub verfügbar.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Empfehlung
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forschende des MIT haben ein neues Computer-Vision-Modell namens EfficientViT entwickelt, das die semantische Segmentierung von hochauflösenden Bildern effizienter durchführen kann, was für autonome Fahrzeuge und medizinische KI-Systeme nützlich sein könnte.
  • EfficientViT basiert auf dem Vision Transformer, verändert jedoch den Aufmerksamkeitsmechanismus, um die Rechenkomplexität zu reduzieren und die Verarbeitung hochauflösender Bilder auf aktuellen Edge-Geräten zu ermöglichen.
  • In Tests erreichte EfficientViT ähnliche oder bessere Leistungen als weniger effiziente Modelle und verarbeitete hochauflösende Bilder bis zu neunmal schneller, was die Echtzeit-Segmentierung in Anwendungen wie autonomen Fahrzeugen, medizinischer Bildgebung und VR-Brillen ermöglichen könnte.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!