Inhalt
summary Zusammenfassung

Forscher haben gezeigt, dass Transformer-Modelle Bilder nicht in Blöcke unterteilen müssen, sondern direkt auf einzelne Pixel trainiert werden können - das stellt gängige Methoden in der Computer Vision in Frage.

Anzeige

Ein Forscherteam der Universität Amsterdam und Meta AI hat einen neuen Ansatz vorgestellt, der die Notwendigkeit von lokalen Beziehungen in KI-Modellen für Computer Vision in Frage stellt. Die Forscher trainierten Transformer-Modelle direkt auf einzelnen Bildpixeln statt auf Pixelblöcken und erzielten damit überraschend gute Ergebnisse.

Üblicherweise werden Transformer-Modelle wie der Vision Transformer (ViT) auf Blöcken von beispielsweise 16 mal 16 Pixeln trainiert. Dadurch wird dem Modell beigebracht, dass benachbarte Pixel stärker zusammenhängen als weiter entfernte Pixel. Dieses Prinzip der Lokalität gilt als Grundvoraussetzung für die Bildverarbeitung durch KI und wird auch in ConvNets genutzt.

Die Forscher wollten nun herausfinden, ob sich dieser Zusammenhang vollständig auflösen lässt. Dazu entwickelten sie den "Pixel Transformer" (PiT), der jedes Pixel als einzelnes Token betrachtet und keine Annahmen über räumliche Zusammenhänge macht. Stattdessen soll das Modell diese Zusammenhänge selbstständig aus den Daten lernen.

Anzeige
Anzeige
Bild: D-K. Nguyen et al.

Pixel Transformer übertrifft klassischen Vision Transformer

Um die Leistungsfähigkeit des PiT zu testen, führten die Wissenschaftler Experimente in drei Anwendungsbereichen durch:

1. Überwachtes Lernen zur Objektklassifikation auf den Datensätzen CIFAR-100 und ImageNet. Hier zeigte sich, dass PiT den herkömmlichen ViT übertrifft.

2. Selbstüberwachtes Lernen mittels Masked Autoencoding (MAE). Auch hier schnitt PiT besser ab als ViT und skalierte besser mit zunehmender Modellgröße.

3. Bildgenerierung mittels Diffusionsmodellen. PiT erzeugte detaillierte Bilder mit einer Qualität, die mit lokalen Modellen vergleichbar war.

Bild: D-K. Nguyen et al.

Pixel Transformer ist derzeit nicht praktikabel - könnte aber die Zukunft sein

Insgesamt deuten die Ergebnisse laut dem Team darauf hin, dass Transformer mehr Informationen erfassen können, wenn sie Bilder als eine Menge einzelner Pixel betrachten, als wenn sie sie in Blöcke aufteilen, wie es bei ViT der Fall ist.

Empfehlung

"Wir sind der Meinung, dass diese Arbeit die klare und ungefilterte Botschaft vermittelt hat, dass die Lokalität nicht von grundlegender Bedeutung ist und die Patchifizierung lediglich eine nützliche Heuristik darstellt, die einen Kompromiss zwischen Effizienz und Genauigkeit darstellt."

Aus dem Paper

Die Forscher betonen, dass PiT aufgrund der höheren Rechenintensität für reale Anwendungen derzeit nicht praktikabel ist - aber die Entwicklung zukünftiger KI-Architekturen für Computer Vision unterstützen soll.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forscher der Universität Amsterdam und Meta AI haben einen neuen Ansatz vorgestellt, bei dem Transformer-Modelle direkt auf einzelnen Bildpixeln trainiert werden, statt wie bisher üblich auf Pixelblöcken. Damit stellen sie gängige Methoden in der Computer Vision in Frage.
  • Das Team entwickelte den "Pixel Transformer" (PiT), der jedes Pixel als einzelnes Token betrachtet und keine Annahmen über räumliche Zusammenhänge macht. In Experimenten zur Objektklassifikation, selbstüberwachtem Lernen und Bildgenerierung übertraf PiT herkömmliche Ansätze wie den Vision Transformer (ViT), der aus Pixelblöcken lernt.
  • Laut den Forschern deuten die Ergebnisse darauf hin, dass Transformer mehr Informationen erfassen können, wenn sie Bilder als eine Menge einzelner Pixel betrachten. Aufgrund der höheren Rechenintensität ist PiT derzeit nicht praktikabel, könnte aber die Entwicklung zukünftiger KI-Architekturen für Computer Vision unterstützen.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!