Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Beeindruckende Bildanalyse durch Künstliche Intelligenz: Googles multimodales LiT-Modell hängt OpenAIs CLIP ab.

Die Kombination von Bildern und Textbeschreibungen, üblicherweise massenhaft aus dem Internet gezogen, hat sich als leistungsstarke Ressource für das Training Künstlicher Intelligenz erwiesen.

Statt auf händisch aufwendig erstellte Bilddatensätze wie ImageNet, für die Menschen für jede Kategorie wie Hund, Katze, Tisch jeweils zahlreiche Bilder suchen, setzen neuere Bildanalyse-Modelle auf vergleichsweise unstrukturierte Bild- und Textmassen. Sie lernen multimodal und selbstüberwacht. Ein besonders prominentes Beispiel ist OpenAIs CLIP, das etwa im neuen DALL-E 2 zum Einsatz kommt.

Diese selbstüberwacht trainierten KI-Modelle haben einen großen Vorteil: Sie lernen deutlich robustere Repräsentationen visueller Kategorien, da sie nicht auf per Hand erstellte Zuschreibungen von Menschen zurückgreifen müssen.

Anzeige
Anzeige

Sie können so ohne weiteres KI-Training problemlos für zahlreiche Bildanalyse-Aufgaben genutzt werden. Mit ImageNet trainierte Modelle benötigen dagegen oft für jede neue Aufgabe eine Feinabstimmung mit zusätzlichem Datensatz.

Google kombiniert Bildmodell mit Sprachverständnis

Die multimodalen Modelle haben jedoch zwei Probleme: Es gibt deutlich mehr Bilder ohne Textbeschreibung als solche mit - Forschende müssen im Training daher auf große Mengen potenziell nützlicher Daten verzichten.

In der Praxis führt das zum zweiten Nachteil der Modelle: Sie sind zwar robuster, doch erreichen etwa im ImageNet-Benchmark nicht die Genauigkeit traditioneller nur mit Bilddaten trainierte Modelle.

Google-Forschende stellen jetzt die "Locked-Image Tuning"-Methode (LiT) vor, mit der solche großen Bildanalyse-Modelle nachträglich in multimodale Modelle gewandelt werden können.

Das soll das Beste aus beiden Welten vereinen: ein multimodales Modell mit robusten Bildanalyse-Fähigkeiten, das für neue Aufgaben nicht nachtrainiert werden muss und dennoch an die Genauigkeit der Spezialistenmodelle herankommt.

Empfehlung

Googles LiT trainiert nur den Text-Encoder

Im multimodalen Training lernen ein Bild-Encoder und ein Text-Encoder jeweils Repräsentationen für Bilder und Texte. Jede Bildrepräsentation soll dabei der Repräsentation des zugehörigen Textes nahe kommen, sollte sich aber von der Repräsentation anderer Texte in den Daten unterscheiden und umgekehrt. Im Trainingsprozess müssen die Encoder daher gleichzeitig die Repräsentationen und deren Zuordnung zu denen des zweiten Encoders lernen.

Im Contrastive Learning lernen ein Bild- und Text-Encoder, ihre jeweiligen gelernten Repräsentationen der Daten den passenden Repräsentationen des anderen Encoders anzupassen. | Bild: Google

Google geht mit LiT einen anderen Weg: Als Bild-Encoder dient ein mit drei Milliarden Bilder vortrainiertes Modell, dessen Parameter im multimodalen Training anschließend eingefroren werden. So werden der Bild-Encoder und seine gelernten Repräsentationen nicht verändert.

Video: Google

Der Text-Encoder lernt dann beim Training, seine gelernten Text-Repräsentationen an die des Bild-Encoders anzupassen. Als Trainingsdaten für diesen Schritt dienen unter anderem ein privater Datensatz von vier Milliarden Bildern mit zugehörigem Text, den das Team sammelte.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Als Bild-Encoder kann jedes vortrainierte Bildmodell genutzt werden. Google erreicht die höchste Genauigkeit mit dem intern entwickelten Vision Transformer.

Googles LiT schlägt OpenAIs CLIP

Das mit LiT trainierte Modell erreicht ohne zusätzliches ImageNet-Training eine Genauigkeit von 84,5 Prozent im ImageNet-Benchmark und eine Genauigkeit von 81,1 Prozent im anspruchsvolleren ObjectNet-Benchmark.

Der aktuelle Bestwert in ImageNet liegt bei 90,94 Prozent, CLIP erreichte nur 76,2 Prozent. Im ObjectNet-Benchmark erreichte die stärkste Version von CLIP 72,3 Prozent Genauigkeit.

Video: Google

Googles Modell hängt dank des vortrainierten Bild-Encoders OpenAIs CLIP in allen getesteten Benchmarks ab. Die Forschenden zeigen außerdem, dass LiT auch mit öffentlich verfügbaren Datensätzen noch performant ist - allerdings sinkt die Genauigkeit in ImageNet auf 75,7 Prozent.

Die Methode ermögliche zudem deutlich robustere Ergebnisse auch bei weniger Daten. So erreichen LiT-Modelle, die mit 24 Millionen öffentlich verfügbaren Bild-Text-Paaren trainiert wurden, die gleiche Leistung früherer Modelle, die mit 400 Millionen Bild-Text-Paaren aus privaten Daten trainiert wurden.

Google stellt eine interaktive Demo zu LiT zur Verfügung, in der Interessenten mit den Fähigkeiten des LiT-Modells auf Vision-Transformer-Basis spielen können.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!