Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
Bewusstsein, Kognition und Künstliche Intelligenz | DEEP MINDS #10

Das Non-Profit LAION veröffentlicht das aktuell beste CLIP Open-Source-Modell. Es könnte in Zukunft bessere Versionen von Stable Diffusion ermöglichen.

Im Januar 2021 veröffentlichte OpenAI Forschung zu einem multimodalen KI-System, das selbstüberwacht visuelle Konzepte aus natürlicher Sprache lernt. Das Unternehmen trainierte CLIP (Contrastive Language–Image Pre-training) mit 400 Millionen Bildern und zugehörigen Bildunterschriften.

CLIP wiederum trainierte parallel einen Bild- und einen Text-Encoder, um die korrekten Paarungen von Bild und Unterschrift aus einer Reihe von Trainingsbeispielen vorherzusagen.

OpenAI veröffentlichte die größeren Versionen von CLIP in Stufen bis zum April 2022. In der Open-Source-Community entstanden parallel Bemühungen, CLIP zu reproduzieren.

Anzeige
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung

CLIP nimmt zentrale Rolle in generativen KI-Modellen ein

CLIP kann nach dem Training Repräsentationen von Bildern und Text berechnen, sogenannte Embeddings, und anschließend erfassen, wie ähnlich sich diese sind. Das Modell kann so für eine Reihe von Aufgaben wie Bildklassifizierung oder dem Finden ähnlicher Bilder oder Texte verwendet werden. OpenAI nutzte CLIP, um von DALL-E 1 generierte Bilder unter anderem nach Qualität zu filtern.

In den nach DALL-E 1 entstandenen generativen KI-Modellen für Bilder nimmt CLIP häufig eine zentrale Rolle ein, etwa in CLIP+VQGAN, CLIP-guided diffusion oder StyleGAN-NADA. In diesen Beispielen berechnet CLIP den Unterschied zwischen einem Input-Text und einem etwa von einem GAN generierten Bild. Der Unterschied wird vom Modell minimiert und so ein besseres Bild erzeugt.

In neueren Modellen, wie DALL-E 2 oder Stable Diffusion, sind CLIP-Encoder dagegen direkt im KI-Modell integriert und ihre Embeddings werden von den verwendeten Diffusion Modellen verarbeitet. Forschende aus Kanada zeigten zudem kürzlich, wie CLIP helfen kann, 3D-Modelle zu generieren.

LAION veröffentlicht leistungsstarkes OpenCLIP

Nun veröffentlicht das Non-Profit LAION drei große OpenCLIP-Modelle. LAION (Large-scale Artificial Intelligence Open Network) trainierte zwei der Modelle mit finanzieller Unterstützung von Stability AI, dem Start-up hinter Stable Diffusion.

Eines der Modelle wurde zudem auf dem JUWELS Booster Supercomputer trainiert. Das Forschungsnetzwerk veröffentlichte zuvor vorwiegend Open-Source-Datensätze wie LAION-5B, einem gigantischen Bilddatensatz mit zugehörigen Unterschriften (5,8 Milliarden Bild-Text-Paare).

Empfehlung

Die jetzt veröffentlichten OpenCLIP-Modelle (L/14, H/14 und g/14) gehören zu den bisher größten und leistungsstärksten CLIP Open-Source-Modellen. Für das Training setzte das Team auf den etwas kleineren LAION-2B-Datensatz.

Das H/14-Modell erreicht im ImageNet-Benchmark eine Top-1-Genauigkeit von 78,0 Prozent und bei MS COCO eine Genauigkeit von 73,4 % im Zero-Shot-Bildretrieval Benchmark MS COCO bei Recall@5. Nach aktuellem Stand ist es damit das beste Open-Source CLIP-Modell.

LAIONs OpenCLIP-Modelle hängen auch von OpenAI veröffentlichten Modelle ab. | Bild: LAION

LAION zeigt mit dem Training zudem, dass CLIP-Modelle wie andere Transformer-Modelle mit Trainingsdaten und Größe in ihrer Fähigkeit skalieren.

LAIONs Modelle könnten bessere generative KI-Modelle ermöglichen

Die Modelle wurden auf bis zu 824 Nvidia A100 GPUs mit 40 Gigabyte VRAM trainiert. Während des Trainings habe man mehrere interessante Probleme aufgedeckt und gelöst, darunter die Identifikation fehlerhafter GPUs, die Rolle großer Batch-Größen im Training und die Auswirkungen verschiedener Floating-Point-Formate auf die Trainingsstabilität.

Anzeige
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

LAIONs neue CLIP-Modelle können jetzt für zahlreiche Anwendungen kostenlos verwendet werden. Auch Stable Diffusion könne von den neuen Modellen profitieren, so das Team. Der Nachweis der Skalierungseigenschaften von CLIP öffne zudem den Weg zu weiteren Verbesserungen. So plant LAION etwa, einen mehrsprachigen Text-Encoder in CLIP zu integrieren und zu skalieren.

Abseits der Bildverarbeitung könne die Idee hinter CLIP auf andere Modalitäten ausgeweitet werden, etwa für Text-Audio-Alignment, schreibt das Team. Das Projekt läuft bereits und trägt den schönen Namen CLAP. Die OpenCLIP-Modelle sind über GitHub und bei HuggingFace verfügbar.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • CLIP-Modelle können selbstüberwacht visuelle Konzepte aus natürlicher Sprache lernen.
  • CLIP kommen etwa in generativen KI-Modellen für Bilder wie DALL-E 2 oder Stable Diffusion zum Einsatz.
  • Das Non-Profit LAION veröffentlicht drei große OpenCLIP-Modelle, darunter das bisher beste Modell.
  • Die OpenCLIP-Modelle könnten für eine bessere Bildgenerierung in Stable Diffusion eingesetzt werden.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!