Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

OpenAIs neues KI-Modell GLIDE generiert Bilder nach Texteingabe. Die Ergebnisse sind besser als die anderer bekannter KI-Modelle - auch als die von OpenAIs DALL-E.

Anfang des Jahres stellte das KI-Unternehmen OpenAI das multimodale KI-Modell DALL-E vor. Die Künstliche Intelligenz ist mit Bild- und Textdaten trainiert und kann daher zu einer Texteingabe passende Bilder generieren.

Die generierten Bilder lässt OpenAI anschließend von dem ebenfalls multimodalen KI-Modell CLIP nach Qualität sortieren. OpenAI veröffentlichte abgespeckte Versionen von CLIP, bietet aber bisher keinen Zugang zu DALL-E.

Im Laufe des Jahres nutzten KI-Forschende CLIP in Kombination mit der Deepfake-Technik GANs (Generative Adversarial Network), um beeindruckende KI-Systeme zu schaffen, die mit Texteingaben Bilder generieren oder modifizieren.

Anzeige
Anzeige

Diffusion Models schlagen GANs

Im Februar veröffentlichte OpenAI eine Arbeit, in der das Team zum ersten Mal mit einer neuen Netzwerkarchitektur hervorragende Ergebnisse bei der Bildgenerierung erreichte. Statt der typischen GANs verwendete OpenAI sogenannte Diffusion Models.

Diese KI-Modelle fügen Bildern während ihres Trainings schrittweise Rauschen hinzu und lernen anschließend, diesen Prozess umzukehren. Nach dem KI-Training kann ein Diffusion Model dann im Idealfall aus purem Rauschen beliebige Bilder mit im Training gesehenen Objekten generieren.

Im Mai schlugen OpenAIs Bild-Ergebnisse mit Diffusion Models dann das erste Mal die Bildqualität von GANs. In einer jetzt veröffentlichten Arbeit zeigt ein Team von OpenAI, wie ein Diffusion Model mit Textsteuerung DALL-E und andere Modelle hinter sich lässt.

KI-Bilder werden immer glaubhafter

GLIDE steht für "Guided Language to Image Diffusion for Generation and Editing" und kann, wie der Name bereits verrät, mit Diffusion Models Bilder generieren und bearbeiten allein anhand von Texteingaben.

Das KI-Modell wurde dafür mit Bildern und Bildunterschriften trainiert. Das Team experimentierte außerdem mit einer Integration von CLIP. Allerdings erzeugte die erste Variante, die selbstständig lernt, Bilder aus Texten zu generieren, bessere Ergebnisse als jene mit zusätzlicher KI-Qualitätskontrolle durch CLIP.

Empfehlung
OpenAIs GLIDE erzeugt fotorealistische Bilder, Ölgemälde oder Kindergekrakel nur per Texteingabe. | Bild: OpenAI

GLIDE kann zudem Bilder verändern: Nutzer:innen markieren die Stelle, die sie ändern wollen, auf dem Bild, und beschreiben die Veränderung dann per Text. GLIDE passt dann automatisch das Bild an.

Mit GLIDE können Bilder ziemlich detailliert nur per Text bearbeitet werden. | Bild: OpenAI

Alle Bilder wurden von einem 3,5 Milliarden Parameter großen Netz in einer Auflösung von 64 mal 64 Pixel generiert und von einem 1,5 Milliarden Parameter großem Netz auf 256 mal 256 Pixel hochgerechnet. Bei einem Test bewerteten Menschen die Ergebnisse von GLIDE deutlich besser als die von DALL-E oder anderen Netze.

Für bestimmte Texteingaben liefert GLIDE keine Ergebnisse, etwa wenn ein Auto mit eckigen Rädern generiert werden soll. Das Modell ist außerdem langsamer als GAN-Alternativen und eigne sich daher nicht für Echtzeit-Anwendungen, schreiben die Forschenden.

OpenAI hält das große GLIDE-Modell vorerst zurück. Eine kleinere 300-Millionen-Parameter-Variante von GLIDE gibt es allerdings frei verfügbar. Das Team hat das veröffentlichte KI-Modell aus Sicherheitsgründen zusätzlich mit einem stark gefilterten Datensatz trainiert. Die kleine GLIDE-Variante kann etwa keine Bilder von Menschen generieren.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weitere Informationen und die Daten gibt es im Github von GLIDE. Über ein Google Colab lässt sich GLIDE zudem testen.

Weiterlesen über Künstliche Intelligenz:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!