Das neue Text-zu-Bild-System DALL-E 3 von OpenAI bietet deutliche Verbesserungen gegenüber dem Vorgängermodell und ist nativ in ChatGPT integriert. Diese Integration soll laut OpenAI das sogenannte "Prompt Engineering" überflüssig machen.
Laut OpenAI zeigt DALL-E 3 signifikante Fortschritte in seiner Fähigkeit, Bilder zu generieren, die exakt komplizierten Prompts folgen. Dazu gehört die präzise Darstellung einer Szene mit spezifischen Objekten, ihren Beziehungen untereinander und Detailaspekten wie menschlichen Händen oder Text im Bild, typische Schwachstellen bisheriger Text-zu-Bild-Systeme.
DALL-E 3 unterstützt, wie DALL-E 2 und andere Text-zu-Bild-Systeme, eine Vielzahl von Stilen, von künstlerisch abstrakt über Comiczeichnungen bis zum Fotorealismus.
DALL-E 3 wird zur ChatGPT-App
Eine weitere Neuerung ist, dass DALL-E 3 zu einer ChatGPT-Anwendung für zahlende ChatGPT-Plus-Benutzer wird. Laut OpenAI kann ChatGPT als Prompt-Partner für DALL-E 3 eingesetzt werden, um Brainstormings zu unterstützen und Prompts zu optimieren.
Wenn das resultierende Bild nahe, aber nicht genau wie gewünscht ist, kann es über ChatGPT mit gezielten Anweisungen verbessert werden. Diese dialogische Bildgenerierung soll laut OpenAI den Bedarf an komplizierten Prompts reduzieren. Die Firma schreibt im Original, dass kompliziertes "Prompt Engineering" nicht mehr notwendig sei.
Video: OpenAI
Alle Bilder, die mit DALL-E 3 erzeugt werden, gehören vollständig ihren Urhebern. Die Bilder können wiederverwendet, vermarktet und verkauft werden.
Die Einführung in ChatGPT-Plus, ChatGPT Enterprise und via API ist für Oktober geplant. Eine eigenständige Version von DALL-E 3 über OpenAI Labs, ähnlich DALL-E 2, soll im Laufe des Herbstes folgen.
OpenAI bietet Künstlern ein Opt-Out ihrer Werke - für ein zukünftiges Modell
Eine große Änderung und Einschränkung im Vergleich zu bestehenden Bildsystemen ist, dass DALL-E 3 Prompts ablehnt, die Namen lebender Künstlerinnen und Künstler enthalten. Das ist in anderen Bildsystemen eine beliebte Methode, um dem Bildsystem eine stilistische Richtung zu geben.
Darüber hinaus haben Künstlerinnen und Künstler die Möglichkeit, ihre Bilder vom Training zukünftiger (!) Bildmodelle auszuschließen. Dies wiederum könnte bedeuten, dass DALL-E 3 immer noch mit den Werken dieser Künstlerinnen und Künstler trainiert wird, was zu weiteren Copyright-Diskussionen führen könnte. Möglicherweise kann OpenAI nach Opt-out-Phasen aktualisierte Versionen von DALL-E 3 zur Verfügung stellen.
Auch Prompts mit Namen bekannter Personen sollen aus Sicherheitsgründen abgelehnt werden, um zu verhindern, dass z.B. KI-generierte Bilder von Politikern wie bei Midjourney um die Welt gehen. Diesen und weiteren Risiken wie visueller Über- oder Unterrepräsentation oder dem Missbrauch für Propaganda will OpenAI unter anderem mit Red-Teaming-Verfahren begegnen. Ebenso testet OpenAI intern ein Tool, das erkennen soll, ob ein Bild mit DALL-E 3 erzeugt wurde.
