Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Die Bildgenerierung mit KI hat in den letzten Jahren große Fortschritte gemacht, die Bildmanipulation hingegen weniger. Bis jetzt, denn Apple zeigt eine Methode, die komplexe Anweisungen versteht und sie entsprechend umsetzen kann. 

Apple hat zusammen mit Forschenden der University of California ein neues Open-Source-KI-Modell entwickelt, das Bilder mit Hilfe von Anweisungen in natürlicher Sprache bearbeiten kann. "MGIE", das für Multimodal Large Language Models Guided Image Editing steht, wurde in einem Paper vorgestellt.

Bild: Fu et al.

MGIE verwendet multimodale große Sprachmodelle (MLLMs), um Benutzerbefehle zu interpretieren und pixelgenaue Bildmanipulationen durchzuführen. MLLMs können sowohl Text als auch Bilder verarbeiten und haben sich bereits bewährt - etwa in Form von ChatGPT, das durch GPT-4V Bilder versteht und mit DALL-E 3 neue generiert.

MGIE macht Gebrauch von diesen Fähigkeiten und erlaubt erstmalig umfassende Bildbearbeitungsaufgaben, die von einfachen Farbanpassungen bis hin zu komplexen Objektmanipulationen reichen.

Anzeige
Anzeige

Globale und lokale Manipulationen möglich

Ein weiteres Merkmal von MGIE ist die Fähigkeit, globale und lokale Manipulationen durchzuführen. Das Modell kann ausdrucksstarke anweisungsbasierte Bearbeitungen durchführen und gängige Photoshop-ähnliche Bearbeitungen wie Beschneiden, Skalieren, Drehen, Spiegeln und Hinzufügen von Filtern anwenden.

Es versteht auch anspruchsvolle Anweisungen, etwa um den Hintergrund zu ändern, Objekte hinzuzufügen oder zu entfernen sowie mehrere Bilder zusammenzuführen.

Die Methode basiert auf zwei Schritten. Der erste soll das Problem lösen, dass Nutzeranweisungen häufig zu kurz seien.

Der Anweisung des Nutzers stellen die Forschenden daher den Prompt "what will this image be like if" voraus, um sie durch ein Sprachmodell detailliert auszuformulieren. Ähnlich geht OpenAI bei DALL-E 3 in ChatGPT vor.

Da diese jedoch wiederum oft zu lang seien, kommt ein vortrainiertes Modell zur Zusammenfassung des ausführlichen Prompts zum Einsatz. Hier werden auch Wörter wie "Wüste" mit "Sanddünen" oder "Kakteen" verknüpft. Im zweiten Schritt wird eine visuelle Vorstellung der fertigen Bearbeitung erstellt.

Empfehlung
Bild: Fu et al.

MGIE ist als Open-Source-Projekt auf GitHub verfügbar. Außerdem gibt es eine Demo auf Hugging Face.

Weiterer Baustein in Apples KI-Strategie

Die Veröffentlichung von MGIE unterstreicht Apples wachsende Ambition im Bereich der KI-Forschung und -Entwicklung. Apple CEO Tim Cook hat kürzlich die baldige Einführung generativer KI-Funktionen in iOS 18 bestätigt und sich "unglaublich begeistert" von Apples Arbeit in diesem Bereich gezeigt. Forschungsarbeiten wie oben dürften einen Ausblick darauf geben, was Apple an neuen Funktionen für iOS plant.

Ein ähnliches, älteres Modell der instruktionsbasierten Bildverarbeitung ist InstructPix2Pix. Basierend auf Stable Diffusion war dieses Verfahren jedoch eher nur für die Veränderung einzelner Objekte in einem Bild gedacht und zeigt im Vergleich zu MGIE deutlich ungenauere Ergebnisse.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Bild: Fu et al.
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Apple und Forscher der University of California haben ein Open-Source-Modell für künstliche Intelligenz namens MGIE entwickelt, das Bilder mit Befehlen in natürlicher Sprache bearbeiten kann, von einfachen Farbanpassungen bis hin zu komplexen Objektmanipulationen.
  • MGIE verwendet multimodale große Sprachmodelle (MLLMs) für pixelgenaue Bildmanipulationen und kann sowohl globale als auch lokale Manipulationen durchführen, darunter gängige Photoshop-ähnliche Manipulationen und fortgeschrittene Manipulationen wie Hintergrundänderungen und das Zusammenfügen mehrerer Bilder.
  • Das Open-Source-Projekt ist auf GitHub verfügbar und unterstreicht Apples wachsende Ambitionen im Bereich der KI-Forschung und -Entwicklung.
Quellen
Jonathan ist Technikjournalist und beschäftigt sich stark mit Consumer Electronics. Er erklärt seinen Mitmenschen, wie KI bereits heute nutzbar ist und wie sie im Alltag unterstützen kann.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!