Die Bildgenerierung mit KI hat in den letzten Jahren große Fortschritte gemacht, die Bildmanipulation hingegen weniger. Bis jetzt, denn Apple zeigt eine Methode, die komplexe Anweisungen versteht und sie entsprechend umsetzen kann.
Apple hat zusammen mit Forschenden der University of California ein neues Open-Source-KI-Modell entwickelt, das Bilder mit Hilfe von Anweisungen in natürlicher Sprache bearbeiten kann. "MGIE", das für Multimodal Large Language Models Guided Image Editing steht, wurde in einem Paper vorgestellt.
MGIE verwendet multimodale große Sprachmodelle (MLLMs), um Benutzerbefehle zu interpretieren und pixelgenaue Bildmanipulationen durchzuführen. MLLMs können sowohl Text als auch Bilder verarbeiten und haben sich bereits bewährt - etwa in Form von ChatGPT, das durch GPT-4V Bilder versteht und mit DALL-E 3 neue generiert.
MGIE macht Gebrauch von diesen Fähigkeiten und erlaubt erstmalig umfassende Bildbearbeitungsaufgaben, die von einfachen Farbanpassungen bis hin zu komplexen Objektmanipulationen reichen.
Globale und lokale Manipulationen möglich
Ein weiteres Merkmal von MGIE ist die Fähigkeit, globale und lokale Manipulationen durchzuführen. Das Modell kann ausdrucksstarke anweisungsbasierte Bearbeitungen durchführen und gängige Photoshop-ähnliche Bearbeitungen wie Beschneiden, Skalieren, Drehen, Spiegeln und Hinzufügen von Filtern anwenden.
Es versteht auch anspruchsvolle Anweisungen, etwa um den Hintergrund zu ändern, Objekte hinzuzufügen oder zu entfernen sowie mehrere Bilder zusammenzuführen.
Die Methode basiert auf zwei Schritten. Der erste soll das Problem lösen, dass Nutzeranweisungen häufig zu kurz seien.
Der Anweisung des Nutzers stellen die Forschenden daher den Prompt "what will this image be like if" voraus, um sie durch ein Sprachmodell detailliert auszuformulieren. Ähnlich geht OpenAI bei DALL-E 3 in ChatGPT vor.
Da diese jedoch wiederum oft zu lang seien, kommt ein vortrainiertes Modell zur Zusammenfassung des ausführlichen Prompts zum Einsatz. Hier werden auch Wörter wie "Wüste" mit "Sanddünen" oder "Kakteen" verknüpft. Im zweiten Schritt wird eine visuelle Vorstellung der fertigen Bearbeitung erstellt.
MGIE ist als Open-Source-Projekt auf GitHub verfügbar. Außerdem gibt es eine Demo auf Hugging Face.
Weiterer Baustein in Apples KI-Strategie
Die Veröffentlichung von MGIE unterstreicht Apples wachsende Ambition im Bereich der KI-Forschung und -Entwicklung. Apple CEO Tim Cook hat kürzlich die baldige Einführung generativer KI-Funktionen in iOS 18 bestätigt und sich "unglaublich begeistert" von Apples Arbeit in diesem Bereich gezeigt. Forschungsarbeiten wie oben dürften einen Ausblick darauf geben, was Apple an neuen Funktionen für iOS plant.
Ein ähnliches, älteres Modell der instruktionsbasierten Bildverarbeitung ist InstructPix2Pix. Basierend auf Stable Diffusion war dieses Verfahren jedoch eher nur für die Veränderung einzelner Objekte in einem Bild gedacht und zeigt im Vergleich zu MGIE deutlich ungenauere Ergebnisse.
