Ein Forscherteam hat ein KI-System vorgestellt, das automatisch Manga-Comics erstellen kann. Das System namens DiffSensei kann Charaktere und Layouts präzise steuern und passt die Figuren dynamisch an die Geschichte an.
Wissenschaftler der Peking University, des Shanghai AI Laboratory und der Nanyang Technological University haben ein KI-System entwickelt, das automatisch Manga-Comics generieren kann. Dafür kombiniert das System "DiffSensei" Diffusions-Modelle mit großen Sprachmodellen, um Charaktere und Layouts präzise zu steuern.
Die Forscher demonstrieren die Fähigkeiten des Systems auch mit einer fiktiven Geschichte über die KI-Pioniere Geoffrey Hinton, Yann LeCun und Yoshua Bengio. Die Geschichte erzählt, wie die drei Wissenschaftler versuchen, ein KI-Modell zu entwickeln, das die Transformer-Architektur übertrifft. Nach vielen Rückschlägen und Selbstzweifeln gelingt ihnen der Durchbruch - Jahre später werden sie dafür mit dem Nobelpreis ausgezeichnet.
DiffSensei generiert personalisierte Mangas
DiffSensei nutzt multimodale Modelle und Methoden wie LoRAs, um Charaktere identisch in einzelnen Bildern zu halten. Das Team generiert dann in einem dreistufigen Prozess Layouts, Zeichnungen mit festgelegten Charakteren und Dialoge.
Für das Training des Systems haben die Forscher zudem einen neuen Datensatz namens MangaZero erstellt. Dieser umfasst 43.264 Manga-Seiten und 427.147 einzelne Panels aus 48 verschiedenen Manga-Serien.
Die Panels wurden mit detaillierten Annotationen versehen, die unter anderem die Position der Charaktere und Dialoge markieren. Diese Informationen sind laut dem Team entscheidend für das Training des Systems.
Forscher sehen Potenzial in der Manga-Produktion
Die Forscher räumen in ihrer Studie auch Schwächen des Systems ein. Bei undeutlichen Eingabebildern der Charaktere hat das System Probleme, deren Erscheinungsbild korrekt zu erfassen. Außerdem kommt es bei mehreren ähnlich aussehenden Figuren manchmal zu einer unerwünschten "Verschmelzung" der Charaktere.
Ohne Charakter-Eingabebilder hat das System zudem Schwierigkeiten, den Manga-Stil präzise zu kontrollieren. Die generierten Bilder tendieren dann zu einem eher generischen Manga-Look.
Das System könnte laut den Forschern dennoch in Zukunft die Manga-Produktion unterstützen und den Arbeitsablauf optimieren. Die Technologie ermögliche es Künstlern, Verlagen und Kreativen, personalisierte Manga-Geschichten mit detaillierter Kontrolle über Charaktere und Layouts zu erstellen.
Mehr Beispiele und den Datensatz gibt es auf der DiffSensei-Projektseite.
