Forscher des Shanghai AI Labaratory haben ein spezielles Text-Bild-Modell für die fotorealistische Generierung von Menschen entwickelt. Dank eines riesigen Datensatzes und einer neuen Trainingsmethode erzielt CosmicMan beeindruckende Ergebnisse.
Wissenschaftler des Shanghai AI Laboratory stellen mit CosmicMan ein neuartiges Text-Bild-Fundamentalmodell (Foundation Model) vor, das auf die Generierung qualitativ hochwertiger Bilder von Menschen spezialisiert ist.
Im Gegensatz zu aktuellen universellen Bildmodellen, die oft Schwierigkeiten haben, detailreiche Bilder von Menschen passend zur Textbeschreibung zu erzeugen, ermöglicht CosmicMan fotorealistische Ergebnisse mit exakter Übereinstimmung zwischen Text und Bild. Selbst kleine Details wie eine alternative Farbe für eine Mütze können per Prompt eingestellt werden.
Datenproduktion als Feedback-Schleife zwischen Mensch und KI
Laut den Forschern um Shikai Li und Jianglin Fu beruht der Erfolg von CosmicMan auf zwei Säulen: einem riesigen, qualitativ hochwertigen Datensatz und einem neuartigen Framework zum Training des KI-Modells.
Für CosmicMan entwickelten die Wissenschaftler einen neuen Ansatz zur Erstellung von Trainingsdaten, den sie "Annotate Anyone" nennen. Er funktioniert als eine Art Feedback-Schleife zwischen Mensch und KI und soll qualitativ hochwertige, stets aktuelle Daten zu geringen Kosten liefern. Bei diesem Ansatz erstellt die KI zunächst detaillierte Beschriftungen, die dann von Menschen überprüft und optimiert werden.
Mit dieser Methode erstellte das Team den Datensatz "CosmicMan-HQ 1.0", der sechs Millionen Bilder von Menschen in einer durchschnittlichen Auflösung von 1488 x 1255 Pixeln enthält. Die Bilder sind mit präzisen Textbeschreibungen versehen, die aus 115 Millionen Attributen mit unterschiedlichem Detailgrad abgeleitet wurden.
Der Mensch im Mittelpunkt
Ein zweites Element ist das so genannte "Decomposed-Attention-Refocusing"-Framework (Daring), das, vereinfacht gesagt, die Wörter in einem Prompt in Kategorien einteilt, die dem menschlichen Körper entsprechen, wie z.B. "Kopf", "Arme", "Beine" und so weiter.
Dadurch kann sich das KI-Modell darauf konzentrieren, jeden Teil der Person einzeln zu zeichnen, anstatt zu versuchen, alles auf einmal zu zeichnen. Dies führt zu besseren und leichter anpassbaren Ergebnissen.
In verschiedenen Experimenten zeigt CosmicMan vielversprechende Ergebnisse und übertrifft aktuelle State-of-the-Art Modelle sowohl in quantitativen Metriken als auch in der wahrgenommenen visuellen Qualität.
Die Entwickler sehen großes Potential für den Einsatz von CosmicMan in verschiedenen Anwendungen, wie in der Unterhaltungsindustrie, im E-Commerce oder bei der Erstellung von Avataren für virtuelle Welten.
Der Datensatz CosmicMan-HQ 1.0 soll in Kürze veröffentlicht werden. Das Team um Shikai Li und Jianglin Fu will das Modell weiter verbessern und plant bereits die nächste Version.
