Inhalt
summary Zusammenfassung

Forscher des Shanghai AI Labaratory haben ein spezielles Text-Bild-Modell für die fotorealistische Generierung von Menschen entwickelt. Dank eines riesigen Datensatzes und einer neuen Trainingsmethode erzielt CosmicMan beeindruckende Ergebnisse.

Anzeige

Wissenschaftler des Shanghai AI Laboratory stellen mit CosmicMan ein neuartiges Text-Bild-Fundamentalmodell (Foundation Model) vor, das auf die Generierung qualitativ hochwertiger Bilder von Menschen spezialisiert ist.

Im Gegensatz zu aktuellen universellen Bildmodellen, die oft Schwierigkeiten haben, detailreiche Bilder von Menschen passend zur Textbeschreibung zu erzeugen, ermöglicht CosmicMan fotorealistische Ergebnisse mit exakter Übereinstimmung zwischen Text und Bild. Selbst kleine Details wie eine alternative Farbe für eine Mütze können per Prompt eingestellt werden.

Datenproduktion als Feedback-Schleife zwischen Mensch und KI

Laut den Forschern um Shikai Li und Jianglin Fu beruht der Erfolg von CosmicMan auf zwei Säulen: einem riesigen, qualitativ hochwertigen Datensatz und einem neuartigen Framework zum Training des KI-Modells.

Anzeige
Anzeige

Für CosmicMan entwickelten die Wissenschaftler einen neuen Ansatz zur Erstellung von Trainingsdaten, den sie "Annotate Anyone" nennen. Er funktioniert als eine Art Feedback-Schleife zwischen Mensch und KI und soll qualitativ hochwertige, stets aktuelle Daten zu geringen Kosten liefern. Bei diesem Ansatz erstellt die KI zunächst detaillierte Beschriftungen, die dann von Menschen überprüft und optimiert werden.

Die Forscherinnen und Forscher bauten einen riesigen Datensatz mit Bildern von Menschen auf, die von KI und Menschen kooperativ beschriftet wurden. | Bild: Li et al.

Mit dieser Methode erstellte das Team den Datensatz "CosmicMan-HQ 1.0", der sechs Millionen Bilder von Menschen in einer durchschnittlichen Auflösung von 1488 x 1255 Pixeln enthält. Die Bilder sind mit präzisen Textbeschreibungen versehen, die aus 115 Millionen Attributen mit unterschiedlichem Detailgrad abgeleitet wurden.

Der Mensch im Mittelpunkt

Ein zweites Element ist das so genannte "Decomposed-Attention-Refocusing"-Framework (Daring), das, vereinfacht gesagt, die Wörter in einem Prompt in Kategorien einteilt, die dem menschlichen Körper entsprechen, wie z.B. "Kopf", "Arme", "Beine" und so weiter.

Dadurch kann sich das KI-Modell darauf konzentrieren, jeden Teil der Person einzeln zu zeichnen, anstatt zu versuchen, alles auf einmal zu zeichnen. Dies führt zu besseren und leichter anpassbaren Ergebnissen.

Das auf den Menschen spezialisierte KI-Modell kann sich auf einzelne Körperteile konzentrieren. Dies bietet eine höhere Genauigkeit und Flexibilität. | Bild: Li et al.

In verschiedenen Experimenten zeigt CosmicMan vielversprechende Ergebnisse und übertrifft aktuelle State-of-the-Art Modelle sowohl in quantitativen Metriken als auch in der wahrgenommenen visuellen Qualität.

Empfehlung

Die Entwickler sehen großes Potential für den Einsatz von CosmicMan in verschiedenen Anwendungen, wie in der Unterhaltungsindustrie, im E-Commerce oder bei der Erstellung von Avataren für virtuelle Welten.

Der Datensatz CosmicMan-HQ 1.0 soll in Kürze veröffentlicht werden. Das Team um Shikai Li und Jianglin Fu will das Modell weiter verbessern und plant bereits die nächste Version.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forscher des Shanghai AI Laboratory haben mit CosmicMan ein spezialisiertes Text-Bild-Modell entwickelt, das fotorealistische Bilder von Menschen erzeugt, die bis ins kleinste Detail mit der Textbeschreibung übereinstimmen.
  • Der Erfolg von CosmicMan basiert auf einem riesigen, qualitativ hochwertigen Datensatz namens "CosmicMan-HQ 1.0" mit sechs Millionen Bildern sowie einem neuartigen Framework zum Training des KI-Modells, das den menschlichen Körper in Kategorien einteilt und sich auf einzelne Körperteile konzentriert.
  • In Experimenten übertrifft CosmicMan aktuelle Modelle sowohl in quantitativen Metriken als auch in der wahrgenommenen visuellen Qualität. Die Entwickler sehen Potenzial für den Einsatz in verschiedenen Anwendungen wie Unterhaltung, E-Commerce oder bei der Erstellung von Avataren für virtuelle Welten.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!