Nvidia stellt eine neue KI vor, die Menschen und Statuen tanzen lässt, ihre Mimik tauscht ... oder Straßenzüge generiert. Diese ungewöhnliche Mischung soll demonstrieren, dass eine KI-Architektur flexibel genug trainiert werden kann, damit sie in einem Feld mehrere Aufgaben erledigen kann.
Der Chip-Hersteller Nvidia baut nicht nur Hardware, sondern investiert auch in Künstliche-Intelligenz-Software. Immer wieder zeigt das Unternehmen KI-Software in eindrucksvollen Anwendungen: Video-KIs, Mal-KIs, Sprach-KIs oder KI für die Krebsdiagnose – Nvidias Forschung und Entwicklung ist breit aufgestellt.
Nvidias neueste KI-Kreation ist die eierlegende Wollmilchsau unter den Video-KIs: Sie lässt Menschen und Statuen tanzen, sprechen und generiert Straßenzüge.
Die Forscher setzen die sogenannte Video-zu-Video-Synthese ein: Bei dieser werden bestimmte Merkmale in einem Video wie menschliche Posen oder Mimik in ein neues, fotorealistisches Video übertragen.
Die Nivida-Forscher trainierten ihre KI für alle drei Aufgaben gleichzeitig: Zuerst musste die KI nur ein einzelnes Bild des Videos generieren, danach zwei – im Laufe des Trainings arbeitete die KI sich so zu kurzen Videoclips hoch.
Als Trainingsdaten nutzte Nvidia 1.500 Tanzvideos von YouTube, Straßenaufnahmen aus Deutschland, Boston und New York und 854 Aufnahmen von Nachrichtensprechern. Trainiert wurde sie auf dem internen Nvidias DGX-1, ein auf KI-Training spezialisierter Computer mit acht Tesla V100-GPUs.
Nvidias KI überträgt die Tanzposen auf Personen...
...und Statuen.
Straßenaufnahmen kann sie künstlich mit unterschiedlichen Hintergründen und Details neu generieren.
Und ein bisschen Deepfake gehört auch dazu: Mit der Mimik aus Videos und Fotos generiert die KI ein neues, fotorealistisches Video.
Nvidias Ziel: KI-Generatoren sollen flexibler werden
Für sich genommen ist keine der Transferfähigkeiten neu. Aber Nvidia hat es geschafft, sie in einer einzigen KI-Architektur zusammenzuführen, die noch dazu nur wenige Beispielbilder für die Video-Synthese benötigt - eine sogenannte "Few-shot"-KI. Andere KIs beherrschen für gewöhnlich nur einzelne Synthesen und benötigen oft viele Trainingsdaten, damit die Videoeffekte einigermaßen glaubhaft wirken.
Nvidia will die mehrfach ausgebildete Video-KI auf der diesjährigen NeurIPS im Dezember vorstellen. Der Code ist bereits über die Projektseite aufrufbar.
Quelle: Nvidia
