Animationsfilme in hoher Auflösung zu rendern, verbraucht viel Rechenleistung. Um seine Renderfarmen zu entlasten, experimentiert Disney mit KI-Upscaling.
Pixars Animationskünstler bewerten die Qualität ihrer Arbeit anhand hochaufgelöster Renderings und die sind äußerst rechenintensiv. "Man braucht mindestens 50 CPUs, um ein Bild in 2K-Auflösung zu rendern", sagt der technische Leiter der Pixar Studios Vaibhav Vavilala. "Wir rendern 24 Bilder pro Sekunde für einen 90-minütigen Film und rendern jedes Bild viele Male, während die Animationskünstler überarbeiten [...]. Wenn wir in 4K rendern, dann bedeutet das viermal so viele Pixel und doppelt so hohe Kosten."
Vavilala hielt auf der Digitalkonferenz Transform 2020 einen Vortrag über die Herausforderungen, mit denen sich Pixar im Bereich des Filmrenderings konfrontiert sieht und wie Künstliche Intelligenz künftig dabei helfen soll, Zeit und Kosten der Bildberechnung zu reduzieren. Pixars Trick besteht darin, ein Bild zuerst in einer tieferen Auflösung zu berechnen und danach mit KI-Upscaling schnell und energieffizient auf 2K oder 4K hochzuskalieren.
Deep Learning hilft weiter
Vavilala arbeitete in den vergangenen Jahren an Renderingoptimierungen für Pixar-Filme wie Coco, Die Unglaublichen 2 und Toy Story 4 und begann in diesem Kontext, mit Deep Learning zu experimentieren. In Disney Forschungslaboren leitete er die Entwicklung von KI-Algorithmen, die sich auf das Hochskalieren der Auflösung spezialisieren ("Deep Learned Super Resolution").
Sein Team trainierte die KI zunächst mit tief- und hochauflösenden Bildern aus Pixar-Filmen. Weil die KI Licht und Farbe teils fehlerhaft ergänzte, entwickelte Valilala eine sogenannte GAN-KI (siehe KI-Glossar). Hierbei treten zwei künstliche neuronale Netzwerke in einen Wettbewerb und verbessern sich durch gegenseitige Kontrolle, bis das Ergebnis den Anforderungen entspricht, in diesem Fall: den vollwertigen 2K- und 4K-Renderings.
Pixar-Technikchef sieht großes Potenzial
Laut Vavilala skalieren die jüngsten KI-Modelle Bilder von 1K auf 2K hoch und reduzieren den Fußabdruck der Renderfarm um 50 bis 75 Prozent. Allerdings musste anfänglich auch viel Energie ins KI-Training gesteckt werden. "Wir haben viel experimentiert und wiederholt, um in die Nähe eines produktionsreifen Ergebnisses zu kommen."
Für Teilstadien der Filmproduktion sieht Vavilala eine potenzielle Reduktion des Energieverbrauchs um 50 Prozent. Er hofft, dass die Technologie in kommenden Pixar-Produktionen zum Einsatz kommt.
Seine wissenschaftliche Arbeit zu Deep Learned Super Resolution ist frei im Internet erhältlich.
Quelle: Venturebeat, Titelbild: Pixar
