Denis Shiryaev meldet sich mit einer Sammlung beeindruckender KI-Filmrestaurierungen zurück. Rund 18 Minuten neues Material gibt es zu bestaunen - in 4K-Auflösung, 60 Bilder pro Sekunde und Farbe.
Shiryaev fand vor ein paar Monaten einen Youtube-Kanal mit Aufnahmen der Filmpioniere und Brüder Lumière in guter Ursprungsqualität. Das Filmmaterial wurden zwischen 1895 und 1902 in einer Vielzahl unterschiedlicher Städte wie Lyon, Genf, London, Venedig, New York, Jerusalem, Istanbul und Kyoto gedreht.
Für die Restaurierung durchlief das Material zahlreiche Schritte, wie Shiryaev in den ersten fünf Minuten seines Youtube-Videos erklärt, wobei die Arbeit mehrere Monate in Anspruch nahm.
Zuerst wurden mit Hilfe eines Algorithmus doppelte Einzelbilder entfernt, um die ursprüngliche Bildrate wiederherzustellen. Daraufhin wurde das Bild stabilisiert und Rauschen sowie etwaige Schäden am Filmmaterial manuell entfernt.
Anschließend nutzte der Youtuber ein eigens trainiertes neuronales Netzwerk, um die Auflösung auf 4K zu erhöhen und Zwischenbilder einzufügen. Letzteres sorgt für flüssige Bildwiedergabe.
In einem weiteren Schritt wurde das Filmmaterial von KI-Algorithmen koloriert und den Gesichtern Details hinzugefügt. Zum Schluss ergänzte Shiryaev nach Gutdünken Geräusche und Stimmen, um für eine realistische Soundkulisse zu sorgen.
Erfolgreich mit KI-Tricks
Der KI-Tüftler betont eingangs, dass das Ergebnis der KI-Nachbearbeitung historisch inakkurat sei, da die Algorithmen etwa bei der Rekonstruktion von Gesichtern und Farben Dinge hinzudichten, die in der Form niemals eingefangen wurden. Die KI-Filme dienten alleine künstlerischen oder unterhaltenden Zwecken.
Shiryaev ist kein KI-Fachmann und brachte sich die Trainingstechnik in seiner Freizeit selbst bei. Mittlerweile verdient er sogar Geld damit: Sein Youtube-Kanal verzeichnet Millionen Abrufe und mit seinem eigenen Start-up Neural Love restauriert er alte Filme auf Auftragsbasis.
"Das Potenzial ist riesig. In der Zukunft werden alle Filme mit KI aufgemöbelt. Daran habe ich keine Zweifel", sagt Shiryaev in einem Gespräch.
Nvidia setzt dieses Potenzial teilweise schon mit der Streaming-Box Shield um, die ein KI-Upscaling für Video und Spiele bietet.
