KI-Gesichtserkennung für Comicfiguren könnte beispielsweise die besten Szenen eures favorisierten Disney-Charakters bei Disney+ zusammenfassen. Oder Kreativen das Leben erleichtern.
2016 startete Disneys Abteilung "Direct-to-Consumer & International Organization (DTCI)" das Projekt "Content Genome", ein großer Technikprozess, um Disney-Videos transparent und durchsuchbar zu machen.
Die Grundlage bildet ein System für die automatische Verschlagwortung von Inhalten. Hier spielt maschinelles Lernen eine Rolle, das Charaktere, bestimmte Szenen, Effekte und Objekte automatisch erkennen, beschreiben und Zusammenhänge erstellen kann, beispielsweise welche Disney-Charaktere gemeinsam in einer bestimmten Episode erscheinen oder an welcher Stelle ein bestimmter Typ Explosion zu sehen ist.
Wie erkennt eine KI ein Gesicht auf einem Auto?
Doch bei der Gesichtserkennung für animierte Charaktere standen die Disney-Ingenieure vor einer besonderen Herausforderung: Das traditionelle maschinelle Lernsystem konnte zwar verlässlich Gesichter menschlicher Schauspieler erkennen.
Allerdings identifizierte es animierte Charaktere nur, wenn die Gesichter zumindest einem Menschen ähnlich sahen (zwei Augen, Nase, Mund nah beieinander). Bei Filmen wie Monsters Inc. oder Cars stieß es an seine Grenzen.
Effiziente Lösung: Deep Learning mit Transferlernen
Die Lösung: Deep Learning. Die Disney-Forscher nutzten Microsofts auf Bildanalyse vortrainierte KI Faster R-CNN und justierten diese mit einem kleinen Disney-Datensatz per Transferlernen (Erklärung) fein.
Das reichte laut Disney schon für ein zufriedenstellendes Ergebnis bei der korrekten Erkennung von Charakteren. Allerdings spuckte das System noch viele Fehlalarme aus.
Beispielsweise hielt es jedes Objekt für ein animiertes Gesicht, das vor einem unscharfen Hintergrund scharf im Vordergrund erscheint - sogar Text.
Die Ingenieure bekamen das Problem in den Griff, indem sie das neuronale Netz zusätzlich mit falschen Beispielen trainierten. So lernte die KI, was kein Charakter ist. Im letzten Schritt wurde die Bildanalyse mit Facebooks Open-Source-KI-Framework PyTorch beschleunigt.
Neue Services für Zuschauer und Kreative
Wofür der ganze Aufwand? Theoretisch könnte Disney eine fortgeschrittene Variante dieser KI benutzen, um Disney-Filme und -Serien vollständig durchsuchbar zu machen. Zuschauer könnten zum Beispiel nach einem speziellen Ort oder einem Nebendarsteller fragen und die KI könnte die entsprechenden Szenen zusammenstellen.
Ebenso könnten Geschichtenerzähler oder Designer die fortschrittliche Videosuchmaschine nutzen, um schneller die Inhalte zu finden, die sie gerade für ihre Arbeit benötigen. Auch Empfehlungs- und Analysesysteme könnten mit der KI verbessert werden.
In der Zukunft soll das System so trainiert werden, dass es generelle Konzepte versteht, beispielsweise eine Verhaftung, und in Videos entdecken kann. Der Mensch ist nicht ganz raus aus der Gleichung: Ihm obliegt noch die Qualitätskontrolle.
Wie die Disney-Ingenieure beim KI-Training im Detail vorgegangen sind, beschreiben sie Schritt für Schritt bei Medium.
Via: Engadget; Titelbild: Disney