Facebook will mit unzähligen Videos aus der Ich-Perspektive Künstlicher Intelligenz antrainieren, die Welt wie Menschen zu sehen und zu verstehen. Das soll insbesondere die Entwicklung fortschrittlicher VR und AR sowie von Robotern voranbringen.
Aktuelle KI-Systeme lernen, indem sie Unmengen von mehr oder weniger vorbereiteten Daten verarbeiten – etwa Millionen von Wikipedia-Seiten, Fotos oder Videos. Anhand dieser Daten erlangen sie ausschnittsweise Wissen über die Welt, das sie dann in verschiedenen spezialisierten Szenarien anwenden können.
Menschen lernen anders: Zwar studieren sie auch Bücher oder schauen Videos, verarbeiten von anderen Menschen vorbereitetes Wissen. Aber ihr grundlegendes Verständnis über die Welt und Zusammenhänge in ihr, den oft beschriebenen „gesunden Menschenverstand“, erlangen sie, indem sie sich von klein auf „durch die Welt bewegen und sie erleben“, so Facebooks KI-Chef Mike Schroepfer.
KI-Training aus der Ich-Perspektive
Wenn KI auf die gleiche Weise lerne wie der Mensch, schreibt Schroepfer weiter, sei es möglich, „intelligentere und nützlichere Technologien“ zu entwickeln, die die Welt mehr wie Menschen sehen und verstehen.
„Stellen sie sich einen KI-Assistenten vor, der ihnen hilft, sich zu erinnern, wo sie ihre Schlüssel liegen gelassen haben, oder der ihnen das Gitarrespielen beibringt“, schreibt Schropefer.
Mit einem neuen Datensatz will Facebook helfen, Künstlicher Intelligenz diesen gesunden Menschenverstand anzutrainieren: Der Datenkonzern erstellte in Zusammenarbeit mit mehr als 700 Personen aus neun Ländern den KI-Trainingsdatensatz Ego4D.
Er enthält mehr als 2200 Stunden Videomaterial aus der Ich-Perspektive, laut Facebook 20 Mal mehr als bislang verfügbare vergleichbare Datensätze. Die Videos zeigen Szenen aus dem Alltag: Die Personen machen den Abwasch, spielen ein Instrument oder arbeiten in der Werkstatt.
"Ego4D ermöglicht es KI, Wissen zu erlangen, das in der physischen und sozialen Welt verwurzelt ist und aus der Ich-Perspektive der Menschen, die in ihr leben, gewonnen wird. KI wird nicht nur beginnen, die Welt um sich herum besser zu verstehen, sie könnte eines Tages auch auf individueller Ebene personalisiert werden", sagt Kristen Grauman, leitende KI-Forscherin bei Facebook.
Als Beispiele nennt sie KI-Assistenten, die eine Lieblingskaffeetasse erkennen oder die Reiseroute für einen Familienausflug aussuchen. „Wir arbeiten an von Assistenten inspirierten Forschungsprototypen, die genau das leisten könnten“, sagt Grauman.
13 Universitäten und Labore beteiligten sich an der von Facebook finanziell geförderten Datensammelaktion. Das Unternehmen verspricht hinsichtlich der geografischen Abdeckung, der Szenarien, der Teilnehmer:innen und der erfassten Modalitäten eine hohe Vielfalt.
Facebook braucht die Ego-KI auch fürs Metaverse
Facebooks Hoffnung ist, dass mit Ego4D trainierte KI-Systeme ein Verständnis für die Welt entwickeln, das wiederum Grundlage ist für „eine neue Ära immersiver Erfahrungen“ mit AR- und VR-Brillen. Der Konzern veröffentlicht Ego4D im November für Forschende zusammen mit Benchmarks, die mit dem Datensatz trainierte KI-Systeme auf fünf ausgewählte Fähigkeiten überprüfen können.
- Episodisches Gedächtnis: Was ist wann passiert? (z. B. "Wo habe ich meine Schlüssel gelassen?")
- Voraussagen: Was werde ich wahrscheinlich als Nächstes tun? (z. B. "Warte, du hast bereits Salz in dieses Rezept gegeben.")
- Hand- und Objektmanipulation: Was tue ich gerade? (z. B. "Bring mir bei, wie man Schlagzeug spielt.")
- Audiovisuelle Tagebuchführung: Wer hat was wann gesagt? (z. B. "Was war das Hauptthema im Unterricht?")
- Soziale Interaktion: Wer interagiert mit wem? (z. B. "Helfen Sie mir, die Person besser zu verstehen, die in diesem lauten Restaurant mit mir spricht.")
Diese Benchmarks sollen klügere KI-Assistenten hervorbringen, die sich laut Facebook in der realen Welt ebenso gut zurechtfinden wie im Metaverse, „in der die physische Realität, AR und VR in einem einzigen Raum zusammenkommen.“
„Ich kann nicht abwarten, zu sehen, wo das hinführt“, schreibt Schroepfer.
Anfang 2022 will Facebook einen Wettbewerb rund um Ego4D starten, um die Entwicklung entsprechender KI-Systeme zu beschleunigen. Weitere Information gibt es auf der offiziellen Webseite zu Ego4D.
