Microsofts "PeopleLens" kombiniert Künstliche Intelligenz mit Augmented Reality: Das System hilft blinden Menschen, besser mit ihrem unmittelbaren sozialen Umfeld zu interagieren. Besonders blinde Kinder sollen davon profitieren.
Soziale Beteiligung kann für blinde und sehbehinderte Menschen eine große Herausforderung darstellen. Besonders betroffen sind blinde Kinder, die Schwierigkeiten haben, mit Gleichaltrigen sozialen Kontakt aufzunehmen und sich anzufreunden. Als mögliche Ursache gelten grundlegende Unterschiede, wie sehende und blinde Kinder Aufmerksamkeitsprozesse als Säuglinge und Kleinkinder erlernen.
So verinnerlichen sehende Kinder eine Art gemeinsamen visuellen Dialog der Aufmerksamkeit, indem das Kleinkind etwa auf ein Tier zeigt und die Eltern "Katze" sagen. Die Kinder lernen dadurch beispielsweise, wie sie die Aufmerksamkeit anderer lenken können.
Entsprechende Untersuchungen zur Bildung gemeinsamer Aufmerksamkeit bei blinden Kindern gibt es bisher kaum. Doch für die Betroffenen ist der soziale Umgang mit sehenden Menschen herausfordernd.
PeopleLens funktioniert wie ein Sound-Visor
Blind geborene Kinder können daher Schwierigkeiten haben, ihre Stimme auf Gesprächspartner zu richten oder können schwer ein Gesprächsthema beibehalten. Stattdessen sprechen sie nur über ein Thema, das sie interessiert. In der Folge fällt es betroffenen Kindern schwer, Freund:innen zu finden. Das belastet die Kinder und ihre Familien.
PeopleLens ist ein Forschungsprojekt von Microsoft, das blinden Kindern helfen soll, leichter mit ihren Altersgenossen zu interagieren. Die Technologie verbindet maschinelles Sehen mit einer Nreal Light AR-Brille, die mit einem Smartphone verbunden ist. Das Künstliche Intelligenz-System lokalisiert, identifiziert und tracked kontinuierlich Personen und ihre Blickrichtung in der direkten Umgebung der AR-Brillenträger:innen.
Blinde Kinder erhalten die verortende Information als Raumklang: Ein Sound signalisiert, dass sich der Blick mit dem einer bis zu zehn Meter entfernten Person gekreuzt hat. Befindet sich die Person im Umkreis von vier Metern, wird außerdem ihr Name ausgespielt - sofern sie sich zuvor im System per Smartphone-Foto registriert hat. Ein weiteres Audio-System findet und zentriert das Gesicht einer Person.
PeopleLens soll soziale Beteiligung vereinfachen
Die Brille zeigt zudem getrackten Personen an, dass sie gesehen wurden und interagieren können. Das soll als Ersatz für den Blickkontakt dienen, der meist die Interaktion zwischen sehenden Menschen einleitet.
Kinder, die an dem Forschungsprojekt teilnehmen, spielen zusätzlich eine Reihe von Spielen mit Gleichaltrigen, die die Entwicklung der räumlichen Aufmerksamkeitsfähigkeiten fördern sollen und so die soziale Interaktion unterstützen.
Laut Microsoft erleben blinde Kinder so ihre Handlungsfähigkeit in sozialen Interaktionen, etwa wenn sie merken, dass sie selbst ein Gespräch beginnen können, weil sie eine Person zuerst wahrnehmen.
Aktuell rekrutiert Microsoft in Kooperation mit der University of Bristol blinde Kinder zwischen fünf und elf für eine dreimonatige Studie ab September 2022. Die Studie soll helfen, den PeopleLens-Prototyp zu verbessern und weitere praktische Erfahrung zu sammeln.