GPT-4 von OpenAI verarbeitet neben Text auch Bilder. Die App Be My Eyes setzt das KI-Modell ein, um blinden Menschen das Sehen zu erleichtern.
Generative KI-Modelle wie ChatGPT und DALL-E haben viele praktische Anwendungsfälle für künstliche Intelligenz aufgezeigt. Das neue GPT-4 von OpenAI kann zwar keine Bilder erzeugen, kombiniert aber visuelle und sprachliche Fähigkeiten, indem es Bilder als Eingabe akzeptiert und so die Computer Vision mit der Leistungsfähigkeit eines großen Sprachmodells verbindet.
Be My Eyes ist eine App und ein Dienst für blinde und sehbehinderte Menschen, der 2015 eingeführt wurde. Sehende Freiwillige helfen, indem sie durch das Handy des Nutzers schauen, verbal beschreiben, was sie sehen können, und Fragen beantworten.
Mit 6,3 Millionen Freiwilligen minimiert Be My Eyes Wartezeiten und bietet so schnell wie möglich Hilfe. Ziel ist es, Anrufe innerhalb von Sekunden zu beantworten, aber nicht immer stehen Freiwillige zur Verfügung, was zu Verzögerungen von mehreren Minuten führen kann.
GPT-4 wird ein virtueller Freiwilliger
Da GPT-4 sowohl Text als auch durch Bilder verarbeiten kann, setzt Be My Eyes das KI-Modell als virtuellen Freiwilligen ein. Dort soll es spezialisierte Hilfe in einer Weise leisten, die für einen menschlichen Freiwilligen schwierig wäre.
Mit der Integration von GPT-4 sei zum Beispiel das Übersetzen einfach - Wartezeiten auf eine Person, die beide Sprachen spricht, entfallen. Weitere Anwendungsgebiete sieht Be My Eyes etwa in der Navigation durch den Schienenverkehr, Reisen in anderen Ländern, die Nutzung von Webseiten und Social-Media-Plattformen oder Online-Shopping. "Die Möglichkeiten sind grenzenlos, und wir stehen erst am Anfang", schreibt Be My Eyes.
In der Praxis senden Nutzer:innen Fotos von ihrem Smartphone über die App an GPT-4. Die Antwort erfolgt in Textform und kann von der App der gewünschten Geschwindigkeit vorgelesen werden. Das soll Hilfe schneller verfügbar und vielseitiger machen.
Die Beta-Testerin von Be My Eyes, Lucy Edwards, hat auf ihrem YouTube-Kanal Beispiele für die Funktionsweise der KI-gestützten App gezeigt.
Be My Eyes GPT-4 Verfügbarkeit
Die GPT-4-Integration befindet sich in den nächsten Wochen im Betatest. Der virtuelle Freiwillige soll in den kommenden Monaten, abhängig vom Feedback der ersten Tester:innen, breiter verfügbar gemacht werden.
Um bereits vorher Zugang zu erhalten, können sich Interessierte in der Be My Eyes-App auf die Warteliste setzen lassen. Die GPT-4-Integration ist für die iPhone- und die Android-App verfügbar und soll in den kommenden Monaten für alle frei zugänglich und kostenlos sein.
