Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

GPT-4 von OpenAI verarbeitet neben Text auch Bilder. Die App Be My Eyes setzt das KI-Modell ein, um blinden Menschen das Sehen zu erleichtern.

Generative KI-Modelle wie ChatGPT und DALL-E haben viele praktische Anwendungsfälle für künstliche Intelligenz aufgezeigt. Das neue GPT-4 von OpenAI kann zwar keine Bilder erzeugen, kombiniert aber visuelle und sprachliche Fähigkeiten, indem es Bilder als Eingabe akzeptiert und so die Computer Vision mit der Leistungsfähigkeit eines großen Sprachmodells verbindet.

Be My Eyes ist eine App und ein Dienst für blinde und sehbehinderte Menschen, der 2015 eingeführt wurde. Sehende Freiwillige helfen, indem sie durch das Handy des Nutzers schauen, verbal beschreiben, was sie sehen können, und Fragen beantworten.

Mit 6,3 Millionen Freiwilligen minimiert Be My Eyes Wartezeiten und bietet so schnell wie möglich Hilfe. Ziel ist es, Anrufe innerhalb von Sekunden zu beantworten, aber nicht immer stehen Freiwillige zur Verfügung, was zu Verzögerungen von mehreren Minuten führen kann.

Anzeige
Anzeige

GPT-4 wird ein virtueller Freiwilliger

Da GPT-4 sowohl Text als auch durch Bilder verarbeiten kann, setzt Be My Eyes das KI-Modell als virtuellen Freiwilligen ein. Dort soll es spezialisierte Hilfe in einer Weise leisten, die für einen menschlichen Freiwilligen schwierig wäre.

Mit der Integration von GPT-4 sei zum Beispiel das Übersetzen einfach - Wartezeiten auf eine Person, die beide Sprachen spricht, entfallen. Weitere Anwendungsgebiete sieht Be My Eyes etwa in der Navigation durch den Schienenverkehr, Reisen in anderen Ländern, die Nutzung von Webseiten und Social-Media-Plattformen oder Online-Shopping. "Die Möglichkeiten sind grenzenlos, und wir stehen erst am Anfang", schreibt Be My Eyes.

In der Praxis senden Nutzer:innen Fotos von ihrem Smartphone über die App an GPT-4. Die Antwort erfolgt in Textform und kann von der App der gewünschten Geschwindigkeit vorgelesen werden. Das soll Hilfe schneller verfügbar und vielseitiger machen.

Die Beta-Testerin von Be My Eyes, Lucy Edwards, hat auf ihrem YouTube-Kanal Beispiele für die Funktionsweise der KI-gestützten App gezeigt.

Be My Eyes GPT-4 Verfügbarkeit

Die GPT-4-Integration befindet sich in den nächsten Wochen im Betatest. Der virtuelle Freiwillige soll in den kommenden Monaten, abhängig vom Feedback der ersten Tester:innen, breiter verfügbar gemacht werden.

Empfehlung

Um bereits vorher Zugang zu erhalten, können sich Interessierte in der Be My Eyes-App auf die Warteliste setzen lassen. Die GPT-4-Integration ist für die iPhone- und die Android-App verfügbar und soll in den kommenden Monaten für alle frei zugänglich und kostenlos sein.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Be My Eyes ist eine App für blinde und sehbehinderte Menschen, über die sehende Freiwillige die App-Nutzer:innen per Smartphone-Kamera unterstützen.
  • Die App nutzt nun die Computer Vision Fähigkeiten von OpenAIs GPT-4, um eine schnellere und vielseitigere Unterstützung zu ermöglichen.
  • Be My Eyes ist für iPhone und Android verfügbar, die GPT-4 Integration befindet sich in der Beta-Phase und wird in den kommenden Monaten auf weitere Benutzer:innen ausgeweitet.
Quellen
Alan liebt es, neue Technologien zu erforschen und glaubt, dass AR und VR schon bald Telefone und Laptops als beste Lösung für Arbeit und Freizeit ersetzen könnten.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!