Inhalt
summary Zusammenfassung

Im "Project Ring" werden Sprach- und Bildanalyse-KI in einem KI-Wearable vereint, das die Welt über eine Kamera betrachtet und über Sprach-KI kommentiert.

Anzeige

Am einfachsten lässt sich "Project Ring" als tragbare Google Lens mit Sprachausgabe und -steuerung beschreiben. Laut Entwickler Mina Fahmi soll das Projekt "die nahtlose Interaktion zwischen Mensch und KI demonstrieren, bei der physische und digitale Informationen miteinander verschmelzen".

Dazu hat Fahmi einen am Handgelenk tragbaren Minicomputer mit Kamera und Joystick gebaut, der mithilfe eines Bild-zu-Text-Modells von Replicate die Umgebung in Echtzeit visuell analysieren, in Textform beschreiben und über eine ChatGPT-Verbindung kommentieren kann.

Der Text wird über den Text-to-Voice-Dienst von Eleven Labs in Sprache umgewandelt, die wiederum über ein Android-Smartphone an Knochenschall-Kopfhörer übertragen wird. Die Kopfhörer verfügen über ein eingebautes Mikrofon, über das der Nutzer etwa Fragen zur Umgebung stellen kann, die über OpenAIs Whisper in Text umgewandelt werden und so wieder bei ChatGPT landen. Alle Daten werden in der Google Cloud verarbeitet.

Anzeige
Anzeige
Bild: Midjourney prompted by THE DECODER

"Projekt Ring fühlt sich an, als hätte man einen neugierigen Freund auf der Schulter, der die Welt genauso sieht wie man selbst und einem unaufdringlich Gedanken ins Ohr flüstert", schreibt Fahmi.

GPT-4 als Code-Werkzeug

Fahmi sagt, dass er den Code für Project Ring vollständig mit GPT-4 generiert hat. Insgesamt habe das Sprachmodell etwa 750 Zeilen Code erzeugt, darunter ein Python-Skript für den Raspberry PI, eine Cloud-Anwendung, eine Website und eine Android-Anwendung.

Fahmi hat Programmiererfahrung, sagt aber, dass er seit Jahren keinen Code mehr geschrieben hat. Sein Projekt zeige, dass es möglich, wenn auch nicht einfach sei, komplette Software-Prototypen mit GPT-4 zu programmieren.

Seine Codekenntnisse halfen ihm, GPT-4 an den richtigen Stellen Korrekturen vornehmen zu lassen oder den Code durch Kopieren und Einfügen richtig zusammenzusetzen. Laut Fahmi verlor GPT-4 gelegentlich den Kontext und musste neu ausgerichtet werden. Der Code sei zudem instabil und weder performant noch produktionstauglich.

Trotz dieser Defizite sei KI wahrscheinlich in der Lage, "einen Großteil der Programmieraufgaben in relativ kurzer Zeit zu automatisieren", vermutet Fahmi.

Empfehlung

Fahmi arbeitet bei Meta im Bereich KI und Mensch-Computer-Schnittstellen und war zuvor bei CTRL-Labs tätig, dem Start-up, das Meta 2019 übernommen hat. Meta entwickelt auf der Basistechnologie von CTRL-Labs ein Armband, das Gehirnströme in Echtzeit in präzise Computerbefehle umwandeln kann.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • GPT-4 hilft bei der Programmierung eines KI-Wearables, das die reale Welt über eine Kamera betrachtet und über ein Sprach- und Sprachsynthesemodell darüber spricht.
  • Durch die Verbindung mit Chatbots, Bild- und Sprachsynthesemodellen kann es visuelle Inhalte im Kamerabild beschreiben und mit dem Benutzer diskutieren.
  • Der Entwickler der Anwendung, der nach eigenen Angaben seit Jahren keinen Code mehr geschrieben hat, geht davon aus, dass KI wahrscheinlich in der Lage sein wird, "einen Großteil der Programmieraufgaben in relativ kurzer Zeit zu automatisieren".
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!