Im "Project Ring" werden Sprach- und Bildanalyse-KI in einem KI-Wearable vereint, das die Welt über eine Kamera betrachtet und über Sprach-KI kommentiert.
Am einfachsten lässt sich "Project Ring" als tragbare Google Lens mit Sprachausgabe und -steuerung beschreiben. Laut Entwickler Mina Fahmi soll das Projekt "die nahtlose Interaktion zwischen Mensch und KI demonstrieren, bei der physische und digitale Informationen miteinander verschmelzen".
Dazu hat Fahmi einen am Handgelenk tragbaren Minicomputer mit Kamera und Joystick gebaut, der mithilfe eines Bild-zu-Text-Modells von Replicate die Umgebung in Echtzeit visuell analysieren, in Textform beschreiben und über eine ChatGPT-Verbindung kommentieren kann.
Der Text wird über den Text-to-Voice-Dienst von Eleven Labs in Sprache umgewandelt, die wiederum über ein Android-Smartphone an Knochenschall-Kopfhörer übertragen wird. Die Kopfhörer verfügen über ein eingebautes Mikrofon, über das der Nutzer etwa Fragen zur Umgebung stellen kann, die über OpenAIs Whisper in Text umgewandelt werden und so wieder bei ChatGPT landen. Alle Daten werden in der Google Cloud verarbeitet.
"Projekt Ring fühlt sich an, als hätte man einen neugierigen Freund auf der Schulter, der die Welt genauso sieht wie man selbst und einem unaufdringlich Gedanken ins Ohr flüstert", schreibt Fahmi.
GPT-4 als Code-Werkzeug
Fahmi sagt, dass er den Code für Project Ring vollständig mit GPT-4 generiert hat. Insgesamt habe das Sprachmodell etwa 750 Zeilen Code erzeugt, darunter ein Python-Skript für den Raspberry PI, eine Cloud-Anwendung, eine Website und eine Android-Anwendung.
Fahmi hat Programmiererfahrung, sagt aber, dass er seit Jahren keinen Code mehr geschrieben hat. Sein Projekt zeige, dass es möglich, wenn auch nicht einfach sei, komplette Software-Prototypen mit GPT-4 zu programmieren.
Seine Codekenntnisse halfen ihm, GPT-4 an den richtigen Stellen Korrekturen vornehmen zu lassen oder den Code durch Kopieren und Einfügen richtig zusammenzusetzen. Laut Fahmi verlor GPT-4 gelegentlich den Kontext und musste neu ausgerichtet werden. Der Code sei zudem instabil und weder performant noch produktionstauglich.
Trotz dieser Defizite sei KI wahrscheinlich in der Lage, "einen Großteil der Programmieraufgaben in relativ kurzer Zeit zu automatisieren", vermutet Fahmi.
Fahmi arbeitet bei Meta im Bereich KI und Mensch-Computer-Schnittstellen und war zuvor bei CTRL-Labs tätig, dem Start-up, das Meta 2019 übernommen hat. Meta entwickelt auf der Basistechnologie von CTRL-Labs ein Armband, das Gehirnströme in Echtzeit in präzise Computerbefehle umwandeln kann.