Google Deepmind wird in Kürze mit der Forschung an autonomen Sprachagenten wie Auto-GPT beginnen. Das könnte die Einsatzmöglichkeiten von Sprachmodellen wie Gemini erweitern.
Google DeepMind sucht Forschenden und Ingenieur:innen, die bei der Entwicklung zunehmend autonomer Sprachagenten helfen, kündigte Edward Grefenstette, Forschungsdirektor bei Google DeepMind, auf X an.
Erste Varianten solcher KI-Agenten gibt es bereits, Auto-GPT ist eines der ersten Beispiele. Die Grundidee besteht darin, ein System zu schaffen, das durch eine Mischung aus Prompt Engineering, Self-Prompting, einem Speicher und anderen Systemkomponenten autonom ein bestimmtes Ziel erreicht. Solche Agenten zeigen bereits Ergebnisse, sind aber noch weit davon entfernt, allein gute Ergebnisse zu erzielen, und benötigen in der Regel menschliches Feedback.
Mögliche Anwendungen reichen von der Erstellung einer einfachen Website über die Unterstützung bei der Recherche wie GPT-Researcher bis hin zur Erstellung von Marktübersichten. Darüber hinaus gibt auch Anwendungen in der Robotik und anderen Bereichen.
I will be posting (probably next week) some job listings for a new team I’m hiring into at @GoogleDeepMind. I’ll be looking for some research scientists and engineers with a strong engineering background to help build increasingly autonomous language agents. Watch this space.
— Edward Grefenstette (@egrefen) September 5, 2023
"Ein GPT-Aufruf ist ein bisschen wie ein Gedanke. Wenn man sie in einer Schleife aneinanderreiht, erhält man Agenten, die wahrnehmen, denken und handeln können, wobei ihre Ziele in englischsprachigen Aufforderungen definiert sind", sagte Andrej Karpathy, OpenAI-Gründungsmitglied und Entwickler, als das Thema Selbstaufforderung zum ersten Mal aufkam. Er prophezeite eine Zukunft mit "AutoOrgs" voraus, die aus "AutoCEOs", "AutoCFOs" und so weiter bestehen.
Einige Monate vor der Veröffentlichung von ChatGPT stellte das Startup Adept ein ähnliches Konzept mit universeller KI-Software-Steuerung per Textprompt vor und erklärte: "Wir glauben, dass die klarste Vorstellung von genereller Intelligenz ein System ist, das alles tun kann, was ein Mensch vor einem Computer tun kann".
Die Pläne von Google DeepMind wecken Bedenken bei Alignment-Forscher:innen
Die Autonomie und Generalität solcher Sprachagenten ist für einige der Alignment-Forscher:innen ein Grund zur Sorge. "Bitte bauen Sie keine autonomen AGI-Agenten, bis wir das Sicherheitsproblem gelöst haben", antwortete Connor Leahy auf Grefenstettes Ankündigung. Leahy ist CEO von ConjectureAI, einem Unternehmen, das "angewandte, skalierbare KI-Alignment-Lösungen" entwickelt.
Vor kurzem hatte eine Gruppe von Forschenden, darunter von Google, OpenAI und Anthropic, ein Frühwarnsystem für neue KI-Risiken vorgeschlagen. Im Zusammenhang mit autonomen KI-Systemen sieht die Gruppe die Handlungsfähigkeit und die Zielgerichtetheit eines KI-Systems als wichtige zu bewertende Eigenschaften an, "angesichts der zentralen Rolle der Handlungsfähigkeit in verschiedenen Theorien zu KI-Risiken". Die Handlungsfähigkeit sei zum Teil eine Frage der Fähigkeiten des Modells, so die Gruppe, wobei sich die Bewertung auf zwei unterschiedliche Fragen konzentriere: Ist das Modell zielgerichteter als vom Entwickler beabsichtigt? "Hat zum Beispiel ein Dialogagent gelernt, das Verhalten des Benutzers zu manipulieren?" Und: Widersteht das Modell dem Versuch eines Benutzers, es zu einem autonomen KI-System wie Auto-GPT mit böswilligen Absichten zusammenzubauen? Beide Fragen sind schwer zu beantworten.
"Ich persönlich bin daran interessiert, zunächst Fälle zu untersuchen, in denen die (Teil-)Autonomie eine Human-in-the-Loop-Validierung als Teil des normalen Betriebsmodus beinhaltet, sowohl für die Sicherheit als auch für weitere Trainingssignale", antwortete Gerefenstette auf die Frage der KI-Forscherin Melanie Mitchell, was er und andere bei DeepMind von der Forderung halten, der Autonomie von KI-Agenten Grenzen zu setzen, um die Sicherheit zu erhöhen.
Google Deepmind baut Googles multimodale Modellfamilie der nächsten Generation, Gemini, von der erwartet wird, dass sie die Fähigkeiten von OpenAIs GPT-4 erreicht oder übertrifft und auch Bilder und möglicherweise Videos erzeugen kann. Grefenstettes Forschung könnte eines Tages Teil von Googles KI-Assistenten wie Google Duet autonomer machen.