Microsoft integriert generative KI tiefer in Windows 11. Neue Funktionen wie Sprachsteuerung, visuelle Analyse und autonome Agenten sollen Copilot stärker in das Betriebssystem einbinden.
Wenn es nach Microsoft geht, wird der Chatbot damit zur zentralen Schnittstelle zwischen Nutzer und System. Laut Microsoft soll die Interaktion mit dem PC ähnlich grundlegend verändert werden wie einst durch Maus und Tastatur.
Sprachsteuerung als neues Interface
Mit dem Sprachbefehl „Hey Copilot“ lässt sich der Assistent auf Windows-PCs aktivieren. Die Funktion ist optional und zeigt bei Aktivierung ein Mikrofonsymbol sowie ein akustisches Signal. Nach Angaben von Microsoft nutzen Personen Copilot häufiger per Sprache als per Texteingabe. Die Sitzung endet automatisch oder durch den Befehl „Goodbye“.
Zudem steht die Funktion „Copilot Vision“ nun weltweit auf allen Geräten zur Verfügung, auf denen Copilot angeboten wird. Sie analysiert den Bildschirminhalt und liefert kontextabhängige Hilfe – etwa bei der Bearbeitung von Fotos, in Spielen oder in Office-Anwendungen.
In Word, Excel und PowerPoint kann Copilot nach Angaben von Microsoft ganze Dokumente erfassen und analysieren. Eine geplante Text-in/Text-out-Option soll die Nutzung auch ohne Spracheingabe ermöglichen. Zudem wird Copilot direkt in die Taskleiste integriert. Eine neue Schaltfläche vereinfacht den Zugriff auf Vision- und Sprachfunktionen. Auch die Windows-Einstellungen sind per Sprachbefehl erreichbar.
Autonome Agenten mit Einschränkungen
Mit „Copilot Actions“ testet Microsoft eine Funktion, bei der der Assistent Aufgaben auf dem lokalen Rechner ausführt – etwa PDFs durchsuchen oder Fotos sortieren. Die Funktion wird zunächst als Vorschau über Copilot Labs im Insider-Programm bereitgestellt. Nutzer:innen können den Prozess beobachten oder jederzeit eingreifen.
Microsoft dämpft die Erwartungen: Die neuen Agentenfunktionen seien derzeit noch auf wenige Anwendungsfälle beschränkt und könnten Fehler machen. Auch sei die Bedienung komplexer Softwareoberflächen bisher nicht zuverlässig möglich.
Studien zeigen, dass sogenannte agentische KI-Systeme bislang ungenau arbeiten und Sicherheitsrisiken bergen. Reales Testen durch Nutzer:innen soll laut Microsoft helfen, die Systeme robuster zu machen.
Interessant ist die Integration des ausgewanderten chinesischen Start-ups Manus, noch vor ähnlichen Produkten von OpenAI. Der gleichnamige Manus-Agent ist direkt in den Windows-Explorer eingebunden und nutzte zumindest in der Vergangenheit Anthropic-Modelle. Aus lokalen Dateien lassen sich etwa per Rechtsklick automatisiert Websites erstellen.
Alternativ steht Manus auch als eigenständige Anwendung zur Verfügung. Technische Grundlage ist das sogenannte „Model Context Protocol“, das einen systemweiten Zugriff auf lokale Inhalte ermöglichen soll.
Verknüpfung mit Onlinediensten und Einsatz im Gaming
Die sogenannten Copilot Connectors ermöglichen den Zugriff auf persönliche Daten aus verknüpften Diensten wie OneDrive, Outlook, Gmail oder Google Drive. Über einfache Anfragen lassen sich Termine, Kontakte oder Dokumente auffinden, etwa: „Finde die Details zu meinem Zahnarzttermin.“ oder „Finde meine Schulaufgabe aus dem Kurs Econ 201“. Inhalte können direkt an Word, Excel oder PowerPoint übergeben werden.
Im Spielebereich hat Microsoft Copilot auf die ROG Xbox Ally übertragen – eine Handheld-Konsole von ASUS mit Windows-Basis. Dort lässt sich der „Gaming Copilot“ per Tastendruck aktivieren. Er reagiert auf Fragen und Befehle, ohne das laufende Spiel zu unterbrechen. Eine offizielle Vorführung zeigt den Einsatz im Spiel „Minecraft“, etwa zur Orientierung oder zur Erklärung von Spielmechaniken.
Ein spezieller „KI-PC“ ist für die meisten dieser Funktionen nicht erforderlich. Laut Microsoft laufen die neuen Copilot-Funktionen auf allen Windows-11-Geräten, auf denen Copilot verfügbar ist. Nur einzelne Funktionen – etwa die Zoom-Integration über „Click to Do“ – setzen explizit sogenannte Copilot+ PCs voraus. Microsoft hatte zuvor versucht, solche speziell gekennzeichneten „AI PCs“ gemeinsam mit Copilot zu vermarkten. Inzwischen empfiehlt das Unternehmen Copilot+ PCs lediglich für eine schnellere Verarbeitung und lokale KI-Anwendungen.
