Eine umfassende Evaluation des KI-Assistenten Microsoft 365 Copilot in der australischen Verwaltung zeigt Zeitersparnisse von bis zu einer Stunde pro Tag, aber auch deutliche Herausforderungen bei der Implementierung.
Die australische Digital Transformation Agency (DTA) hat die Ergebnisse eines sechsmonatigen Tests von Microsoft 365 Copilot im öffentlichen Dienst vorgelegt. An der Evaluation nahmen 56 Behörden mit 5.765 Lizenzen teil. Die Erkenntnisse basieren auf den Rückmeldungen von über 2.000 Teilnehmern, die in drei Umfragen, 24 Interviews und 17 Fokusgruppen befragt wurden.
Nur ein Drittel der Testnutzer verwendete den KI-Assistenten , obwohl sich 77 Prozent positiv über die Technologie äußerten. 69 Prozent der Befragten stellten eine Beschleunigung ihrer Arbeit fest, 7 Prozent gaben an, Zeit durch Faktenchecks und Nachbearbeitung zu verlieren.
Besonders effizient war der Einsatz bei der Zusammenfassung von Informationen, der Erstellung erster Dokumententwürfe und der Informationssuche - hier wurden Zeiteinsparungen von bis zu einer Stunde pro Tag erreicht. Auch Microsoft-CEO Satya Nadella bezeichnete Zusammenfassung als den besten Use Case für Copilot.
Die höchsten Effizienzgewinne verzeichneten Mitarbeitende der mittleren Verwaltungsebenen sowie IT-Rollen. 40 Prozent der Teilnehmer gaben an, die gewonnene Zeit für hochwertigere Aufgaben wie Führung und strategische Planung zu nutzen.
Deutliche Hürden bei der Implementierung
Die DTA identifizierte mehrere zentrale Hindernisse: technische Integrationsprobleme, mangelndes Training in "Prompt Engineering" und rechtliche Unsicherheiten bezüglich Verantwortlichkeiten.
61 Prozent der Manager konnten KI-generierte Inhalte nicht zuverlässig von menschlich erstellten unterscheiden. Auch bestanden Bedenken hinsichtlich der Datensicherheit und des Informationsmanagements.
Weitere Sorgen betreffen eine mögliche westliche Voreingenommenheit der KI-Outputs, den Verlust von Grundfertigkeiten wie dem Zusammenfassen von Texten sowie die Umweltauswirkungen durch den erhöhten Energieverbrauch.
Die Evaluation warnt zudem vor unbeabsichtigten Folgen: Der verstärkte Einsatz von KI könnte sich besonders auf administrative Positionen auswirken - Stellen, die häufig Einstiegsmöglichkeiten für Frauen und marginalisierte Gruppen bieten.
Basierend auf den Erkenntnissen empfiehlt die DTA einen detaillierten Implementierungsansatz mit speziellem Training, klaren Richtlinien und aktivem Risikomanagement. Die Behörden sollten zudem ihre Arbeitsabläufe analysieren, um weitere Anwendungsfälle zu identifizieren.
