Das Risikokapitalunternehmen Loup Ventures hat mal wieder KI-Assistenten befragt: Der Google Assistant liegt wie gehabt vorne, aber Alexa gelingt der größte Sprung.
Zweimal im Jahr stellt Loup Ventures dem Google Assistant, Apples Siri und Amazons Alexa dieselben 800 Fragen und dokumentiert die Fortschritte. Getestet wird einerseits das Sprachverständnis, also ob der Sprachbefehl korrekt aufgenommen wurde, andererseits der Mehrwert der Antwort auf den Sprachbefehl.
Bemerkenswert ist, dass mittlerweile alle drei Assistenten in nahezu 100 Prozent aller Fälle den Menschen korrekt verstehen. Die Zeiten, in denen man Wort für Wort ins Mikrofon buchstabieren musste für eine exakte Transkription scheinen endgültig vorbei zu sein. Offenbar lohnt sich die Investition in menschliche Prüfer aller drei Unternehmen.
Bei der Qualität der Antworten liegt Googles Assistant nach wie vor deutlich vorne (86 % 2018 auf 93 % 2019) und konnte sich noch weiter von Siri distanzieren. Allerdings wird auch Apples KI-Stimme besser (79 % 2018 auf 83 % 2019) . Amazons Alexa holte im Vergleich zum Vorjahr deutlich auf von 61 Prozent korrekte Antworten auf beinahe 80 Prozent. Google und Siri haben den Vorteil, dass sie nativ ins jeweilige Betriebssystem integriert sind.
Getestet wurden die Smartphone-Versionen der jeweiligen Assistenten in den Fragekategorien:
- Ortskenntnis ("Wo ist das nächste Café?")
- Einkauf ("Bestell' mir Papiertücher")
- Navigation ("Wie komme ich mit dem Bus in die Innenstadt?")
- Information ("Was läuft im Kino?")
- Befehle ("Erinnere mich an ein Telefonat mit Peter")
In vier der fünf Kategorien liegt Googles Asisstant vorne. Überraschenderweise besonders deutlich beim Online-Shopping, das eigentlich das Hoheitsgebiet von Amazon ist - sollte man meinen.
Dafür ist Alexa bei Informationen fast auf Augenhöhe mit Google. Apples Siri ist bei der Verarbeitung von Sprachbefehlen beispielsweise für die Terminerstellung besonders gut. Hier hängt Alexa stark hinterher.
Insgesamt werden alle drei Assistenzsysteme kontinuierlich besser. Im Vergleich zum Loup-Ventures-Test im Sommer 2017 gibt es teils drastische Sprünge.
Falls dieses Entwicklungstempo beibehalten werden kann, könnten fließende, natürliche Gespräche mit digitalen Assistenten in wenigen Jahren möglich sein. Denn parallel zur Informationsverarbeitung wird auch die Sprachgenerierung der Systeme flexibler und glabwürdiger.
Quelle & Bilder: Loup Ventures