Smart Speaker IQ Test – Siri verbessert sich drastisch
Die Venture Capital Company Loup Ventures hat die neuen Ergebnisse des jährlichen Smart Speaker IQ Tests veröffentlicht. Um ein besseres Verständnis über das Leistungsvermögen der virtuellen Assistenten um Alexa, Google Assistant, Siri und Co. zu erhalten, testet Loup Ventures die gängigsten Assistenten regelmäßig. Der Test beinhaltete 800 Fragen aus den fünf Kategorien: lokale Fakten, Information, Navigation, Commerce und Command. Die Bewertung fällt dabei auf die beiden Kriterien: a) Wurde die Frage richtig verstanden? b) Wurde eine korrekte Antwort gegeben?
Im Ergebnis sicherte sich der Google Assistant mit knapp 88% korrekter Antworten und nicht einer missverstandenen Frage erneut die Spitzenposition. Auf dem zweiten Platz folgt Siri, das 75% der Fragen korrekt beantwortete und lediglich 3 Fragen missverstand. Gefolgt von Alexa mit 73% korrekter Antworten und acht missverstandenen Fragen sowie schließlich Cortana als Schlusslicht mit nur 63% korrekter Antworten und fünf missverstandenen Fragen.
Damit verbesserten sich alle Assistenten gegenüber dem Vorjahr deutlich. Den beachtlichsten Schritt legte aber Apple hin, dessen Assistent Siri sich um ganze 22,6 PP verbesserte und nun auf dem zweiten Platz vor Alexa und Cortana steht. Bei Google waren es 7 PP, bei Amazon 8,5 PP und bei Microsoft 7,4 PP.
Über alle Kategorien hinweg dominiert der Google Assistant vier von fünf Kategorien und muss sich lediglich in der Kategorie „Command“ Apples Siri geschlagen geben. Was wenig verwundert, da E-Mail, Kalender, Messaging und Co. seit jeher zu den Fokusbereichen von Siri gehören. Ein Bereich, in dem auch Cortana naturgemäß besser abschneiden sollte. Auch wurden viele musikbezogene Fragen innerhalb dieser Kategorie gestellt, sodass Apple hier über die Integration von Apple Music profitierte. Weit interessanter verhält es sich in der Kategorie „Commerce“, in der nicht Amazon die Spitzenposition einnimmt, sondern Google. Hier beantwortete der Google Assistant Fragen zu Produktinformationen sowie wo ein jeweiliges Produkt gekauft werden kann, deutlich besser als Alexa, das auf das beste Ergebnis im Amazon-Store verweist. Hier fiel Amazon der eigene Eifer, alle Produkte aus Amazon selbst heraus zu verkaufen, auf die Füße. Auf der anderen Seite bietet sich Google ein deutlicher Vorteil über die zugrunde liegenden Daten, bspw. aus der Suchfunktion Featured Snippets.