TIP-Award für Test von Voice-Web-Search-Systemen

Sebastian Sünkler ist wissenschaftlicher Mitarbeiter und Lehrbeauftragter am Department Information der Hochschule für angewandte Wissenschaften Hamburg im Bereich Suchmaschinen und Information Retrieval. Seine Schwerpunkte liegen bei der Entwicklung und Betreuung eines Relevance Assessment Tools sowie der Entwicklung einer Software für die Lebensmittelbranche unterstützt durch das Bundesministerium für Ernährung und Landwirtschaft. Im letzten Semester betreute er mit Friederike Kerkmann ein Studierendenprojekt, das auf dem Bibliothekartag 2017 mit dem Team Award Information Professionals ausgezeichnet wird. Freya Anders hat Sebastian Sünkler für bibliotheksnews vorab interviewt.

Sebastian Sünkler präsentiert das Projekt der HAW Hamburg, Foto: bibliotheksnews/fa

bibliotheksnews: Sie und Ihr Team sind einer der drei Preisträger des TIP Awards. Worum ging es in Ihrem Projekt?

Sebastian Sünkler: In unserem Projekt „Ok Google… The End of Search as we know it“ haben wir im Auftrag der Deutschen Telekom AG die zu dem Zeitpunkt vier führenden mobilen Systeme für Sprachsteuerung und Sprachsuche auf Smartphones evaluiert. Der Fokus lag dabei auf der sprachbasierten Suche. Die getesteten Systeme waren Google Now, Apple Siri, Microsoft Cortana und die Sprachsuche von Amazon auf dem Amazon Firephone. Die Deutsche Telekom wollte gerne Informationen dazu, welche Stärken und Schwächen die Systeme in Bezug auf ihre Usability, die User Experience und Suchergebnisqualität zu dem damaligen Zeitpunkt hatten und erste Ideen für die Gestaltung eines benutzerfreundlichen User-Interfaces, um diese Informationen für die Erstellung eines eigenen äquivalenten Angebots zu nutzen.

bibliotheksnews: Wie sind Sie vorgegangen?

Sünkler: Wir haben uns für das Projekt an Methoden aus der Usability- und User-Experience-Forschung sowie der Evaluierung von Suchmaschinen orientiert. Dabei haben wir die Studierenden in vier Gruppen eingeteilt. Eine Gruppe entsprach dabei einem System, d. h.  jeweils eine Gruppe war zuständig für Google Now, eine für Apple Siri, für Microsoft Cortana und für das Amazon Firephone. In jeder Gruppe wurden dann dieselben Arbeitsschritte durchgeführt. Die Studierenden recherchierten aktuelle wissenschaftliche Literatur und Presseartikel zu den Systemen, z. B. in Bezug auf die angebotenen Funktionalitäten und genutzten Technologien. Dazu entwickelten wir gemeinsam einen Kriterienkatalog zur Überprüfung der Usability und erstellten Personas, um Stärken und Schwächen bei der Bedienung der Geräte zu ermitteln. Dazu wurde mit dem Projektteam ein Studiendesign für eine Nutzerstudie entwickelt, da wir die Systeme mit Hilfe echter Personen testen wollten. Insgesamt haben die Studierenden Tests mit 25 Probanden zwischen 8 und 40 Jahren durchgeführt. Diese Tests konnten uns einen besonderen Einblick in die Fähigkeiten der Systeme gewähren. Am Ende wurden die Ergebnisse aus eigenen Untersuchungen und den nutzerbasierten Tests ausgewertet und vergleichend gegenübergestellt. Darauf basierend haben wir Empfehlungen für die Gestaltung der Benutzerschnittstelle und dem idealen Ablauf einer sprachbasierten Suche erstellt.

bibliotheksnews: Auf welche Schwierigkeiten sind Sie gestoßen?

Sünkler: Besondere Schwierigkeiten lagen in diesem neuen und innovativen Anwendungsfall der sprachbasierten Suche. Es gab keine wissenschaftlichen Studien oder eine erprobte Methodik zur Evaluierung von sprachbasierten Angeboten. Wir mussten daher etablierte Methoden aus der Usability- und User-Experience-Forschung adaptieren und eigene Kriterien für die Untersuchung und ein eigenes Studiendesign für die Nutzertests entwickeln. Diese Schwierigkeiten haben sich als positive Herausforderung entwickelt und zu sehr guten Ergebnissen geführt.

bibliotheksnews: Was ist Ihnen besonders aufgefallen?

Sünkler: Uns ist besonders aufgefallen, dass die Systeme eine sehr gute Spracherkennung hatten und selbst mit Dialekten klarkamen, dabei aber nicht immer intuitiv zu bedienen waren. So waren Interaktionen mit gefundenen Suchergebnissen oder dialogorientierte Anfragen wie Folgefragen nach einer Recherche nur bedingt möglich. Zusätzlich waren besonders die Nutzertests spannend, da sich viele Probanden scheuten bei dem Test, den wir im Freien und in einem Einkaufszentrum durchführten, mit einer Maschine zu sprechen. Sie fühlten sich dabei sichtlich unwohl. Auffällig war ebenfalls, dass manche Probanden die Systeme so nutzen, wie sie allgemein Suchmaschinen nutzen und anstatt mit natürlichsprachlicher Anfragen einfach einzelne Keywords einsprachen.

bibliotheksnews: Zu welchem Ergebnis sind Sie gekommen?

Sünkler: Von den insgesamt vier getesteten Systemen haben Google Now und Apple Siri am besten abgeschnitten, während das System auf dem Amazon Firephone besonders viele Usability-Probleme aufwies. Das System bzw. das Firephone ist auch schon seit zwei Jahren nicht mehr erhältlich und die Technologie basiert nicht auf dem jetzt immer beliebteren Amazon Alexa. Insgesamt boten die Systeme eine gute Spracherkennung, die auch bei lauten Umgebungsgeräuschen zuverlässig funktionierte. Was bei allen Testgegenständen fehlte, waren Möglichkeiten zur Interaktion mit den Suchergebnissen, z. B. das Öffnen von gefundenen Dokumenten über Spracheingabe oder eine Ausgabe aller Ergebnisse in akustischer Form. Besonders wichtig ist bei der Gestaltung eines Systems, die Berücksichtigung des Nutzerkontexts, also in welcher Situation wird die Spracheingabe durchgeführt, damit das System entsprechend korrekt reagieren kann. So wäre zum Beispiel das Angebot eines Dialogs bei der Recherche nach Informationen oder Durchführung von Kaufprozessen sehr hilfreich. Von den getesteten Systemen war keines dazu in der Lage, einen stetigen Dialog anzubieten, da oft kein Kontext ausgewertet wurde. Ich denke aber, dass besonders Systeme, die sich momentan in den Haushalten abseits von Smartphones verbreiten wie Amazon Alexa oder Google Home und keine grafische Schnittstelle bieten, immer besser in ihrer Dialogfähigkeit werden und bald einer menschlichen Kommunikation sehr viel näherkommen werden.

bibliotheksnews: Was bedeutet diese Auszeichnung für Sie und Ihr Team?

Sünkler: Wir sind sehr stolz auf diesen Preis und freuen uns, dass ein so innovatives Thema und unsere Arbeit daran mit einer solchen Auszeichnung bedacht wurde. Es ist bereits der zweite Preis, den das Projekt gewonnen hat und bestärkt uns, in dem Bereich weiter zu forschen.

bibliotheksnews: Was haben Sie mit dem Preisgeld von 800 Euro vor?

Sünkler: Das kann ich zu diesem Zeitpunkt noch gar nicht sagen. Ich denke aber, dass wir das Geld in irgendeiner Form so nutzen, dass wir an dem spannenden Thema weiterarbeiten. Vielleicht durch Anschaffung neuer Geräte, die für die Sprachsuche eingesetzt werden können.

bibliotheksnews: Das ist für Sie schon die zweite Auszeichnung mit dem TIP Award. Was sind Ihre Empfehlungen, um Teamprojekte zum Erfolg zu führen?

Sünkler: Meiner Meinung nach gehören zur Durchführung eines erfolgreichen Teamprojekts ein spannendes Thema, ein hoher praktischer Bezug und die Gewissheit über die Nützlichkeit der Projektergebnisse. Dazu finde ich das Vertrauen zu allen Projektmitarbeitern sehr wichtig ist. Wir haben unsere Studierenden immer sehr selbstständig arbeiten lassen und nur die grundlegenden Arbeitspakete vorgegeben. Den eigentlichen Projektplan haben wir im Team gemeinsam entwickelt. Dazu kommt noch, dass wir in der Projektleitung immer konkrete Rollen hatten. Während Friederike Kerkmann für das Projektmanagement und Organisatorische zuständig war, war ich der Technik-Nerd und für die wissenschaftliche Methodik zuständig. Wir haben uns super ergänzt.

bibliotheksnews: Vielen Dank für das Interview!