User-Experience messen und tracken mit UX-Benchmarking
Bei UX-Benchmarking wird die Nutzererfahrung anhand von quantitativen UX-Kennzahlen im Laufe der Zeit bewertet. Zuerst wird gemessen, anschließend mit einem aussagekräftigen Standard verglichen. Zwei bis drei Mal pro Jahr durchgeführt, wissen wir jederzeit, wo wir stehen, wohin wir wollen und ob wir am richtigen Weg sind.
Vielleicht hast du dich schonmal gefragt, ob es überhaupt etwas bringt, was das UX-Team da den ganzen Tag macht. Tatsächlich fragen wir uns das auch. Ständig. Immer wieder. Unsere Arbeit infrage zu stellen ist schließlich Teil unserer Arbeit. Denn nur so können wir besser werden. Immer wieder.
UX-Benchmarking kann uns dabei helfen, diese Frage seriös und datengestützt zu beantworten. Es erlaubt uns einfach gesagt, die User-Experience unserer Seiten im Laufe der Zeit zu bewerten und den Wert der Research- und Designarbeit zu tracken. Und anschließend – basierend auf den Daten – die richtigen Usability-Maßnahmen für die Zukunft zu setzen.
Zur Bewertung werden quantitative UX-Kennzahlen (UX-Metrics) herangezogen, die uns etwas über die Benutzererfahrung sagen können, wenn wir sie richtig sammeln und interpretieren.
Benchmarking is an essential part of a plan to systematically improve the user experience.
Beginnen möchte ich mit der Beantwortung der Frage, wann UX-Benchmarks durchgeführt werden. In einem stark vereinfachten UX-Prozess finden sich fünf Stufen, die sich ständig wiederholen. Ideate, Prototype & Test, Implement, Evaluate und Define & Discover.
Ideate
Brainstormen, Ideen sammeln und Lösungsvorschläge machen
Prototype & Test
Prototypen erstellen und testen
Implement
Lösung entwickeln und implementieren
Evaluate
Ist-Stand evaluieren
Define/Discover
Probleme identifizieren und beschreiben
Usability-Tests von Prototypen oder Eyetracking-Studien beispielsweise werden während der grünen Ideate- und Prototype & Test-Phasen durchgeführt. Diese Art des Testens nennt sich formative Evaluierung. Dabei werden häufig qualitative Verfahren eingesetzt, die den Zweck haben, die Frage »Ist es verständlich und wenn nicht, warum nicht?« zu beantworten.
UX-Benchmarks werden hingegen erst nach der Implementierung durchgeführt, es wird also ein fertiges und den Endusern zugängliches Produkt gemessen. Diese Art der Messung nennt sich summative Evaluierung.
Dabei werden quantitative Verfahren eingesetzt, die den Zweck haben, Fragen wie »Wie hat sich die Usability-Performance unserer Seite im Laufe der Zeit entwickelt?« oder »Wie häufig wird ein bestimmtes Feature genutzt?« zu beantworten. Quantitative UX-Benchmarks sind also nicht in der Lage, die Frage nach dem »Warum ist es so?« zu beantworten.
Wir wissen nun also schon, wann wir den UX-Benchmark durchführen. Doch was messen wir eigentlich? Eine Antwort auf diese Frage kann das von Google entwickelte HEART-Framework geben. Dieses Framework hilft uns dabei, alle Aspekte einer guten Nutzererfahrung abzudecken.
Das H steht für Happiness und die Frage danach, wie sich unsere Nutzer:innen fühlen. Die UX-Metriken, die wir messen können, sind beispielsweise die Satisfaction-Rate, also wie zufrieden die User mit unserem Produkt sind. Wie das alles gemessen wird – dazu komme ich gleich.
Die UX-Metriken, die bei Engagement gemessen werden, können die Frage beantworten, wie häufig und intensiv unsere Webshops genutzt werden. Wie häufig kehren Kund:innen zurück? Wie hoch ist die Conversion-Rate? Und wie viel Zeit verbringt der durchschnittliche User auf der Seite?
Adoption beantwortet die Frage, ob wir neue Kund:innen gewinnen. Dafür können wir uns einfach die Anzahl der neuen Accounts, Newsletteranmeldungen oder die Conversion-Rate der Erstkund:innen ansehen.
Simple gefragt: Schaffen wir es, bestehende Kund:innen bei uns zu behalten? Werden monatliche Abos erneuert? Wie viele Abos werden gekündigt? Wie häufig kommt es zu erneuten Bestellungen?
Hier geht es um die Frage, ob die Nutzer:innen in der Lage sind, die »Aufgaben« zu lösen. In unserem Fall ist die wichtigste Aufgabe: Schaffen sie es, bei uns einzukaufen? Wie viele schaffen es nicht? Wie lange benötigen sie für die Aufgabe? Wie viele Fehler passieren während der Aufgabe? Oder wie häufig wird unser Support kontaktiert?
Vielleicht ist dir beim HEART-Framework aufgefallen, dass wir beim Sammeln der gewünschten UX-Metriken vor eine Herausforderung gestellt werden: Wie sollen wir an diese Daten kommen?
Tatsächlich benötigen wir insgesamt drei unterschiedliche Methoden, um an alle gewünschten Daten zu kommen. Diese Methoden sind
Umfragen
Analytics und
quantitative Usability-Tests
Bei Umfragen füllen Nutzer:innen einfach Fragebögen aus. Da es sich hierbei um das Sammeln quantitativer Daten handelt, benötigen wir mindestens 100 vollständig ausgefüllte Fragebögen, um eine statistisch signifikante Aussage treffen zu können.
Im besten Fall sind die verwendeten Fragebögen standardisiert, um eine weltweite Vergleichbarkeit sicherzustellen. Auch unsere eigenen Benchmarks können wir nur miteinander vergleichen, wenn die Fragestellungen immer exakt gleich sind.
Umfragen sind dazu da, die Happiness im HEART-Framework abzudecken. Denn nur, wenn wir die User fragen, wie zufrieden sie mit einem Produkt sind oder wie schwierig sie eine Aufgabe wahrgenommen haben, können wir diese Fragen auch beantworten.
Vielen wird Analytics – speziell Google Analytics – ein Begriff sein. Über Analytics-Daten verfügen wir schon lange, diese für UX-Benchmarks heranzuziehen ist aber neu. Für die Usability relevante Metriken wie Conversion-Rate, Wiederkaufsrate, die Anzahl der Neukund:innen oder Seitenverweildauer können aus Analysedaten entnommen werden.
Wie man hieran sehr gut erkennen kann, können selbstverständlich nicht all diese Metriken ausschließlich auf eine gute oder schlechte User-Experience zurückgeführt werden. Unter anderem spielen Werbung, Preise oder Warenverfügbarkeit hier eine ebenso große Rolle und sind Faktoren, die bei der Auswertung berücksichtigt werden müssen.
Bestimmte Metriken in den Analytics-Daten sind daher jederzeit – speziell für UX-Benchmarks – mit Vorsicht zu genießen. Engagement, Adoption und Retention aus dem HEART-Framework können aber am ehesten damit beantwortet werden.
Als letzter Baustein in der Reihe fügen sich die quantitativen Usability-Tests ein. Diese werden genutzt, um die UX-Metriken des letzten Punkts im HEART-Framework – die Task Effectiveness & Efficiency – zu erhalten.
Für die seriöse Bewertung der Usability sind die Success-Rate, die Fehleranzahl während eines Tasks oder die Zeit, die für einen Task gebraucht wurde, wesentlich. Gleichzeitig stellt das Sammeln dieser Daten die größte Herausforderung dar. Denn genauso wie bei Umfragen benötigen wir eine bestimmte Datenmenge, um statistisch signifikant zu werden.
Tatsächlich müssen hierfür also zumindest 40 Usability-Tests durchgeführt und anhand quantitativer Standpunkte ausgewertet werden. Das bedeutet, sich die einzelnen Videos anzusehen und beispielsweise die Zeit zu stoppen, die gebraucht wird, um einen vorgegebenen Filter anzuwenden. Und dabei gleichzeitig die aufgetretenen Fehler zu zählen.
🤓 Im Unterschied zu qualitativen Usability-Tests geht es nicht darum, die Frage nach dem »Wieso?« zu klären, sondern die Frage nach dem »Wo?«.
Die Herausforderungen sind offensichtlich: Es müssen mindestens 40 Proband:innen gefunden und bezahlt und anschließend insgesamt durchschnittlich 15 Stunden Videomaterial ausgewertet werden. Die hohe Qualität und Verlässlichkeit dieser Daten rechtfertigt diesen Aufwand aber allemal.
Wie Jeff Sauro sagt, ist Benchmarking essentiell, um die User-Experience unserer Shops systematisch zu verbessern. Denn nur wenn wir wissen, wo wir stehen, können wir die richtigen Entscheidungen treffen, um dorthin zu kommen, wo wir hinwollen.
Die wichtigen UX-Metriken aus dem HEART-Framework werden durch eine kluge Kombination aus Umfragen, Analytics und quantitativen Usability-Tests erfasst und aufgezeichnet.
Zwei bis drei Mal pro Jahr durchgeführt, wissen wir jederzeit, wo wir stehen, wohin wir wollen und ob wir am richtigen Weg sind.
