Mittels Treetesting-Studien konnten wir Probleme im aktuellen Piccantino-Menü identifizieren und mit Hilfe eines überarbeiteten Konzepts die Performance schließlich deutlich steigern. Das aktuelle Menü entspricht häufig nicht dem mentalen Modell der User und stiftet mit bedeutungslosen Bezeichnungen Verwirrung.
Bei Treetesting-Studien bitten wir 40 Proband:innen, bestimmte Produkte innerhalb eines von uns vorgegebenen Hauptmenüs zu finden. So mussten sie bei Piccantino beispielsweise Brot oder Pasta finden.
Dabei beschränkt man sich auf rund 10 Aufgaben. Es ergibt Sinn, dabei nach Menüpunkten suchen zu lassen, die entweder von großer Bedeutung für den Shop sind und/oder von denen erwartet wird, dass sie nur schwer gefunden werden.
🤓 Treetesting?
Der inhaltliche Aufbau eines Menüs kann auch als Menübaum bezeichnet werden. Und diesen Baum testen wir – darum Treetesting.
Während die Proband:innen nun den mutmaßlich korrekten Menüpunkt suchen und wählen, messen wir die Zeit sowie den jeweiligen Weg, den sie gehen. Und natürlich, ob sie schlussendlich richtig oder falsch liegen.
Den Proband:innen wird dabei nicht gesagt, um welchen Shop es sich handelt. Auch sehen sie nur ein minimalistisches Design, das nicht dem unserer Webshops entspricht, um nicht vom Wesentlichen abzulenken.
Wie das für die Proband:innen am Beispiel von zwei Aufgabenstellungen aussieht, kann im folgenden Video beobachtet werden.
🤓 Warum 40?
Erst ab 40 Proband:innen können wir uns relativ sicher sein, dass die Ergebnisse nicht durch einzelne Proband:innen zu stark verzerrt wurden. Mehr Proband:innen wären zwar besser – aber auch deutlich teurer, diese werden für die Studienteilnahme nämlich bezahlt. Mit 40 Proband:innen haben wir also ein optimales Kosten-Nutzen-Verhältnis.
Das Hauptmenü von Piccantino enthält 10 fixe Hauptmenüpunkte sowie zusätzlich einen von der Saison abhängigen – im Bild oben ist das Grillen.
Im ersten Schritt haben wir uns in Analytics die Seitenaufrufe je Haupt- und Untermenüpunkt angesehen. Spitzenreiter in allen Auswertungen scheinen Angebote und Gewürze zu sein. Schlusslicht ist dabei immer Themen.
Sehr spannend in diesem Zusammenhang ist auch die Heatmap der Klicks auf der Startseite. Diese spiegeln relativ genau die Erkenntnisse aus Analytics wider: Angebote und Gewürze leuchten im Menü am hellsten, Themen scheint komplett irrelevant.
Das wesentlichste Navigationselement auf der Startseite scheint übrigens die Suche zu sein. Einmal mehr zeigt sich, wie wichtig eine herausragend funktionierende Suche für die Navigation in einem Webshop ist.
Eine erste Treetesting-Studie sollte zeigen, wie gut bestimmte Menüpunkte im aktuellen Menü gefunden werden. Nur so konnten wir die bestehenden Probleme identifizieren und Alternativen entwickeln. Den Fokus haben wir dabei auf Frischwaren und Delikatessen gelegt.
Folgende Aufgaben haben wir gestellt:
Für die Pizza fehlt dir noch Mozzarella. In welcher Kategorie findest du diesen?
Für den nächsten Filmabend suchst du noch gute Schokolade. Wo findest du diese?
Du verwendest gerne Honig als Süßungsmittel. Wo findest du diesen?
Du möchtest deinen Fleischkonsum reduzieren. Wo findest du Fleischersatz-Produkte?
Für einen Kuchen brauchst du Eier. Wo findest du diese?
Brot darf nicht fehlen. Wo findest du es?
Finde bitte Obst.
Wo findest du allgemeine Produkte zur Grundversorgung?
Manchmal muss es schnell gehen. Wo findest du fertige Gerichte?
Es soll mal wieder Pasta geben. Wo findest du diese?
Du benötigst Salz. In welcher Kategorie befindet es sich?
Das überraschendste Learning aus den Studienergebnissen vorweg: Der Menüpunkt Themen wurde über alle Aufgaben hinweg mit durchschnittlich 12 % zuerst geklickt. In mehr als 1 von 10 Fällen lenkt die nichtssagende Bezeichnung dieses Menüpunkts also vom korrekten Pfad ab und zieht die Aufmerksamkeit unberechtigt auf sich.
Gut haben tatsächlich nur 4 von 11 Aufgaben funktioniert. Salz in Gewürze sowie Obst, Brot und Eier in Frischwaren. Wie man sieht, haben nur jene Menüpunkte gut funktioniert, die ganz eindeutig einem Hauptmenüpunkt zugeordnet werden können.
Das Bild zeigt die Auswertung von Task 5 »Für einen Kuchen brauchst du Eier. Wo findest du diese?«.
Folgende Informationen kann man herauslesen:
Success
94 % haben den korrekten Menüpunkt gefunden. Entweder direkt oder indirekt über Umwege.
Directness
74 % waren sich sofort sicher, den korrekten Menüpunkt unter
Frischwaren ➜ Eier zu finden. Wir können damit also relativ sicher sein, dass wir mit dieser Kategorisierung den Erwartungen der User entsprechen.
Time taken
Die Proband:innen waren sich im Schnitt nach 4,94 Sekunden sicher, den korrekten Menüpunkt gefunden zu haben. Dieser Wert inkludiert also auch die Zeit, die für schlussendlich falsche Antworten benötigt wurde. Zeigt aber, dass wenig Unsicherheit geherrscht hat.
Score
Errechnet sich aus allen genannten Werten und gibt einen schnellen Eindruck, wie gut der Task funktioniert hat.
8/10 wie in diesem Fall ist sehr stark.
Umgekehrt ist es bei Untermenüpunkten wie Käse, die im Hauptmenüpunkt Delikatessen zu finden sind.
Die Werte sprechen für sich: Nur 9 % haben direkt Delikatessen gewählt, der Großteil ist sofort zu Frischwaren gewechselt. Mit fast 19 Sekunden haben die Proband:innen sehr lange gebraucht, bis sie Käse vermeintlich gefunden haben. Wie man sieht, hat der Großteil den gesuchten und korrekten Menüpunkt aber gar nicht gefunden.
Noch deutlich schlechter sieht es bei Nudeln aus. Im derzeitigen Menü sind Nudeln unter Delikatessen ➜ Getreideprodukte zu finden. Nur ein einziger User hat den gesuchten Menüpunkt sofort gefunden, 26 % insgesamt nach einigen Umwegen. Dafür haben sie allerdings durchschnittlich 22 Sekunden benötigt.
Fertiggerichte vermuten die Wenigsten in Delikatessen und am schlechtesten lässt sich Schokolade in Naschen & Knabbern finden.
🤓 Directness
Die sogenannte Directness oder Direktheit ist ein wichtiger Indikator. Viele User finden den korrekten Menüpunkt nach einigem Suchen in verschiedenen Hauptmenüpunkten nämlich – aber nur eine hohe Directness bestätigt uns, dass der Menüpunkt ohne große Verwirrung oder Umwege gefunden werden konnte.
Ist die Directness hoch aber der Success niedrig, bedeutet das, dass sich die Proband:innen recht sicher waren, den gesuchten Menüpunkt anderswo zu finden.
Nachdem Themen offenbar einerseits kaum bis gar nicht geklickt wird und in unserer Treetesting-Studie zusätzlich hauptsächlich für Verwirrung gesorgt hat, haben wir diesen Menüpunkt entfernt und wichtige Untermenüpunkte daraus in andere Hauptmenüpunkte eingegliedert.
Das bringt uns direkt zur größten Änderung: Diese hält mit dem neuen Menüpunkt Vorratsschrank Einzug. Aus der Analyse ist hervorgegangen, dass viele Produkte im aktuellen Menü kaum bis gar nicht sinnvoll eingeordnet werden können. Der neue Menüpunkt enthält nun alles, was Menschen potenziell am ehesten in ihren eigenen Vorratsschränken oder -kammern aufbewahren. So finden sich dort nun beispielsweise neu die Nudeln & Teigwaren (zusätzlich zu Getreideprodukte) oder auch die Grundversorgung.
Die Menüpunkte Kräuter und Gewürze haben wir zu Gewürze & Kräuter zusammengefasst. Einerseits, um einen weiteren Menüpunkt einzusparen und andererseits, da nur drei Untermenüpunkte bei Kräuter keinen eigenen Hauptmenüpunkt rechtfertigen.
Zuletzt haben wir noch kleinere Details angepasst, wie beispielsweise der Schokolade einen eigenen Untermenüpunkt gegeben, um diese nicht mehr hinter Naschen & Knabbern verstecken zu müssen. Käse ist zu den Frischwaren gewandert. Auch haben wir einige weitere Untermenüpunkte sinnvoll zusammengefasst und diese damit reduziert – diese Änderungen sind im Zuge dieser Studie aber von keiner großen Bedeutung.
Das neue prototypische Hauptmenü sieht demnach jetzt so aus.
Die eben aufgestellten Hypothesen haben wir sodann in einer zweiten Treetesting-Studie getestet, um diese zu bestätigen oder zu widerlegen.
Richtig gut funktioniert der Vorratsschrank bei Produkten, die mental eindeutig dem Vorrat zugeordnet werden. Wir erinnern uns: Im derzeitigen Menü sind Nudeln unter Delikatessen ➜ Getreideprodukte zu finden und nur 26 % aller User haben den Menüpunkt überhaupt gefunden. Mit dem Vorratsschrank und dem neuen Menüpunkt Nudeln & Teigwaren haben 79 % die Nudeln gefunden, 64 % sogar direkt und das in durchschnittlich nur 5 statt 22 Sekunden.
Links die Ergebnisse des Tests mit dem aktuellen Menü, rechts die Ergebnisse mit dem neuen Menü.
Auch die Grundversorgung wird im Vorratsschrank mit 61 % der direkten Klicks wesentlich leichter gefunden als in Themen mit nur 29 % der direkten Klicks.
Ganz unproblematisch ist unser Vorratsschrank allerdings nicht. Der Begriff erzeugt dank Framing sofort ein Bild unseren Köpfen. So ist der Vorratsschrank häufig auch der Ort, an dem Brot gelagert wird.
39 % der Proband:innen haben Brot vermutlich deshalb zuerst im Vorratsschrank gesucht, die knappe Mehrheit mit 47 % hat zuerst auf Frischwaren geklickt. Obwohl die korrekte Antwort damit am besten performt, ist es bei so knappen Ergebnissen eine Überlegung wert, solche Untermenüpunkte in beide Hauptmenüpunkte einzuordnen.
Mit dem Effekt des Framings haben wir auch weiterhin zu kämpfen: Durchweg schlecht haben nämlich die Fertigprodukte performt. Die Qualität der Produkte rechtfertigt bestimmt, in Delikatessen zu sein. Daher haben wir sie auch für die zweite Studie weiterhin dort belassen. In den Köpfen der User ist dieses Bild aber nicht vorhanden.
Niemand (!) hat in der zweiten Studie Fertigprodukte direkt in Delikatessen gesucht. Der erste Weg der Proband:innen hat mit einer großen Mehrheit von 63 % direkt in den Vorratsschrank geführt. Es liegt daher auf der Hand, hier den Erwartungen der User zu entsprechen und Fertigprodukte in den Vorratsschrank zu verschieben.
Und nochmal Framing: Woran denkst du, wenn du an Fleischersatz-Produkte denkst? Vielleicht hast du wie ich ein Produkt vor deinem inneren Auge, das wie Fleisch definitiv gekühlt werden sollte – wie beispielsweise Tofu oder Tempeh. Tatsächlich sind die bei Piccantino angebotenen Fleischersatz-Produkte aber derzeit in Delikatessen zu finden. Wenig verwunderlich sind die Ergebnisse sehr schlecht ausgefallen.
Zum Zeitpunkt der Testung waren die Fleischersatz-Produkte zu einem großen Teil keine Frischwaren – zum Beispiel getrocknete Erbsenprotein-Schnetzel. Daher haben wir diese Produkte in den Vorratsschrank verschoben. Doch die Proband:innen haben ein deutliches Wort gesprochen: Fleischersatz suchen sie am ehesten bei den Frischwaren.
Die größten Erfolge konnten wir bei den offensichtlichen Problematiken feststellen: Käse in Frischwaren statt Delikatessen hat zu einer Performance-Steigerung von über 78 % geführt und einer mehr als Halbierung der Time on task.
Noch größer ist die Steigerung bei Schoko. Schokolade war bisher in Naschen & Knabbern versteckt. Mit dem eigenen Untermenüpunkt konnten wir die Success-Performance fast verdreifachen. Und auch hier ist die Time on task um mehr als die Hälfte reduziert.
Die große unerwartete Überraschung hier zum Schluss: Küche & Kochen ist nun jener Menüpunkt, der statt Themen den großen Distraktor darstellt. Mit durchschnittlich über 11 % wurde dieser Menüpunkt zuerst geklickt – über fast alle Aufgaben hinweg.
Wir vermuten, dass dies daran liegt, dass die Proband:innen die Seite nicht kennen – wie auch neue Besucher:innen sie nicht kennen. Küche & Kochen könnte wie Themen tatsächlich alles sein. Pasta, Fertiggerichte, Eier oder Fleischersatz-Produkte (26 % der ersten Klicks gingen hier auf Küche & Kochen) wurden darin vermutet. Wir würden diesen Menüpunkt daher zu Küchen-Zubehör ändern.
Mit den Ergebnissen unserer ersten Treetesting-Studie sind wir sehr zufrieden. Wir haben gleichermaßen erwartete wie auch unerwartete Ergebnisse erhalten – die uns natürlich besonders erfreuen, da wir viel davon lernen können.
Insgesamt konnten wir über alle problematischen Menüpunkte hinweg die Success-Performance des Menüs um mehr als 68 % steigern. Zusätzlich werden im Schnitt die gesuchten Menüpunkte nun um gut 33 % schneller gefunden.
Bei den im aktuellen Menü schlechtesten Werten – wie beispielsweise der Schoko oder der Pasta – konnten wir die Success-Performance sogar verdoppeln bis verdreifachen. Die um bis zu knapp 80 % geringere Time on task verdeutlicht den Erfolg zusätzlich.
Direkt an den Framing-Effekt zu denken und sich jederzeit selbst zu fragen, welche Bilder im eigenen Kopf durch bestimmte Begriffe erzeugt werden, kann helfen, sich besser in Besucher:innen hineinzuversetzen.
Wir sind uns also sehr sicher, mit dem neuen Menü den Erwartungen unserer Kund:innen nun deutlich besser zu entsprechen und freuen uns auf weitere spannende Treetesting-Projekte.
