Daten aus Usability-Tests in die Tat umsetzen, ohne verrückt zu werden

Das Sammeln, Sortieren und Verstehen von Daten, die während der Benutzerforschung und Usability-Tests gesammelt wurden, wird zu einer immer häufigeren Aufgabe unter UX-Praktikern – tatsächlich wird es zu einer kritischen UX-Fähigkeit.

Ein Usability-Test zeigt Ihnen, ob Ihre Zielbenutzer Ihr Produkt verwenden können. Es hilft dabei, Probleme zu identifizieren, die Menschen mit einer bestimmten Benutzeroberfläche haben, und zeigt schwierig zu erledigende Aufgaben und verwirrende Sprache auf. Typischerweise beinhaltet ein Usability-Test eine umfangreiche Vorbereitung und Analyse und gilt als eine der wertvollsten Forschungstechniken. Es ist in der Lage, sowohl quantitative als auch qualitative Daten bereitzustellen, die dem Produktteam helfen, bessere Lösungen zu finden.

Es ist jedoch kein Spaziergang im Park. Bei dem Versuch, Usability-Probleme zu entdecken , müssen UX-Forscher und -Designer oft mit einer Flut unvollständiger, ungenauer und verwirrender Daten fertig werden. Ein regelmäßiger Usability-Test mit fünf bis zehn Teilnehmern kann leicht mehr als sechzig Probleme erzeugen. Es kann sich anfühlen, als würde man „aus dem Feuerwehrschlauch trinken“, während man darauf wartet, dass die gefürchtete Analyselähmung ihr hässliches Haupt erhebt.

Ein erhebliches Risiko bei der Lösung von Usability-Problemen besteht darin, den falschen Weg einzuschlagen, wenn man versucht, Lösungen zu finden, die die vorliegenden Probleme nicht wirklich angehen. Das Risiko besteht darin, dass es zu einer Diskrepanz zwischen gefundenen Problemen und identifizierten Lösungen kommen kann. Diese können durch eine Reihe verschiedener Faktoren verursacht werden, darunter Entscheidungsmüdigkeit und viele Arten von kognitiven Verzerrungen.

Wie man Usability-Testdaten in praktikable Lösungen umwandelt

Um die oben genannten Hindernisse zu meistern, brauchen wir effiziente Wege, um mit unseren Testdaten umzugehen und gleichzeitig sicherzustellen, dass wir die effektivsten Lösungen für die gefundenen Probleme auswählen.

Beginnen wir damit, einige Ideen aus dem kreativen Prozess auszuleihen. Einer der mächtigsten ist der Doppeldiamant des British Design Council, der seinerseits divergent-konvergentes Denken anwendet. Es ist ein Designprozess mit klar definierten und integrierten Problem- und Lösungsphasen.

Der doppelte Diamant ist genau das, was wir brauchen, um ein Framework aufzubauen, das die Usability-Probleme handhabt und Wege findet, sie zu lösen.

Die Anpassung des obigen Modells an die Usability-Tests des Ergebnisses ist ein vierstufiger Prozess:

1. Datensammlung
2. Problempriorisierung
3. Lösungsgenerierung
4. Lösungspriorisierung

Sehen wir uns jeden Schritt im Detail an, einschließlich dessen, wie man ihn in die Praxis umsetzt.

Hinweis: Wir müssen einige grundlegende mathematische Berechnungen anwenden. Keine Sorge, es ist nicht zu viel, und am Ende dieses Artikels finden Sie eine Tabelle, die den gesamten Prozess automatisiert. Wenn es bei Ihnen immer noch nicht funktioniert, gibt es auch einen visuellen Ansatz, bei dem Sie Post-its und Whiteboards verwenden können.

Schritt 1: Erhebung von Usability-Forschungsdaten

Beginnend mit Ihren Forschungsfragen besteht der erste Schritt darin, die durch den Usability-Test generierten Daten zu sammeln. Es muss für eine einfache Ideenfindung und spätere Einblicke im Prozess eingerichtet werden – der Schlüssel liegt darin, die Daten klar zu strukturieren und zu organisieren, um Unordnung zu vermeiden. In den meisten Fällen ist es ausreichend:

• Haben Sie ein Issue Identification (ID)-System
• Beachten Sie, wo es passiert ist (Bildschirm, Modul, UI-Widget, Flow usw.)
• Kennen Sie die Aufgabe , an der sich der Benutzer beteiligt hat
• Geben Sie eine kurze Beschreibung des Problems an

Ein gängiger Ansatz zur Organisation von Usability-Problemen, der von Lewis und Sauro in dem Buch Quantifying the User Experience verwendet wird, besteht darin, die Daten wie in der folgenden Tabelle dargestellt darzustellen, wobei die Probleme in den Zeilen und die Teilnehmer in den letzten paar Spalten dargestellt werden.

Im obigen Beispiel ergab ein fiktiver Usability-Test mit drei Teilnehmern zwei Probleme:

• Die erste vom Teilnehmer erlebte (P1)
• Die zweite von den anderen Teilnehmern (P2 und P3)

Schritt 2: Problempriorisierung

Da die Ressourcen begrenzt sind, ist es notwendig, Usability-Probleme so zu priorisieren, dass die Analyse optimiert wird. Typischerweise hat jedes Usability-Problem einen Schweregrad , der von einigen Faktoren beeinflusst wird, wie:

• Kritikalität der Aufgabe: Bewertet in Bezug auf die Auswirkungen auf das Unternehmen oder den Benutzer, wenn die Aufgabe nicht erfüllt wird.
• Problemhäufigkeit: Wie oft ein Problem bei verschiedenen Teilnehmern aufgetreten ist.
• Auswirkung des Problems: Wie stark hat es den Benutzer beeinflusst, der versucht, die Aufgabe zu erfüllen.

Um Prioritäten zu setzen, müssen wir die folgenden Schritte ausführen:

1. Legen Sie die Kritikalitätspunktzahl für jede im Test durchgeführte Aufgabe fest. Einfach ausgedrückt: Definieren Sie, wie kritisch die Aufgabe für das Unternehmen oder den Benutzer ist, indem Sie ihr einen numerischen Wert zuweisen. Die Werte können aus einer einfachen linearen Folge (z. B. 1, 2, 3, 4 usw.) oder aus etwas Ausgefeilterem wie der Fibonacci-Folge (1, 2, 3, 5, 8 usw.) stammen, genau wie in verwendet agile Methoden wie Planungspoker.

2. Legen Sie die Auswirkungspunktzahl für jedes Problem fest, indem Sie den Elementen in dieser Skala einen Wert (wie oben) zuweisen:
   • 5: (Blocker) Das Problem hindert den Benutzer daran, die Aufgabe auszuführen
   • 3: (groß) es verursacht Frustration und/oder Verzögerung
   • 2: (gering) es hat einen geringen Einfluss auf die Aufgabenleistung
   • 1: (Vorschlag) Es ist ein Vorschlag des Teilnehmers

3. Ermitteln Sie die Problemhäufigkeit (%) des Problems, indem Sie die Anzahl der Vorkommen durch die Gesamtzahl der Teilnehmer dividieren. Es ist eine einfache Prozentrechnung.

4. Berechnen Sie schließlich den Schweregrad jedes Problems, indem Sie die drei obigen Variablen multiplizieren.

Mal sehen, wie es in einer Tabelle funktioniert (natürlich wollen wir das automatisieren, oder?). Unsere aktualisierte Tabelle würde wie folgt aussehen:

Im obigen Beispiel haben wir das folgende Szenario:

• Drei Usability-Probleme, die von drei Teilnehmern erlebt wurden (p1, p2 und p3);
• Die Aufgabe „Einen Beitrag erstellen“ erscheint zweimal und wird kritisch mit 5 bewertet, und eine weniger kritische Aufgabe (Social Login) erhält eine 3;
• Jedem Problem wurde aufgrund seiner Auswirkung ein Wert zugewiesen: 5 (blockiert), 3 (groß) und 2 (geringfügige Auswirkung auf die Aufgabenleistung);
• die Häufigkeit jedes Problems (z. B. Problem Nr. 2 trat zweimal bei drei Teilnehmern auf, also 2/3 = 0,67);
• Der Schweregrad ergab sich schließlich aus der Multiplikation der anderen Faktoren (z. B. 3 x 5 x 0,33 = 4,95).

Das war es fürs Erste. Wir haben unsere wichtigsten Usability-Probleme in dieser Reihenfolge gefunden: 3 , 2 und 1 . In dieser Phase haben wir auch einen guten Überblick über die Landschaft der Usability -Probleme – das Gesamtbild, das dem Team hilft, das Problem auf hoher Ebene zu erfassen und während der folgenden Schritte zu optimieren.

Schritt 3: Lösungsgenerierung

Üblicherweise sind Usability-Tests ohne eine Liste mit Empfehlungen (allgemeine Vorschläge) und Lösungen (spezifische Anweisungen) am Ende nicht vollständig. Manchmal ist die Lösung ziemlich offensichtlich – wie das Korrigieren der Platzierung einer UI-Komponente. Schwieriger wird es bei Problemen mit nicht offensichtlichen oder vielen möglichen Lösungen. Welche Lösung ist besser? Welche ist machbarer? Was sind die Kosten/Nutzen eines Experiments, um dies herauszufinden? Hier reicht die traditionelle Methode der regelmäßigen Empfehlung nicht aus.

Um das Risiko schlechter Designentscheidungen zu reduzieren, brauchen wir: a) mehrere Lösungsalternativen zur Auswahl und b) einen effektiven Auswahlprozess. Wir werden den gleichen divergent-konvergenten Ansatz verwenden, der in der vorherigen Phase für die Datenerfassung und die Herausgabe von Priorisierungsschritten verwendet wurde. Die Schritte sind:

1. Generieren Sie für jedes Problem mehrere Lösungsideen. Welche Möglichkeiten gibt es, das Problem anzugehen? Hier haben wir eine großartige Gelegenheit zur Zusammenarbeit mit dem Rest des Teams (Entwickler, Designer, Produktmanager usw.).

2. Reorganisieren Sie die Lösungen, halten Sie sie spezifisch – führen Sie die Lösungen nach Bedarf zusammen oder teilen Sie sie auf, um Redundanzen und zu viel Abstraktion zu vermeiden. Seien Sie auch hier spezifisch, damit es einfacher ist, Ideen zu bewerten. Anstatt beispielsweise nur „Vermeiden Sie die Verwendung eines Hamburger-Menüs“, ist es besser, eine bestimmte Lösung anzugeben, z. B. „Verwenden Sie eine horizontale Navigation und ein vertikales Baummenü“.

3. Markieren Sie zusätzliche Probleme , die die Lösung ansprechen kann – in der Praxis kann eine einzige gute Lösung mehrere Probleme angehen. Gute Lösungen sind vielseitig!

Nach den obigen Schritten sieht die resultierende Tabelle wie folgt aus:

In diesem Beispiel haben wir die Liste der Brainstorming-Lösungen (Zeilen) und die Probleme, die jede Lösung anspricht (Spalten, die die Probleme darstellen, die in den vorherigen Schritten gefunden wurden).

Sehen wir uns als Nächstes an, wie diese Liste weiterentwickelt wird, und finden Sie heraus, welche Lösungen die besten Kandidaten für die Implementierung sind und in welcher Reihenfolge.

Schritt 4: Lösungspriorisierung

Ähnlich wie bei der Problempriorisierung müssen wir Lösungen nach einigen Parametern priorisieren. In agilen Teams, in denen dieses Thema sehr ernst genommen wird, ist es üblich, den Geschäftswert und die Komplexität zu verwenden, wodurch wir den Return on Investment (ROI) berechnen können. In Anlehnung an diese Logik haben wir die folgenden Schritte:

1. Berechnen Sie die Wirksamkeit jeder Lösung .
   Je schwerwiegender das angesprochene Problem ist, desto besser ist die Lösung. Dies lässt sich in etwa mit dem Business Value in agilen Methoden vergleichen. Addieren Sie die Schweregrade aller Probleme, die von der Lösung angesprochen werden.

    Effectiveness = Sum of issue severities

2. Schärfen Sie die Komplexität der Lösung .
   1. Welche Ressourcen sind für die Entwicklung dieser Lösung erforderlich?
   2. Wie standardisiert sind die beteiligten Technologien?
   3. Wie klar sind die Geschäfts-/Benutzeranforderungen?

   Mit anderen Worten, je mehr Aufwand und Ungewissheit, desto komplexer die Lösung. Übersetzen Sie dies einfach in einen quantifizierbaren Wert, wie die Fibonacci-Folge (1, 2, 3, 5, 8 usw.). Wenn Sie dies als Team tun, passt Planungspoker perfekt.

3. Berechnen Sie den ROI der Lösung. Dies ist das Kosten-Nutzen-Verhältnis, das berechnet wird, indem die Effektivität der Lösung durch ihre Komplexität dividiert wird. Je höher der ROI, desto besser.

    ROI = Effectiveness / Complexity

Kehren wir zu unserer Tabelle zurück, die jetzt so aussieht:

Im obigen Beispiel haben wir:

1. Die Liste der Lösungen (Zeilen)
2. Die Probleme (i1 bis i3) mit ihren Schweregraden (4.95, 6.7 und 10.05)
3. Ein Indikator von 1 jedes Mal, wenn eine Lösung mit einem Problem übereinstimmt (adressiert).
4. Die Wirksamkeit jeder Lösung (4,95, 4,95 und 16,75)
5. Die vom Team geschätzte Komplexität jeder Lösung (1, 3 und 5).
6. Der ROI jeder Lösung (4,95, 1,65, 3,35)

Gemäß diesem Beispiel sollten wir die Entwicklung der Lösungen in der folgenden Reihenfolge (vom höheren zum niedrigeren ROI) priorisieren: Lösung 1, dann Lösung 3 und 2.

Um die Schritte zusammenzufassen: Wir begannen mit dem Sammeln von Daten, dann priorisierten wir Probleme nach bestimmten Parametern. Anschließend haben wir Lösungsideen für diese Probleme generiert und schließlich priorisiert.

Verwenden einer Tabellenkalkulation

Die obige Methode beinhaltet einige (grundlegende) Berechnungen, die viele Male wiederholt werden, daher ist es am besten, eine Tabellenkalkulation zu verwenden.

Wenn Sie dieser Methode folgen möchten, finden Sie hier eine Vorlage (Google Sheet): https://goo.gl/RR4hEd. Es kann heruntergeladen werden und Sie können es frei an Ihre Bedürfnisse anpassen.

Ich hasse Tabellenkalkulationen! Was ist mit etwas Visuellerem?

Fast jeder, den ich kenne (mich eingeschlossen – natürlich) liebt es, mit Haftnotizen und Whiteboards zu arbeiten, nicht nur, weil es normalerweise schneller geht und Spaß macht, sondern auch, weil es die Zusammenarbeit erleichtert. Wenn Sie ein agiler oder Design Thinking Praktiker sind, wissen Sie, was ich meine. Wie können wir visuelle Tools wie Haftnotizen anwenden, um mit dem in diesem Artikel gezeigten Ansatz zu arbeiten? Nun, das verdient wahrscheinlich einen ganzen Blogbeitrag, aber versuchen wir, an der Oberfläche zu kratzen.

Eine Möglichkeit, dies zu tun, besteht darin, eine Matrix für Probleme (Auswirkung x Häufigkeit) zu erstellen und sie neben einer anderen für Lösungen (Effektivität x Komplexität) zu platzieren. Jede Matrix ist in vier Quadranten unterteilt, was die Priorisierung anzeigt.

Hier sind die Schritte:

1. Erstellen Sie die Problemmatrix, indem Sie die Haftnotizen je nach Auswirkung und Häufigkeit in den richtigen Quadranten platzieren. Um diesen Ansatz zu vereinfachen, mussten wir einen Parameter weglassen. In diesem Fall Aufgabenkritikalität .

2. Erstellen Sie die Lösungsmatrix, indem Sie die Haftnotizen nach der Effektivität und Komplexität jeder Lösung organisieren:

   1. Brainstorming-Lösungen für jedes Problem, beginnend mit den Problemen in Quadrant 1 der Problemmatrix (diejenigen mit dem höheren Schweregrad).

   2. Platzieren Sie diese Lösungen in der Lösungsmatrix, beginnend bei Quadrant 1 (oben links). Je schwerwiegender das Problem ist, desto effektiver ist seine Lösung.

   3. Passen Sie die Komplexität jeder Lösung an, indem Sie sie auf der horizontalen Achse verschieben (je komplexer, desto weiter nach rechts).

   4. Wiederholen Sie die obigen Schritte für die verbleibenden Probleme (Quadranten 2, 3 und 4, in dieser Reihenfolge).

Am Ende der Übung sind die Lösungen in Quadrant 1 diejenigen mit dem besten ROI (effektiver und weniger komplex), was höchste Priorität bedeutet. Das Ergebnis ist im Bild unten dargestellt:

Einschließlich der Tatsache, dass wir einen Parameter weggelassen haben (Task Criticality), besteht der Nachteil hier darin, dass Sie sich auf visuelle Genauigkeit verlassen müssen, anstatt auf Berechnungen wie in der Tabelle. Auf der positiven Seite haben wir eine Methode, die die Zusammenarbeit fördert – was manchmal entscheidend ist, um die Zustimmung des Teams zu erhalten.

Die Förderung der Zusammenarbeit durch visuelle „Quick and Dirty“-Analysen auf Kosten der Genauigkeit ist ein potenzieller Kompromiss. Welches ist der bessere Ansatz? Die kurze Antwort: diejenige, die am besten zu Ihrer Situation passt und am besten zu Ihren Zielen passt.

Abschließende Erkenntnisse für die Datenanalyse von Usability-Tests

Die Verwendung dieser Methoden brachte die folgenden Beobachtungen von Teams hervor, die sie in verschiedenen Projekten eingesetzt haben:

1. Besonders bei größeren Studien sorgt die Problempriorisierung dafür, dass sich das Team auf das konzentriert, was wirklich wichtig ist, und spart Zeit und Ressourcen, indem es unerwünschte kognitive Herausforderungen wie Informationsüberlastung, Analyselähmung und Entscheidungsermüdung reduziert.

2. Der verbundene End-to-End-Workflow sorgt dafür, dass die Lösungen besser auf die Ergebnisse von Usability-Tests ausgerichtet sind (da Probleme und Lösungen gepaart sind), wodurch das Risiko der Implementierung weniger als optimaler Lösungen verringert wird.

3. Wir können diese Methode problemlos kollaborativ (teilweise oder als Ganzes) mithilfe von Online-Tools anwenden.

Es ist wichtig, die Grenzen dieses Ansatzes zu verstehen. So werden beispielsweise während der Priorisierungsphase die im Test beobachteten positiven Einstellungen und Verhaltensweisen der Nutzer nicht berücksichtigt. Der Fokus liegt auf Usability-Themen. Ein Vorschlag ist, diese Art von Daten separat zu protokollieren und auf dem Weg dorthin zu verwenden, um die Ergebnisse nach Bedarf zu ergänzen und auszugleichen.

Schließlich kann dieser Ansatz neben Usability-Tests auch auf andere UX-Forschungstechniken ausgedehnt werden. Durch die Anwendung des „Double-Diamond“-Ansatzes (divergierende/konvergierende Probleme und Lösungen) können wir verschiedene Benutzerforschungsdaten mischen und die oben genannten Methoden in jedem anderen Projekt verwenden. Ihre Fantasie ist die Grenze!

• • •

Weiterführende Literatur im Toptal Design Blog:

• eCommerce UX – Best Practices im Überblick (mit Infografik)
• Die Bedeutung von Human-Centered Design im Produktdesign
• Die besten UX-Designer-Portfolios – inspirierende Fallstudien und Beispiele
• Heuristische Prinzipien für mobile Schnittstellen
• Antizipatorisches Design: Wie man magische Benutzererlebnisse schafft