Przekształcanie danych z testów użyteczności w działanie bez popadania w obłęd

Gromadzenie, sortowanie i rozumienie danych zebranych podczas badań użytkowników i testowania użyteczności staje się coraz powszechniejszym zadaniem wśród praktyków UX — w rzeczywistości staje się to kluczową umiejętnością UX.

Test użyteczności powie Ci, czy Twoi docelowi użytkownicy mogą korzystać z Twojego produktu. Pomaga zidentyfikować problemy, które ludzie mają z określonym interfejsem użytkownika i ujawnia trudne do wykonania zadania i mylący język. Zazwyczaj test użyteczności obejmuje obszerne przygotowanie i analizę i jest uważany za jedną z najcenniejszych technik badawczych. Jest w stanie dostarczyć zarówno dane ilościowe , jak i jakościowe , które pomogą poprowadzić zespół ds. produktu w kierunku lepszych rozwiązań.

Nie jest to jednak spacer po parku. Próbując odkryć problemy z użytecznością, badacze i projektanci UX często muszą radzić sobie z zalewem niekompletnych, niedokładnych i mylących danych. Regularny test użyteczności obejmujący od pięciu do dziesięciu uczestników może z łatwością wygenerować ponad sześćdziesiąt problemów. Może się wydawać, że „pije się z węża strażackiego”, czekając, aż przerażający paraliż analityczny podniesie swoją brzydką głowę.

Poważnym ryzykiem przy próbie rozwiązania problemów związanych z użytecznością jest pójście niewłaściwą ścieżką, próbując znaleźć rozwiązania, które tak naprawdę nie rozwiązują zaistniałych problemów. Ryzyko polega na tym, że może wystąpić rozbieżność między znalezionymi problemami a zidentyfikowanymi rozwiązaniami. Może to być spowodowane wieloma różnymi czynnikami, w tym zmęczeniem decyzjami i wieloma rodzajami błędów poznawczych.

Jak zamienić dane z testów użyteczności w wykonalne rozwiązania

Aby pokonać wspomniane powyżej przeszkody, potrzebujemy skutecznych sposobów obsługi naszych danych testowych, jednocześnie upewniając się, że wybieramy najskuteczniejsze rozwiązania znalezionych problemów.

Zacznijmy od zapożyczenia kilku pomysłów z procesu twórczego. Jednym z najpotężniejszych jest podwójny diament od The British Design Council, który z kolei wykorzystuje myślenie rozbieżno-konwergentne. Jest to proces projektowania z jasno zdefiniowanymi i zintegrowanymi fazami problemów i rozwiązań.

Podwójny diament jest dokładnie tym, czego potrzebujemy, aby zbudować framework, który poradzi sobie z problemami użyteczności i znajdzie sposoby ich rozwiązania.

Dostosowanie powyższego modelu do testowania użyteczności wyniku to czteroetapowy proces:

1. Zbieranie danych
2. Priorytetyzacja problemów
3. Generowanie rozwiązań
4. Priorytetyzacja rozwiązań

Przyjrzyjmy się szczegółowo każdemu krokowi, w tym jak wprowadzić go w życie.

Uwaga: będziemy musieli użyć podstawowej matematyki. Nie martw się, to nie za dużo, a na końcu tego artykułu znajdziesz arkusz kalkulacyjny, który automatyzuje cały proces. Jeśli to nadal nie działa, istnieje również podejście wizualne, w którym możesz używać karteczek samoprzylepnych i tablic.

Krok 1: Zbieranie danych do badania użyteczności

Zaczynając od pytań badawczych , pierwszym krokiem jest zebranie danych wygenerowanych przez test użyteczności. Musi być skonfigurowany w celu łatwego generowania pomysłów i spostrzeżeń na późniejszym etapie procesu — kluczem jest jasna struktura i organizacja danych, aby uniknąć bałaganu. W większości przypadków wystarczy:

• Masz system identyfikacji problemów (ID)
• Zwróć uwagę, gdzie to się stało (ekran, moduł, widżet interfejsu użytkownika, przepływ itp.)
• Poznaj zadanie , w które angażował się użytkownik
• Podaj zwięzły opis problemu

Typowym podejściem do organizowania problemów związanych z użytecznością, stosowanym przez Lewisa i Sauro w książce Quantifying the User Experience , jest wykreślenie danych w sposób przedstawiony w poniższej tabeli, z problemami w wierszach i uczestnikami w ostatnich kilku kolumnach.

W powyższym przykładzie fikcyjny test użyteczności wykonany z udziałem trzech uczestników wykazał dwa problemy:

• Pierwsze doświadczenie uczestnika (P1)
• Drugi przez pozostałych uczestników (P2 i P3)

Krok 2: Priorytetyzacja problemów

Ponieważ zasoby są ograniczone, konieczne jest nadanie priorytetu kwestiom użyteczności w sposób, który zoptymalizuje analizę. Zazwyczaj każdy problem związany z użytecznością ma stopień ważności , na który mają wpływ niektóre czynniki, takie jak:

• Krytyczność zadania: oceniana pod kątem wpływu na firmę lub użytkownika, jeśli zadanie nie zostanie wykonane.
• Częstotliwość problemów: ile razy wystąpił problem u różnych uczestników.
• Wpływ problemu: jak bardzo wpłynęło to na użytkownika próbującego wykonać zadanie.

Aby ustalić priorytety, musimy wykonać następujące kroki:

1. Ustaw ocenę krytyczności każdego zadania wykonanego w teście. Mówiąc najprościej, zdefiniuj, jak ważne jest zadanie dla firmy lub użytkownika, ustawiając mu wartość liczbową. Wartości mogą pochodzić z prostej sekwencji liniowej (np. 1, 2, 3, 4 itd.) lub z czegoś bardziej skomplikowanego, takiego jak ciąg Fibonacciego (1, 2, 3, 5, 8 itd.), dokładnie tak jak w metody zwinne, takie jak planowanie pokera.

2. Ustaw ocenę wpływu dla każdego problemu, przypisując wartość (taką samą jak powyżej) dla pozycji w tej skali:
   • 5: (bloker) problem uniemożliwia użytkownikowi wykonanie zadania
   • 3: (główne) powoduje frustrację i/lub opóźnienie
   • 2: (niewielki) ma niewielki wpływ na wykonanie zadania
   • 1: (sugestia) to sugestia uczestnika

3. Znajdź częstotliwość występowania (%) problemu, dzieląc liczbę wystąpień przez całkowitą liczbę uczestników. To podstawowa kalkulacja procentowa.

4. Na koniec oblicz wagę każdego problemu, mnożąc trzy powyższe zmienne.

Zobaczmy, jak to działa w arkuszu kalkulacyjnym (oczywiście chcemy to zautomatyzować, prawda?). Nasza zaktualizowana tabela wyglądałaby tak:

W powyższym przykładzie mamy następujący scenariusz:

• Trzy problemy z użytecznością doświadczane przez trzech uczestników (p1, p2 i p3);
• Zadanie „utwórz post” pojawiające się dwukrotnie i z oceną krytyczną 5, a mniej krytyczne zadanie (logowanie społecznościowe) z oceną 3;
• Każdemu zagadnieniu przypisano wartość ze względu na jego wpływ : 5 (bloker), 3 (główny) i 2 (mniejszy wpływ na wykonanie zadania);
• Częstotliwość każdego wydania (np. problem nr 2 wystąpił dwukrotnie z trzema uczestnikami, czyli 2/3 = 0,67);
• Wreszcie dotkliwość wynikała z pomnożenia innych czynników (np. 3 x 5 x 0,33 = 4,95).

Na razie to wszystko. Znaleźliśmy nasze najważniejsze problemy z użytecznością w następującej kolejności: 3 , 2 i 1 . Na tym etapie mamy również dobrą perspektywę na krajobraz problemów związanych z użytecznością — całościowy obraz, który pomaga zespołowi sformułować problem wysokiego poziomu i zoptymalizować go w kolejnych krokach.

Krok 3: Generowanie rozwiązania

Zazwyczaj testy użyteczności nie są zakończone bez listy zaleceń (sugestii ogólnych) i rozwiązań (instrukcji szczegółowych). Czasami rozwiązanie jest dość oczywiste — na przykład poprawianie umiejscowienia komponentu interfejsu użytkownika. Sytuacja staje się trudniejsza w przypadku problemów z nieoczywistymi lub wieloma możliwymi rozwiązaniami. Które rozwiązanie jest lepsze? Który jest bardziej wykonalny? Jaki jest koszt/korzyść przeprowadzenia eksperymentu, aby się tego dowiedzieć? Tutaj tradycyjna metoda regularnych rekomendacji nie wystarczy.

Aby zmniejszyć ryzyko podjęcia złych decyzji projektowych, potrzebujemy: a) kilku alternatyw rozwiązań do wyboru, b) skutecznego procesu selekcji. Zamierzamy użyć tego samego podejścia rozbieżno-zbieżnego, które zastosowano do rozwiązywania kroków związanych z gromadzeniem danych i ustalaniem priorytetów problemów w poprzedniej fazie. Kroki to:

1. Dla każdego problemu wygeneruj wiele pomysłów na rozwiązania — jakie są możliwe sposoby rozwiązania problemu? Tutaj mamy świetną okazję do współpracy z resztą zespołu (developerami, projektantami, product managerami itp.).

2. Zreorganizuj rozwiązania, zachowując ich specyficzność — w razie potrzeby połącz lub podziel rozwiązania, aby uniknąć nadmiarowości i zbytniej abstrakcji. Ponownie, bądź konkretny, aby łatwiej było ocenić pomysły. Na przykład zamiast po prostu „Unikaj używania menu hamburgerów”, lepiej podać konkretne rozwiązanie, takie jak „Użyj nawigacji poziomej i menu w formie pionowego drzewa”.

3. Zaznacz dodatkowe problemy , które rozwiązanie może rozwiązać — w praktyce jedno dobre rozwiązanie może rozwiązać wiele problemów. Dobre rozwiązania są wszechstronne!

Postępując zgodnie z powyższymi krokami, wynikowa tabela wygląda tak:

W tym przykładzie mamy listę rozwiązań z burzy mózgów (wiersze) oraz problemów, których dotyczy każde rozwiązanie (kolumny, które reprezentują problemy znalezione w poprzednich krokach).

Następnie zobaczmy, jak ewoluować tę listę i dowiedzmy się, które rozwiązania są najlepszymi kandydatami do wdrożenia i w jakiej kolejności.

Krok 4: Priorytetyzacja rozwiązań

Podobnie jak w przypadku priorytetyzacji spraw, musimy uszeregować rozwiązania według pewnych parametrów. W zwinnych zespołach, w których temat ten jest traktowany bardzo poważnie, często wykorzystuje się wartość biznesową i złożoność , co pozwala nam obliczyć zwrot z inwestycji (ROI). Zapożyczając się z tej logiki, mamy następujące kroki:

1. Oblicz skuteczność każdego rozwiązania .
   Im poważniejszy problem jest rozwiązany, tym lepsze rozwiązanie. Można to z grubsza porównać do wartości biznesowej w metodach zwinnych. Dodaj wagę wszystkich problemów rozwiązanych przez rozwiązanie.

    Effectiveness = Sum of issue severities

2. Doskonal złożoność rozwiązania .
   1. Jakie zasoby są potrzebne do opracowania tego rozwiązania?
   2. Jak standardowe są zastosowane technologie?
   3. Jak jasne są wymagania biznesowe/użytkownika?

   Innymi słowy, im więcej wysiłku i niepewności, tym bardziej złożone rozwiązanie. Po prostu przetłumacz to na wymierną wartość, taką jak ciąg Fibonacciego (1, 2, 3, 5, 8, itd.). Jeśli robisz to jako zespół, planowanie pokera pasuje idealnie.

3. Oblicz ROI rozwiązania. Jest to relacja kosztów do korzyści, obliczona poprzez podzielenie efektywności rozwiązania przez jego złożoność . Im wyższy ROI, tym lepiej.

    ROI = Effectiveness / Complexity

Wróćmy do naszego arkusza kalkulacyjnego, który teraz wygląda tak:

W powyższym przykładzie mamy:

1. Lista rozwiązań (wiersze)
2. Problemy (od i1 do i3) z ich wagą (4,95, 6,7 i 10,05)
3. Wskaźnik 1 za każdym razem, gdy rozwiązanie pasuje (rozwiązuje) problem
4. Skuteczność każdego rozwiązania (4,95, 4,95 i 16,75)
5. Złożoność każdego rozwiązania (1, 3 i 5) oszacowana przez zespół
6. ROI każdego rozwiązania (4,95, 1,65, 3,35)

Zgodnie z tym przykładem powinniśmy priorytetyzować rozwój rozwiązań w następującej kolejności (od wyższego do niższego ROI): rozwiązanie 1, następnie rozwiązanie 3 i 2.

Podsumowując kroki: zaczęliśmy od zebrania danych, następnie uszeregowaliśmy problemy według określonych parametrów. Następnie wygenerowaliśmy pomysły na rozwiązania tych problemów i na koniec nadaliśmy im priorytety.

Korzystanie z arkusza kalkulacyjnego

Powyższa metoda obejmuje kilka (podstawowych) obliczeń powtarzanych wiele razy, dlatego najlepiej użyć arkusza kalkulacyjnego.

Jeśli chcesz postępować zgodnie z tą metodologią, oto szablon (Arkusz Google): https://goo.gl/RR4hEd. Można go pobrać i dowolnie dostosować do swoich potrzeb.

Nienawidzę arkuszy kalkulacyjnych! A co z czymś bardziej wizualnym?

Prawie wszyscy, których znam (w tym ja – oczywiście) uwielbiają pracować z karteczkami samoprzylepnymi i tablicami, nie tylko dlatego, że jest to zwykle szybsze i przyjemniejsze, ale także dlatego, że ułatwia współpracę. Jeśli jesteś praktykiem Agile lub Design Thinking, wiesz, co mam na myśli. Jak możemy zastosować narzędzia wizualne, takie jak karteczki samoprzylepne, do pracy z podejściem przedstawionym w tym artykule? Cóż, to prawdopodobnie zasługuje na cały wpis na blogu, ale spróbujmy zarysować powierzchnię.

Jednym ze sposobów na to jest stworzenie macierzy problemów (wpływ x częstotliwość) i umieszczenie jej obok drugiej dla rozwiązań (skuteczność x złożoność). Każda macierz jest podzielona na cztery ćwiartki, wskazujące na priorytety.

Oto kroki:

1. Utwórz macierz problemów, umieszczając karteczki w odpowiednim kwadrancie, zgodnie z uderzeniem i częstotliwością . Aby uprościć to podejście, musieliśmy pominąć jeden parametr. W tym przypadku krytyczność zadania .

2. Utwórz macierz rozwiązań, organizując karteczki według efektywności i złożoności każdego rozwiązania:

   1. Przeprowadź burzę mózgów dla każdego problemu, zaczynając od problemów w kwadrancie 1 macierzy problemów (tych o wyższym poziomie ważności).

   2. Umieść te rozwiązania w macierzy rozwiązań, zaczynając od ćwiartki 1 (u góry po lewej). Im poważniejszy problem, tym skuteczniejsze jego rozwiązanie.

   3. Dostosuj złożoność każdego rozwiązania, przesuwając je na osi poziomej (im bardziej złożone, tym dalej w prawo).

   4. Powtórz powyższe kroki dla pozostałych problemów (kwadranty 2, 3 i 4, w tej kolejności).

Pod koniec ćwiczenia rozwiązania w kwadrancie 1 to te, które mają najlepszy zwrot z inwestycji (bardziej efektywny i mniej złożony), co oznacza najwyższy priorytet. Wynik pokazano na poniższym obrazku:

Uwzględniając fakt, że pominęliśmy jeden parametr (ważność zadania), wadą jest to, że musisz polegać na dokładności wizualnej zamiast na obliczeniach, jak w arkuszu kalkulacyjnym. Pozytywne jest to, że mamy metodę, która wspiera współpracę — co czasami ma kluczowe znaczenie dla uzyskania poparcia od zespołu.

Wspieranie współpracy poprzez „szybką i brudną” analizę wizualną przy prawdopodobnym koszcie dokładności jest potencjalnym kompromisem. Jakie jest lepsze podejście? Krótka odpowiedź: ta, która najlepiej pasuje do Twojej sytuacji i najlepiej odpowiada Twoim celom.

Ostateczne wnioski dotyczące analizy danych z testów użyteczności

Korzystanie z tych metodologii przyniosło następujące spostrzeżenia zespołów, które wykorzystywały je w różnych projektach:

1. Zwłaszcza w przypadku większych badań priorytetyzacja problemów sprawia, że ​​zespół koncentruje się na tym, co naprawdę ma znaczenie, oszczędzając czas i zasoby, zmniejszając niepożądane wyzwania poznawcze, takie jak przeciążenie informacjami, paraliż analizy i zmęczenie decyzjami;

2. Połączony, kompleksowy przepływ pracy sprawia, że ​​rozwiązania są bardziej zgodne z wynikami testów użyteczności (ponieważ problemy i rozwiązania są sparowane), zmniejszając ryzyko wdrożenia mniej niż optymalnych rozwiązań;

3. Możemy z łatwością zastosować tę metodę wspólnie (w części lub w całości) za pomocą narzędzi online.

Ważne jest, aby zrozumieć ograniczenia tego podejścia. Na przykład w fazie ustalania priorytetów nie uwzględnia się pozytywnych postaw i zachowań użytkowników zaobserwowanych podczas testów. Nacisk kładziony jest na kwestie użyteczności. Jedną z sugestii jest oddzielne rejestrowanie tego rodzaju danych i wykorzystywanie ich po drodze do uzupełniania i równoważenia wyników w razie potrzeby.

Wreszcie, poza testowaniem użyteczności, podejście to można rozszerzyć również na inne techniki badawcze UX. Stosując podejście „podwójny diament” (rozbieżne/zbieżne problemy i rozwiązania), możemy mieszać różne dane z badań użytkowników i stosować powyższe metody w dowolnym innym projekcie. Twoja wyobraźnia jest granicą!

• • •

Dalsza lektura na blogu Toptal Design:

• eCommerce UX – przegląd najlepszych praktyk (z infografiką)
• Znaczenie projektowania zorientowanego na człowieka w projektowaniu produktu
• Najlepsze portfolio projektantów UX – inspirujące studia przypadków i przykłady
• Zasady heurystyczne dla interfejsów mobilnych
• Projekt przewidujący: jak tworzyć magiczne doświadczenia użytkownika