Mengubah Data Pengujian Kegunaan menjadi Tindakan tanpa Menjadi Gila

Mengumpulkan, menyortir, dan memahami data yang dikumpulkan selama penelitian pengguna dan pengujian kegunaan menjadi tugas yang semakin umum di kalangan praktisi UX—bahkan, ini menjadi keterampilan UX yang penting.

Uji kegunaan akan memberi tahu Anda apakah pengguna target Anda dapat menggunakan produk Anda. Ini membantu mengidentifikasi masalah yang dimiliki orang dengan UI tertentu, dan mengungkapkan tugas yang sulit diselesaikan dan bahasa yang membingungkan. Biasanya, tes kegunaan melibatkan persiapan dan analisis yang ekstensif, dan dianggap sebagai salah satu teknik penelitian yang paling berharga. Ini mampu memberikan data kuantitatif dan kualitatif yang akan membantu memandu tim produk menuju solusi yang lebih baik.

Namun, ini bukan jalan-jalan di taman. Dalam upaya untuk menemukan masalah kegunaan, peneliti dan desainer UX sering kali harus mengatasi banjir data yang tidak lengkap, tidak akurat, dan membingungkan. Tes kegunaan reguler dengan lima hingga sepuluh peserta dapat dengan mudah menghasilkan lebih dari enam puluh masalah. Itu bisa terasa seperti "minum dari selang pemadam" sambil menunggu kelumpuhan analisis yang ditakuti untuk mengangkat kepalanya yang jelek.

Risiko yang cukup besar ketika mencoba untuk memecahkan masalah kegunaan akan ke jalur yang salah mencoba untuk datang dengan solusi yang tidak benar-benar mengatasi masalah yang dihadapi. Risikonya adalah mungkin ada keterputusan antara masalah yang ditemukan dan solusi yang diidentifikasi. Ini dapat disebabkan oleh sejumlah faktor yang berbeda, termasuk kelelahan keputusan dan berbagai jenis bias kognitif.

Cara Mengubah Data Pengujian Kegunaan menjadi Solusi yang Dapat Dilakukan

Untuk menguasai kendala yang disebutkan di atas, kami membutuhkan cara yang efisien untuk menangani data pengujian kami sambil memastikan kami memilih solusi yang paling efektif untuk masalah yang ditemukan.

Mari kita mulai dengan meminjam beberapa ide dari proses kreatif. Salah satu yang paling kuat adalah berlian ganda dari The British Design Council, yang pada gilirannya menggunakan pemikiran divergen-konvergen. Ini adalah proses desain dengan fase masalah dan solusi yang jelas dan terintegrasi.

Berlian ganda adalah persis apa yang kita butuhkan untuk membangun kerangka kerja yang akan menangani masalah kegunaan dan menemukan cara untuk menyelesaikannya.

Mengadaptasi model di atas ke hasil pengujian kegunaan adalah proses empat langkah:

1. Pengumpulan data
2. Prioritas masalah
3. Pembuatan solusi
4. Prioritas solusi

Mari kita lihat setiap langkah secara detail, termasuk bagaimana mempraktikkannya.

Catatan: Kita perlu menggunakan beberapa matematika dasar. Jangan khawatir, ini tidak terlalu banyak, dan di akhir artikel ini, Anda akan menemukan spreadsheet yang mengotomatiskan seluruh proses. Jika masih tidak berhasil untuk Anda, ada juga pendekatan visual di mana Anda dapat menggunakan Post-its dan papan tulis.

Langkah 1: Pengumpulan Data Penelitian Kegunaan

Dimulai dengan pertanyaan penelitian Anda, langkah pertama adalah mengumpulkan data yang dihasilkan oleh uji kegunaan. Itu perlu diatur untuk menghasilkan ide dan wawasan yang mudah di kemudian hari dalam prosesnya—kuncinya adalah untuk secara jelas menyusun dan mengatur data untuk menghindari kekacauan. Dalam kebanyakan kasus, cukup untuk:

• Memiliki sistem identifikasi masalah (ID)
• Catat di mana itu terjadi (layar, modul, widget UI, alur, dll.)
• Ketahui tugas yang dilakukan pengguna
• Berikan deskripsi singkat tentang masalah ini

Pendekatan umum untuk mengatur masalah kegunaan, yang digunakan oleh Lewis dan Sauro dalam buku Quantifying the User Experience , adalah dengan memplot data seperti yang ditunjukkan pada tabel di bawah, dengan masalah di baris dan peserta di beberapa kolom terakhir.

Dalam contoh di atas, tes kegunaan fiktif yang dibuat dengan tiga peserta menghasilkan dua masalah:

• Yang pertama dialami oleh peserta satu (P1)
• Yang kedua oleh peserta lainnya (P2 dan P3)

Langkah 2: Prioritas masalah

Karena sumber daya terbatas, maka perlu memprioritaskan masalah kegunaan dengan cara yang akan mengoptimalkan analisis. Biasanya, setiap masalah kegunaan memiliki tingkat keparahan , dipengaruhi oleh beberapa faktor seperti:

• Kekritisan tugas : Dinilai dalam hal dampak pada bisnis atau pengguna jika tugas tidak diselesaikan.
• Frekuensi masalah: Berapa kali masalah terjadi dengan berbagai peserta.
• Dampak masalah: Seberapa besar pengaruhnya terhadap pengguna yang mencoba menyelesaikan tugas.

Untuk memprioritaskan, kita perlu mengikuti langkah-langkah berikut:

1. Tetapkan skor kekritisan dari setiap tugas yang dilakukan dalam tes. Sederhananya, tentukan seberapa penting tugas untuk bisnis atau pengguna dengan menetapkan nilai numerik untuk itu. Nilai dapat berasal dari barisan linier sederhana (misalnya, 1, 2, 3, 4, dll.) atau sesuatu yang lebih rumit seperti barisan Fibonacci (1, 2, 3, 5, 8, dll.), persis seperti yang digunakan dalam metode tangkas seperti perencanaan poker.

2. Tetapkan skor dampak untuk setiap masalah dengan menetapkan nilai (sama seperti di atas) untuk item dalam skala ini:
   • 5: (pemblokir) masalah mencegah pengguna menyelesaikan tugas
   • 3: (mayor) menyebabkan frustrasi dan/atau penundaan
   • 2: (minor) memiliki efek kecil pada kinerja tugas
   • 1: (saran) itu saran dari peserta

3. Temukan frekuensi masalah (%) masalah dengan membagi jumlah kemunculan dengan total peserta. Ini adalah perhitungan persentase dasar.

4. Terakhir, hitung tingkat keparahan setiap masalah dengan mengalikan ketiga variabel di atas.

Mari kita lihat cara kerjanya di spreadsheet (tentu saja kita ingin mengotomatiskan ini, bukan?). Tabel kami yang diperbarui akan terlihat seperti ini:

Dalam contoh di atas, kami memiliki skenario berikut:

• Tiga masalah kegunaan yang dialami oleh tiga peserta (p1, p2 dan p3);
• Tugas 'buat postingan' muncul dua kali dan diberi nilai kritis 5, dan tugas yang kurang penting (login sosial) diberi nilai 3;
• Setiap masalah diberi nilai berdasarkan dampaknya : 5 (pemblokir), 3 (utama) dan 2 (dampak kecil pada kinerja tugas);
• Frekuensi setiap terbitan (misalnya, terbitan no. 2 terjadi dua kali dengan tiga peserta, jadi 2/3 = 0,67);
• Akhirnya, tingkat keparahan dihasilkan dari perkalian faktor-faktor lain (misalnya, 3 x 5 x 0,33 = 4,95).

Itu saja untuk saat ini. Kami menemukan masalah kegunaan terpenting kami dalam urutan ini: 3 , 2 dan 1 . Pada tahap ini, kami juga memiliki perspektif yang baik tentang lanskap masalah kegunaan — gambaran besar yang membantu tim membingkai masalah tingkat tinggi dan mengoptimalkan selama langkah-langkah berikut.

Langkah 3: Pembuatan Solusi

Biasanya, tes kegunaan tidak lengkap pada kesimpulan tanpa daftar rekomendasi (saran umum) dan solusi (instruksi khusus). Terkadang solusinya cukup jelas—seperti mengoreksi penempatan komponen UI. Situasi menjadi lebih sulit untuk masalah-masalah dengan solusi yang tidak jelas atau banyak kemungkinan. Solusi mana yang lebih baik? Mana yang lebih layak? Berapa biaya/manfaat menjalankan eksperimen untuk mengetahuinya? Di sini, metode tradisional dari rekomendasi reguler tidak akan cukup.

Untuk mengurangi risiko pengambilan keputusan desain yang buruk, kita memerlukan: a) beberapa alternatif solusi untuk dipilih, dan b) proses pemilihan yang efektif. Kami akan menggunakan pendekatan divergen-konvergen yang sama yang digunakan untuk menangani pengumpulan data dan langkah-langkah prioritas masalah di fase sebelumnya. Langkah-langkahnya adalah:

1. Untuk setiap masalah, hasilkan beberapa ide solusi —Apa cara yang mungkin untuk mengatasi masalah tersebut? Di sini, kami memiliki peluang besar untuk berkolaborasi dengan seluruh tim (pengembang, desainer, manajer produk, dll.).

   

2. Atur ulang solusi, pertahankan agar tetap spesifik—sesuai kebutuhan, gabungkan atau pisahkan solusi untuk menghindari redundansi dan terlalu banyak abstraksi. Sekali lagi, spesifiklah, sehingga lebih mudah untuk mengevaluasi ide. Misalnya, daripada hanya "Hindari menggunakan menu hamburger", lebih baik menyatakan solusi spesifik, seperti "Gunakan navigasi horizontal dan menu pohon vertikal".

3. Tandai masalah tambahan yang mungkin ditangani oleh solusi—dalam praktiknya, satu solusi yang baik dapat mengatasi banyak masalah. Solusi yang baik bersifat serbaguna!

Mengikuti langkah-langkah di atas, tabel yang dihasilkan terlihat seperti ini:

Dalam contoh ini, kami memiliki daftar solusi brainstorming (baris), dan masalah yang ditangani setiap solusi (kolom, yang mewakili masalah yang ditemukan di langkah sebelumnya).

Selanjutnya, mari kita lihat bagaimana mengembangkan daftar ini dan mencari tahu solusi mana yang merupakan kandidat terbaik untuk implementasi, dan dalam urutan apa.

Langkah 4: Prioritas Solusi

Demikian pula untuk masalah prioritas, kita perlu memprioritaskan solusi menurut beberapa parameter. Dalam tim tangkas, di mana subjek ini diperlakukan dengan sangat serius, biasanya menggunakan nilai dan kompleksitas bisnis , yang memungkinkan kita menghitung laba atas investasi (ROI). Meminjam dari logika ini, kami memiliki langkah-langkah berikut:

1. Hitung efektivitas setiap solusi .
   Semakin parah masalah yang ditangani, semakin baik solusinya. Ini secara kasar dapat dibandingkan dengan nilai bisnis dalam metode tangkas. Tambahkan tingkat keparahan semua masalah yang ditangani oleh solusi.

    Effectiveness = Sum of issue severities

2. Asah kompleksitas solusi .
   1. Apa sumber daya yang dibutuhkan untuk mengembangkan solusi ini?
   2. Seberapa standar teknologi yang terlibat?
   3. Seberapa jelas persyaratan bisnis/pengguna?

   Dengan kata lain, semakin banyak usaha dan ketidakpastian, semakin kompleks solusinya. Cukup terjemahkan ini ke dalam nilai yang dapat diukur, seperti deret Fibonacci (1, 2, 3, 5, 8, dll). Jika Anda melakukan ini sebagai sebuah tim, perencanaan poker sangat cocok.

3. Hitung ROI dari solusi tersebut. Ini adalah hubungan biaya-manfaat, dihitung dengan membagi efektivitas solusi dengan kompleksitasnya . Semakin tinggi ROI, semakin baik.

    ROI = Effectiveness / Complexity

Mari kembali ke spreadsheet kita, yang sekarang terlihat seperti ini:

Dalam contoh di atas, kita memiliki:

1. Daftar solusi (baris)
2. Masalah (i1 hingga i3) dengan tingkat keparahannya (4,95, 6,7 dan 10,05)
3. Indikator 1 setiap kali solusi cocok (mengatasi) masalah
4. Efektivitas masing-masing solusi (4,95, 4,95 dan 16,75)
5. Kompleksitas setiap solusi (1, 3 dan 5) diperkirakan oleh tim
6. ROI setiap solusi (4,95, 1,65, 3,35)

Menurut contoh ini, kita harus memprioritaskan pengembangan solusi dalam urutan berikut (dari ROI yang lebih tinggi ke yang lebih rendah): solusi 1, kemudian solusi 3 dan 2.

Untuk meringkas langkah-langkahnya: kami mulai dengan mengumpulkan data, kemudian kami memprioritaskan masalah menurut parameter tertentu. Setelah itu, kami menghasilkan ide-ide solusi untuk masalah-masalah itu dan, akhirnya, memprioritaskannya.

Menggunakan Spreadsheet

Metode di atas melibatkan beberapa perhitungan (dasar) yang diulang berkali-kali, jadi sebaiknya gunakan spreadsheet.

Jika Anda ingin mengikuti metodologi ini, inilah template (Google Sheet): https://goo.gl/RR4hEd. Ini dapat diunduh, dan Anda dapat dengan bebas menyesuaikannya dengan kebutuhan Anda.

Saya Benci Spreadsheet! Bagaimana Dengan Sesuatu yang Lebih Visual?

Hampir semua orang yang saya kenal (termasuk saya—tentu saja) suka bekerja dengan catatan tempel dan papan tulis, bukan hanya karena biasanya lebih cepat dan menyenangkan, tetapi juga karena memfasilitasi kolaborasi. Jika Anda seorang praktisi pemikiran yang gesit atau desain, Anda tahu apa yang saya maksud. Bagaimana kita bisa menerapkan alat visual seperti catatan tempel untuk bekerja dengan pendekatan yang ditunjukkan dalam artikel ini? Yah, itu mungkin layak untuk seluruh posting blog, tapi mari kita coba untuk menggores permukaannya.

Salah satu cara untuk melakukannya adalah dengan membuat matriks untuk masalah (dampak x frekuensi) dan menempatkannya di sebelah yang lain untuk solusi (efektivitas x kompleksitas). Setiap matriks dibagi dalam empat kuadran, yang menunjukkan prioritas.

Berikut langkah-langkahnya:

1. Buat matriks masalah dengan menempatkan catatan tempel di kuadran yang tepat sesuai dengan dampak dan frekuensi . Untuk menyederhanakan pendekatan ini, kami harus mengabaikan satu parameter. Dalam hal ini, kekritisan tugas .

2. Buat matriks solusi dengan mengatur catatan tempel sesuai dengan efektivitas dan kompleksitas masing-masing solusi :

   1. Brainstorm solusi untuk setiap masalah, dimulai dengan masalah di kuadran 1 dari matriks masalah (yang memiliki tingkat keparahan yang lebih tinggi).

   2. Tempatkan solusi ini dalam matriks solusi, mulai dari kuadran 1 (kiri atas). Semakin parah masalahnya, semakin efektif solusinya.

   3. Sesuaikan kompleksitas setiap solusi dengan memindahkannya pada sumbu horizontal (semakin kompleks, semakin jauh ke kanan).

   4. Ulangi langkah di atas untuk soal yang tersisa (kuadran 2, 3 dan 4, dalam urutan ini).

Di akhir latihan, solusi di kuadran 1 adalah solusi dengan ROI terbaik (lebih efektif dan kurang kompleks) yang menandakan prioritas utama. Hasilnya ditunjukkan pada gambar di bawah ini:

Termasuk fakta bahwa kami meninggalkan satu parameter (kekritisan tugas), kelemahannya di sini adalah Anda harus mengandalkan akurasi visual daripada perhitungan seperti pada spreadsheet. Sisi positifnya, kami memiliki metode yang mendorong kolaborasi—yang terkadang penting untuk mendapatkan dukungan dari tim.

Membina kolaborasi melalui analisis visual "cepat dan kotor" dengan kemungkinan biaya akurasi adalah potensi pertukaran. Manakah pendekatan yang lebih baik? Jawaban singkatnya: jawaban yang paling sesuai dengan situasi Anda dan paling selaras dengan tujuan Anda.

Hasil Akhir untuk Analisis Data Pengujian Kegunaan

Menggunakan metodologi ini memunculkan pengamatan berikut dari tim yang menggunakannya dalam berbagai proyek:

1. Terutama ketika berhadapan dengan studi yang lebih besar, prioritas masalah membuat tim tetap fokus pada apa yang benar-benar penting, menghemat waktu dan sumber daya dengan mengurangi tantangan kognitif yang tidak diinginkan seperti informasi yang berlebihan, kelumpuhan analisis, dan kelelahan keputusan;

2. Alur kerja ujung-ke-ujung yang terhubung membuat solusi lebih selaras dengan hasil uji kegunaan (karena masalah dan solusi dipasangkan), mengurangi risiko penerapan solusi yang kurang optimal;

3. Kita dapat dengan mudah menerapkan metode ini secara kolaboratif (sebagian atau secara keseluruhan) menggunakan alat online.

Sangat penting untuk memahami keterbatasan pendekatan ini. Misalnya, selama fase penentuan prioritas, sikap dan perilaku positif dari pengguna yang diamati dalam pengujian tidak disertakan. Fokusnya adalah pada masalah kegunaan. Satu saran adalah untuk mencatat jenis data ini secara terpisah, dan menggunakannya sepanjang jalan untuk melengkapi dan menyeimbangkan temuan sesuai kebutuhan.

Akhirnya, selain dari pengujian kegunaan, pendekatan ini juga dapat diperluas ke teknik penelitian UX lainnya. Menerapkan pendekatan 'berlian ganda' (masalah dan solusi divergen/konvergen), kami dapat menggabungkan berbagai data penelitian pengguna dan menggunakan metode di atas dalam proyek lain. Imajinasi Anda adalah batasnya!

• • •

Bacaan lebih lanjut di Blog Desain Toptal:

• eCommerce UX – Tinjauan Praktik Terbaik (dengan Infografis)
• Pentingnya Desain yang Berpusat pada Manusia dalam Desain Produk
• Portofolio Desainer UX Terbaik – Studi Kasus dan Contoh yang Menginspirasi
• Prinsip Heuristik untuk Antarmuka Seluler
• Desain Antisipatif: Cara Membuat Pengalaman Pengguna yang Ajaib