누가, 무엇을, 왜 - 사용자 테스트 방법 가이드

사용자 테스트의 기본 목적은 디지털 제품의 핵심 사용자를 더 잘 이해하고 공감하는 것입니다. 불행히도 사용자 테스트는 종종 사후 고려 사항입니다.

카드 분류부터 사용성 연구에 이르기까지 UX 디자인에 활용되는 사용자 테스트 방법은 사용자를 의사 결정 과정에 포함시키기 위해 개발됩니다. 그러나 많은 프로젝트가 프로토타입에 대한 이해 관계자의 피드백만으로 완료됩니다. 사용자 경험 테스트의 부족은 두 가지 이유에서 발생합니다. 사용자 테스트의 부정적인 ROI 인식과 범위 크리프의 우려.

사용자 테스트 방법에 대한 인식 ROI

디자이너의 관점에서 사용성 연구의 구현은 강화할 필요가 없습니다. 프로토타입을 사용하여 작업을 수행하는 데 어려움을 겪는 사람들을 본 적이 있는 UX 디자이너는 사용자 테스트의 가치를 이해합니다. 불행히도 대부분의 경영진, 엔지니어 및 프로젝트 관리자는 사용성 테스트를 목격할 수 있는 특권이 없었으므로 다른 방식으로 사용자 테스트의 중요성을 확신해야 할 것입니다.

ROI 증가를 입증하는 데이터

사용성은 고객 충성도 및 구매 행동과 직접적인 관련이 있습니다. NN/g의 Jakob Nielsen이 수행한 연구에 따르면 재설계 예산의 약 10%를 사용자 테스트 방법에 할당하면 평균 제품 사용성이 135% 증가합니다.

기업 사례 연구

사용자가 원하는 정보를 스스로 쉽게 찾을 수 있을 때 좌절감이 줄어들고 경험이 향상됩니다.

수백만 명의 사용자가 매년 Mozilla Firefox의 지원 사이트를 방문합니다. 많은 방문이 지원 포럼에서 질문으로 이어집니다. 검색 가능성에 최적화된 디자인을 통해 Mozilla는 반복적인 디자인 테스트 9주 만에 지원 질문을 70% 줄 였습니다.

소매 사례 연구

국제 페인트 회사인 Dulux는 온라인 페인트 판매의 주요 문제가 "페인트가 마르면 내 벽이 어떻게 보이나요?"라는 질문과 관련이 있다는 것을 알고 있었습니다. 이 문제를 해결하기 위해 그들은 Dulux Visualizer 라는 증강 현실 앱을 개념화하여 소비자가 "그림을 그리기 전에 상상할 수 있도록" 돕고 Webcredible을 고용하여 응용 프로그램을 구축했습니다.

사용자 연구, 사용자 여정 매핑 및 사용성 테스트를 통해 Webcredible 팀은 테스터 페인트 판매를 65%, 재고 검색을 92% 증가 시키는 앱을 만들었습니다.

스코프 크리프 회피

사용자 테스트가 간과되는 두 번째 이유는 경영진이 아니라 프로젝트 관리자에 관한 것입니다. 거의 모든 디자이너는 프로젝트 관리자가 촉박한 기한으로 인해 사용자 테스트를 할 시간이 없다고 말하는 것을 들었습니다.

프로젝트 관리자는 프로젝트에서 중요한 세 가지 구성요소인 시간, 비용 및 범위만 이해합니다. 하나를 당기면 다른 하나가 이동합니다. 예를 들어 프로젝트에 더 많은 기능이 추가되면 타임라인이 확장되거나 더 많은 리소스가 추가됩니다. 이것이 타임라인이 정해지면 PM이 꿈쩍도 하지 않는 이유입니다. 이를 이해하면 디자이너는 사용 가능한 다양한 방법, 범위 및 예산에 대한 일부 UX 교육을 통해 이러한 경향에 대처할 수 있습니다. UX 디자이너가 디지털 제품의 유용성을 평가하기 위해 사용할 수 있는 다양한 사용자 테스트 방법을 살펴보겠습니다.

다양한 유형의 사용자 테스트 방법

행동 및 태도에서부터 정성 및 정량에 이르기까지 다양한 유형의 사용자 테스트가 있으며 각각 최적의 결과를 위해 정해진 수의 참가자가 있습니다.

태도 및 행동 테스트는 "사람들이 말하는 것" 대 "사람들이 하는 것"으로 요약됩니다. 두 가지가 매우 다른 경우가 많습니다.

정성 및 정량 테스트는 "직접 관찰" 대 "간접 측정"으로 설명됩니다. 정량적 테스트 데이터는 항상 특정 양, 양 또는 범위를 표현하는 반면 정성적 테스트 데이터는 품질에 대한 정보를 포함합니다.

이러한 각 용어는 형성 또는 요약에 해당합니다. 일리노이 대학의 교육 명예 교수인 Robert E. Stake의 이 인용문은 그것을 멋지게 요약합니다. 손님이 수프를 맛보면 그게 끝입니다.”

정성적 행동 사용자 테스트

이 유형의 사용자 테스트는 일상적인 작업 환경에서 또는 최근에 설계된 프로토타입 내에서 작업을 완료하는 등 다양한 상황에서 소수의 참가자가 수행하는 작업을 관찰합니다. 이러한 테스트에는 최소한의 참가자가 필요하므로 프로젝트 관리자가 포함하도록 설득하는 것이 가장 쉬울 수 있습니다.

사용성 테스트의 최적 참가자 수는 몇 명입니까?

사용성 문제 찾기의 수학적 모델 이라는 책에 따르면 5명의 사용성 테스트 참가자는 테스트된 UI 내에서 문제의 85%를 발견할 것입니다. 최상의 결과를 얻으려면 총 15명의 참가자에 대해 3번의 설계 반복으로 이 작업을 수행해야 합니다.

사용성 연구는 종종 초기 디자인이 생성된 후 프로젝트 중간에 수행됩니다. 사용성 문제를 찾기 위해 제품이 출시될 때까지 기다리지 않고 수집된 데이터를 사용하여 디자인 사양을 변경하는 것이 더 간단할 때 제품을 개선할 수 있습니다.

설계 반복당 5명의 제안된 사용자 수에 착륙하기 위해 NN/g는 2명에서 28명 범위의 연구를 통해 다양한 클라이언트에 대해 83개의 사용성 테스트를 수행했습니다. 결과는 5명의 참가자 이후 몇 가지 새로운 발견으로 반복되는 발견이 크게 증가한 것으로 나타났습니다. 가장 중요한 결론은 모든 사용성 테스트에서 적어도 약간 의 통찰력이 나왔다는 것입니다.

사용자 경험 테스트 시 12명의 사용자가 33개의 문제를 발견했습니다.

새로운 암 생존자 앱 개발자는 제품 출시일 3주 전에 사용성 테스트를 수행하기 위해 Marketade에 연락했습니다. Marketade는 2주 동안 8명의 암 생존자와 4명의 간병인 등 12명의 사용자를 대상으로 반복적인 사용성 테스트를 수행했습니다. 그들의 사용성 테스트에서 33개의 사용성 문제가 발견되었으며 그 중 9개는 큰 영향을 미쳤습니다.

이 모든 사례 연구의 공통점은 소규모 테스트 그룹이 제품의 최종 사용성에 큰 영향을 미칠 수 있다는 것입니다. 제품 관리자, 프로젝트 관리자 및 기타 이해 관계자는 의미 있는 결과를 수집하는 데 수백 명의 참가자(및 몇 주)가 걸리지 않는다는 것이 입증되면 사용자 테스트를 위해 더 쉽게 참여할 수 있습니다.

정성적 태도 사용자 테스트

이 테스트를 위해 UX 연구원은 제품, 아키텍처 또는 디자인에 대해 어떻게 느끼는지 이해하기 위해 소규모 참가자 그룹을 조사합니다. 정성적 태도 테스트는 정성적 행동 연구보다 참가자가 몇 명 더 필요하지만 그 이상은 아닙니다.

카드 정렬

필요한 카드 정렬 참가자의 최소 수를 이해하기 위해 연구를 수행했으며 15명의 사용자가 카드 정렬 연습을 통해 가벼운 아키텍처를 빠르게 개선할 수 있는 반면 인트라넷 및 포털과 같은 더 큰 아키텍처의 경우 30명의 참가자가 권장되는 것으로 나타났습니다. 카드 정렬은 종종 정보 아키텍처를 감사한 후 프로젝트 중간에 수행됩니다.

포커스 그룹

최근 연구에 따르면 8~10명의 참가자가 있는 3~6개의 포커스 그룹이 데이터 세트 내에서 주제의 90%를 식별할 수 있습니다. 이러한 포커스 그룹은 일반적으로 프로젝트의 전략 단계에서 수행됩니다. 참여 설계 연습에서 공개 토론에 이르기까지 포커스 그룹 참가자와 함께 수행할 연습이 많이 있습니다.

정성적 태도의 예

사용자 경험 회사 Etre는 Eurostar 정보 아키텍처를 개선하기 위해 엄청난 노력을 기울였습니다. 그들의 웹 사이트에는 11,000개의 웹 페이지와 PDF가 포함되어 있었고 그 중 80페이지는 아키텍처의 기본이었습니다. Etre는 대규모 카드 정렬 연습을 위해 각 핵심 페이지를 카드로 전환했습니다. 그들은 사용자 그룹당 20명의 참가자가 필요하다는 것을 이해했지만, 9개의 사용자 그룹이 있는 그들의 운동에는 180명의 참가자가 포함되었으며, 각 참가자는 80개의 카드를 정렬하여 카탈로그에 넣을 14,400개의 항목을 생성했습니다!

다행히 Etre는 데이터를 소화 가능한 통찰력으로 자동 정렬하는 온라인 카드 정렬 리소스를 활용했습니다. 카드 분류 작업은 더 큰 웹 디자인 노력의 한 구성 요소에 불과했지만 Eurostar는 전년도에 비해 24% 또는 £26백만의 매출 증가와 웹사이트 트래픽의 2.2% 증가를 목격했습니다.

정량적 행동 사용자 테스트

이 연구 유형의 경우 최소 20명의 참가자가 필요하며 종종 그 이상입니다. 정량적 연구를 통해 UX 연구자는 수집된 데이터 내에서 패턴을 찾고 있으므로 참여자가 많을수록 데이터가 더 정확해집니다.

히트맵

NN/g는 39명의 사용자가 시선 추적 운동에 필요한 히트맵 세부 정보를 제공해야 한다는 것을 발견했습니다. 테스트한 각 페이지에 대해 최소 30세트의 우수한 시선 추적 데이터가 필요하며, 해당 데이터 집합을 달성하려면 평균 39명의 실제 사용자가 필요합니다(시선 추적 기술이 완벽하지 않기 때문에). 히트맵에 대한 시선 추적은 일반적으로 새로운 디자인이 실행된 후에 수행됩니다.

정량적 연구

양적 연구에는 최소 20명의 참가자가 권장됩니다. 사용성 테스트와 마찬가지로 이러한 연구는 사용자가 일련의 작업을 완료하여 어떻게 행동하는지 이해하기 위해 수행됩니다. 차이점은 데이터가 수집되는 방식으로, 일대일 연습이 아닌 원격으로 보기를 통해 수행됩니다. 제품이나 대화형 프로토타입이 온라인으로 호스팅된 후 마지막 단계에 수행되는 경우가 많습니다.

이러한 유형의 연구에는 더 많은 사용자가 필요하기 때문에 수행하는 데 더 많은 시간과 비용이 소요될 수 있습니다. 이러한 이유로 많은 질적 사용자 테스트 방법보다 덜 일반적으로 사용됩니다.

사용자 유지 증가

Evernote는 정량적 조사 사이트인 UserTesting을 통해 여러 장치에서 사용자 유지율을 15% 늘렸습니다. UserTesting.com에서 제품을 호스팅하고 다양한 청중을 활용함으로써 Evernote는 사용자가 어디에서 문제를 겪었는지 이해할 수 있었습니다. 이러한 유형의 사용자 테스트 도구를 사용하는 것은 다양한 사용자 피드백이 도움이 되는 광범위한 청중을 보유한 제품에 특히 유용합니다. 매우 구체적이고 정의된 사용자 집합이 있는 제품에는 다른 솔루션이 더 잘 작동할 수 있습니다.

정량적 사용자 태도 테스트

참가자가 가장 많이 사용하는 테스트는 양적 태도 연습입니다. 목표는 많은 사람들이 제품에 대해 어떻게 생각하는지 이해하는 것이며, 답을 쉽게 소비할 수 있도록 의미 있는 차트와 그래프로 정리하는 것입니다.

설문조사

설문 참여자는 제품 모집단 규모에 따라 다릅니다. 최적의 결과에는 5%의 오차 한계(또는 그 이하)와 최소 95%의 신뢰 수준이 포함됩니다. 샘플 크기 계산기를 사용하여 필요한 참가자 수를 결정할 수 있습니다.

예를 들어, 인구 규모가 100인 소규모 사이트에는 80명의 조사 참가자만 필요하지만 인구 규모가 100,000인 인기 사이트에는 383명의 조사 참가자가 필요합니다. 설문 조사는 프로젝트의 시작과 끝에서 모두 수행됩니다.

정량적 태도의 예

Walmart.ca는 많은 통계 웹사이트 데이터를 수집했지만 고객 통찰력 없이 데이터는 절반만 설명했습니다. Walmart는 거래 데이터와 함께 웹 사이트 설문 조사를 통해 인적 데이터를 포함함으로써 전체 그림을 보고 사이트 레이아웃을 개선할 수 있었고 결과적으로 수익이 13% 증가했습니다.

요약

의사 결정자에게 하드 데이터를 표시하면 사용자 테스트에 리소스를 할애하도록 설득할 수 있습니다. 사용자는 제품의 중추이자 사용자 경험 디자인의 진정한 목적입니다. 모든 UX 디자이너의 최우선 순위가 되어야 하는 것이 무엇이고 무엇이 작동하지 않는지 증명하기 위해 정성적 및 정량적 데이터를 수집하기 위해 이 기사에 설명된 사용자 테스트 방법 중 일부를 구현합니다.

당신의 생각을 알려주세요! 아래에 귀하의 생각, 의견 및 피드백을 남겨주세요.

Toptal 디자인 블로그에 대한 추가 정보:

• UX의 진정한 ROI: Executive Suite에 대한 확신
• 6단계로 사용성 테스트를 수행하는 방법
• 미친 짓 없이 사용성 테스트 데이터를 행동으로 옮기기
• 효과적인 UX 연구를 수행하는 방법 – 가이드
• 최고의 디자이너가 사용하는 10가지 UX 결과물