미친 짓 없이 사용성 테스트 데이터를 행동으로 옮기기

게시 됨: 2022-03-11

사용자 연구 및 사용성 테스트 중에 수집된 데이터를 수집, 정렬 및 이해하는 것은 UX 실무자 사이에서 점점 더 일반적인 작업이 되고 있습니다. 사실, 이는 중요한 UX 기술이 되고 있습니다.

사용성 테스트는 대상 사용자가 귀하의 제품을 사용할 수 있는지 여부를 알려줍니다. 특정 UI에서 사람들이 겪는 문제를 식별하는 데 도움이 되며 완료하기 어려운 작업과 혼란스러운 언어를 보여줍니다. 일반적으로 사용성 테스트는 광범위한 준비와 분석을 수반하며 가장 가치 있는 연구 기법 중 하나로 간주됩니다. 제품 팀을 더 나은 솔루션으로 안내하는 데 도움이 되는 양적 및 질적 데이터를 모두 제공할 수 있습니다.

그러나 공원에서 산책하는 것은 아닙니다. 사용성 문제를 발견 하기 위해 UX 연구자와 디자이너는 종종 불완전하고 부정확하며 혼란스러운 데이터의 홍수에 대처해야 합니다. 5~10명의 참가자가 참여하는 정기적인 사용성 테스트는 60개 이상의 문제를 쉽게 생성할 수 있습니다. 두려운 분석 마비가 추악한 머리를 뒤로 젖힐 때까지 기다리는 동안 "소화호를 마신 것"처럼 느껴질 수 있습니다.

사용성 테스트에서 데이터 수집 방법

사용성 문제를 해결 하려고 할 때 심각한 위험은 당면한 문제를 진정으로 해결하지 못하는 솔루션을 찾아내려고 하는 잘못된 길을 가는 것입니다. 위험은 발견된 문제와 식별된 솔루션 사이에 단절이 있을 수 있다는 것입니다. 이는 결정 피로와 다양한 유형의 인지 편향을 비롯한 다양한 요인으로 인해 발생할 수 있습니다.

사용성 테스트 데이터를 실행 가능한 솔루션으로 바꾸는 방법

위에서 언급한 장애물을 극복하기 위해서는 테스트 데이터를 효율적으로 처리하는 동시에 발견된 문제에 대해 가장 효과적인 솔루션을 선택해야 합니다.

창작 과정에서 몇 가지 아이디어를 차용하여 시작해 보겠습니다. 가장 강력한 것 중 하나는 발산-수렴 사고를 사용하는 British Design Council의 더블 다이아몬드입니다. 명확하게 정의되고 통합된 문제 및 솔루션 단계가 있는 설계 프로세스입니다.

사용자 연구 및 테스트의 이중 다이아몬드
발견 , 정의 , 개발 및 제공 의 4단계로 구분되는 이중 다이아몬드는 디자인 프로세스의 간단한 시각적 맵입니다. (영국 디자인 협의회, 2005)

이중 다이아몬드는 사용성 문제를 처리하고 해결 방법을 찾는 프레임워크를 구축하는 데 정확히 필요한 것입니다.

결과의 사용성 테스트에 위의 모델을 적용하는 것은 4단계 프로세스입니다.

  1. 데이터 수집
  2. 이슈 우선순위
  3. 솔루션 생성
  4. 솔루션 우선 순위 지정

사용성 연구를 위한 데이터 수집

실천하는 방법을 포함하여 각 단계를 자세히 살펴보겠습니다.

참고: 기본적인 수학을 사용해야 합니다. 너무 많지는 않으니 걱정하지 마세요. 이 기사의 끝에서 전체 프로세스를 자동화하는 스프레드시트를 찾을 수 있을 것입니다. 여전히 효과가 없다면 포스트잇과 화이트보드를 사용할 수 있는 시각적 접근 방식도 있습니다.

1단계: 사용성 연구 데이터 수집

연구 질문 으로 시작하여 첫 번째 단계는 사용성 테스트에서 생성된 데이터를 수집하는 것입니다. 나중에 프로세스에서 쉽게 아이디어를 생성하고 통찰력을 얻을 수 있도록 설정해야 합니다. 핵심은 데이터를 명확하게 구성하고 구성하여 혼란을 피하는 것입니다. 대부분의 경우 다음을 수행하는 것으로 충분합니다.

  • 문제 식별 (ID) 시스템 보유
  • 발생한 위치 (화면, 모듈, UI 위젯, 흐름 등)를 기록합니다.
  • 사용자가 참여한 작업 을 파악합니다.
  • 문제에 대한 간략한 설명 제공

Lewis와 Sauro가 책 Quantifying the User Experience 에서 사용하는 사용성 문제를 구성하는 일반적인 접근 방식은 아래 표와 같이 데이터를 표시하고 행에는 문제를 표시하고 마지막 몇 열에는 참가자를 표시하는 것입니다.

사용성 테스트에서 데이터를 수집하는 방법: 샘플 테스트 케이스

위의 예에서 세 명의 참가자를 대상으로 한 가상의 사용성 테스트에서 두 가지 문제가 발생했습니다.

  • 참가자 1인(P1)이 처음 경험한
  • 다른 참가자의 두 번째 참가자(P2 및 P3)

2단계: 문제 우선순위 지정

리소스가 제한되어 있으므로 분석을 최적화하는 방식으로 사용성 문제의 우선 순위를 지정해야 합니다. 일반적으로 각 사용성 문제에는 다음과 같은 몇 가지 요인의 영향을 받는 심각도 등급이 있습니다.

  • 작업 중요도: 작업이 완료되지 않은 경우 비즈니스 또는 사용자에 대한 영향 측면에서 평가됩니다.
  • 문제 빈도: 다양한 참가자에게 문제가 발생한 횟수입니다.
  • 문제 영향: 작업을 수행하려는 사용자에게 얼마나 영향을 미쳤는지.

우선 순위를 지정하려면 다음 단계를 따라야 합니다.

  1. 테스트에서 수행된 각 작업의 중요도 점수 를 설정합니다. 간단히 말해, 숫자 값을 설정하여 작업이 비즈니스 또는 사용자에게 얼마나 중요한지 정의합니다. 값은 간단한 선형 수열(예: 1, 2, 3, 4 등) 또는 피보나치 수열(1, 2, 3, 5, 8 등)과 같은 보다 정교한 것에서 올 수 있습니다. 계획 포커와 같은 민첩한 방법.

  2. 이 척도의 항목에 대해 값(위와 동일)을 할당하여 각 문제에 대한 영향 점수 를 설정합니다.
    • 5: (차단기) 사용자가 작업을 수행하지 못하는 문제
    • 3: (주요) 좌절 및/또는 지연을 유발합니다.
    • 2: (사소한) 작업 수행에 약간의 영향을 미칩니다.
    • 1: (제안) 참가자의 제안입니다.

  3. 발생 횟수를 전체 참여자로 나누어 문제의 발생 빈도 (%)를 구합니다. 기본적인 백분율 계산입니다.

  4. 마지막으로 위의 세 가지 변수를 곱하여 각 문제의 심각도 를 계산합니다.

스프레드시트에서 어떻게 작동하는지 봅시다(물론 자동화하고 싶죠?). 업데이트된 테이블은 다음과 같습니다.

사용성 테스트 결과 분석 방법: 이슈 우선순위 지정

위의 예에는 다음 시나리오가 있습니다.

  • 3명의 참가자가 경험한 3가지 사용성 문제(p1, p2 및 p3)
  • '게시물 작성' 작업이 두 번 나타나고 중요도 가 5로 할당되고 덜 중요한 작업(소셜 로그인)에 3이 할당됩니다.
  • 각 문제에는 5(차단), 3(주) 및 2(작업 수행에 약간의 영향)가 미치는 영향 에 따라 값이 할당되었습니다.
  • 각 문제의 빈도 (예: 2번 문제는 3명의 참가자와 함께 두 번 발생하므로 2/3 = 0.67);
  • 마지막으로 심각도 는 다른 요인을 곱한 결과입니다(예: 3 x 5 x 0.33 = 4.95).

지금은 그것뿐입니다. 가장 중요한 사용성 문제를 3 , 2 및 1 순서로 찾았습니다. 이 단계에서는 팀이 다음 단계에서 상위 수준 문제를 구성하고 최적화하는 데 도움이 되는 큰 그림인 사용성 문제 환경 에 대한 좋은 관점도 있습니다.

미국에 기반을 둔 풀타임 프리랜서 UX 디자이너 구함

3단계: 솔루션 생성

일반적으로 사용성 테스트는 권장 사항(일반 제안) 및 솔루션(특정 지침) 목록이 없으면 결론적으로 완료되지 않습니다. 때로는 UI 구성 요소의 배치를 수정하는 것과 같이 솔루션이 매우 명확합니다. 명확하지 않거나 가능한 솔루션이 많은 문제의 경우 상황이 더 까다로워집니다. 어떤 솔루션이 더 낫습니까? 어느 것이 더 실현 가능합니까? 알아내기 위해 실험을 실행하는 비용/이점은 무엇입니까? 여기서 기존의 정기적인 권장 방법으로는 충분하지 않습니다.

잘못된 설계 결정을 내릴 위험을 줄이려면 다음이 필요합니다. a) 선택할 수 있는 여러 솔루션 대안, b) 효과적인 선택 프로세스. 이전 단계에서 데이터 수집 및 문제 우선 순위 지정 단계를 처리하는 데 사용된 것과 동일한 발산-수렴 접근 방식을 사용할 것입니다. 단계는 다음과 같습니다.

  1. 각 문제에 대해 여러 솔루션 아이디어 생성 —문제를 해결할 수 있는 방법은 무엇입니까? 여기에서 나머지 팀(개발자, 디자이너, 제품 관리자 등)과 협업할 수 있는 좋은 기회가 있습니다.

  2. 솔루션을 재구성 하고 구체적으로 유지하십시오. 필요에 따라 솔루션을 병합하거나 분할하여 중복과 너무 많은 추상화를 방지하십시오. 다시 말하지만, 아이디어를 더 쉽게 평가할 수 있도록 구체적입니다. 예를 들어, "햄버거 메뉴 사용을 피하십시오"라는 말 대신 "가로 탐색 및 세로 트리 메뉴를 사용하십시오"와 같은 특정 솔루션을 말하는 것이 좋습니다.

  3. 솔루션이 해결할 수 있는 추가 문제를 표시 합니다. 실제로 하나의 좋은 솔루션으로 여러 문제를 해결할 수 있습니다. 좋은 솔루션은 다양합니다!

위의 단계에 따라 결과 테이블은 다음과 같습니다.

사용성 연구를 위한 데이터 수집

이 예에는 브레인스토밍된 솔루션 목록(행)과 각 솔루션이 해결하는 문제(이전 단계에서 발견된 문제를 나타내는 열)가 있습니다.

다음으로 이 목록을 발전시키고 구현에 가장 적합한 솔루션과 순서를 찾는 방법을 살펴보겠습니다.

4단계: 솔루션 우선 순위 지정

문제 우선 순위 지정과 마찬가지로 일부 매개 변수에 따라 솔루션의 우선 순위를 지정해야 합니다. 이 주제가 매우 심각하게 다루어지는 애자일 팀에서는 투자 수익 (ROI)을 계산할 수 있는 비즈니스 가치 와 복잡성 을 사용하는 것이 일반적입니다. 이 논리에서 차용하면 다음 단계가 있습니다.

  1. 각 솔루션의 효율성을 계산합니다.
    해결된 문제가 심각할수록 더 나은 솔루션입니다. 이는 대략 애자일 방식의 비즈니스 가치와 비교할 수 있습니다. 솔루션에서 해결한 모든 문제의 심각도를 합산합니다.

     Effectiveness = Sum of issue severities
  2. 솔루션의 복잡성을 연마하십시오.
    1. 이 솔루션을 개발하는 데 필요한 리소스는 무엇입니까?
    2. 관련 기술의 표준은 어느 정도입니까?
    3. 비즈니스/사용자 요구 사항이 얼마나 명확합니까?

    즉, 노력과 불확실성이 클수록 솔루션이 더 복잡해집니다. 이것을 피보나치 수열(1, 2, 3, 5, 8 등)과 같이 수량화할 수 있는 값으로 변환하면 됩니다. 이 작업을 팀으로 수행하는 경우 계획 포커가 완벽하게 맞습니다.

  3. 솔루션의 ROI 를 계산합니다. 이것은 솔루션의 효율성 을 복잡성 으로 나누어 계산한 비용-편익 관계입니다. ROI는 높을수록 좋습니다.

     ROI = Effectiveness / Complexity

이제 다음과 같은 스프레드시트로 돌아가 보겠습니다.

사용성 테스트에서 데이터 수집 방법

위의 예에서 다음이 있습니다.

  1. 솔루션 목록(행)
  2. 심각도(4.95, 6.7 및 10.05)와 관련된 문제(i1 ~ i3)
  3. 솔루션이 문제와 일치(해결)할 때마다 표시기 1
  4. 각 솔루션의 효율성(4.95, 4.95 및 16.75)
  5. 팀에서 추정한 각 솔루션(1, 3, 5)의 복잡성
  6. 각 솔루션의 ROI(4.95, 1.65, 3.35)

이 예에 따르면 솔루션 개발의 우선 순위를 다음과 같은 순서로 지정해야 합니다(ROI가 높은 것에서 낮은 것): 솔루션 1, 솔루션 3, 2.

단계를 요약하자면: 먼저 데이터를 수집한 다음 특정 매개변수에 따라 문제의 우선 순위를 지정했습니다. 그런 다음 이러한 문제에 대한 솔루션 아이디어를 생성하고 최종적으로 우선 순위를 지정했습니다.

스프레드시트 사용

위의 방법은 몇 가지 (기본) 계산을 여러 번 반복하므로 스프레드시트를 사용하는 것이 가장 좋습니다.

이 방법론을 따르려면 다음 템플릿(Google 시트)이 있습니다. https://goo.gl/RR4hEd. 다운로드할 수 있으며 필요에 따라 자유롭게 사용자 지정할 수 있습니다.

나는 스프레드시트가 싫어! 더 시각적인 것은 어떻습니까?

내가 아는 거의 모든 사람들(물론 나를 포함하여)은 스티커 메모와 화이트보드로 작업하는 것을 좋아합니다. 일반적으로 더 빠르고 재미있을 뿐만 아니라 공동 작업을 용이하게 하기 때문입니다. 애자일 또는 디자인 씽킹 실무자라면 무슨 말인지 알 것입니다. 이 기사에 표시된 접근 방식을 사용하기 위해 스티커 메모와 같은 시각적 도구를 어떻게 적용할 수 있습니까? 글쎄, 그것은 아마도 전체 블로그 게시물을받을 가치가 있지만 표면을 긁어 봅시다.

이를 수행하는 한 가지 방법은 문제(영향 x 빈도)에 대한 매트릭스를 만들고 솔루션(효과 x 복잡성)에 대해 다른 매트릭스 옆에 배치하는 것입니다. 각 행렬은 우선 순위를 나타내는 4개의 사분면으로 나뉩니다.

사용성 테스트 결과 분석 방법
문제 매트릭스 및 솔루션 매트릭스

단계는 다음과 같습니다.

  1. 영향 과 빈도 에 따라 적절한 사분면에 스티커 메모를 배치하여 문제 매트릭스 를 만듭니다. 이 접근 방식을 단순화하기 위해 하나의 매개변수를 생략해야 했습니다. 이 경우 작업 중요도 .

  2. 각 솔루션의 효율성 과 복잡성 에 따라 스티커 메모를 구성하여 솔루션 매트릭스 를 만듭니다.

    1. 문제 매트릭스의 1사분면(심각도가 높은 문제)부터 시작하여 각 문제에 대한 솔루션을 브레인스토밍합니다.

    2. 사분면 1(왼쪽 상단)에서 시작하여 솔루션 매트릭스에 이러한 솔루션을 배치합니다. 문제가 심각할수록 솔루션이 더 효과적입니다.

    3. 수평 축에서 이동하여 각 솔루션의 복잡성 을 조정합니다(복잡할수록 오른쪽으로 더 멀리).

    4. 나머지 문제에 대해 위의 단계를 반복합니다(사분면 2, 3, 4, 이 순서대로).

연습이 끝나면 1사분면의 솔루션이 최우선 순위를 나타내는 최상의 ROI(더 효과적이고 덜 복잡함)를 가진 솔루션입니다. 결과는 아래 이미지에 나와 있습니다.

사용성 테스트 결과 분석 방법

하나의 매개변수(작업 중요도)를 생략했다는 사실을 포함하여 여기의 단점은 스프레드시트에서와 같이 계산 대신 시각적 정확성에 의존해야 한다는 것입니다. 긍정적인 면에서는 협업을 촉진하는 방법이 있습니다. 이는 때때로 팀의 동의를 얻는 데 중요합니다.

정확도를 희생하면서 "빠르고 더러운" 시각적 분석을 통해 협업을 촉진하는 것은 잠재적인 절충안입니다. 어느 것이 더 나은 접근 방식입니까? 짧은 대답: 귀하의 상황에 가장 적합하고 귀하의 목표와 가장 잘 일치하는 답변입니다.

사용성 테스트 데이터 분석을 위한 최종 테이크아웃

이러한 방법론을 사용하여 다양한 프로젝트에서 이를 사용한 팀으로부터 다음과 같은 관찰 결과를 얻었습니다.

  1. 특히 더 큰 연구를 처리할 때 문제 우선 순위 지정은 팀이 정말로 중요한 것에 집중할 수 있도록 하여 정보 과부하, 분석 마비 및 의사 결정 피로와 같은 원치 않는 인지 문제를 줄여 시간과 리소스를 절약합니다.

  2. 연결된 엔드 투 엔드 워크플로는 솔루션을 사용성 테스트 결과와 더 일치하도록 유지하여(문제와 솔루션이 짝을 이루기 때문에) 최적이 아닌 솔루션을 구현할 위험을 줄입니다.

  3. 온라인 도구를 사용하여 이 방법을 공동으로(부분적으로 또는 전체적으로) 쉽게 적용할 수 있습니다.

이 접근 방식의 한계를 이해하는 것이 중요합니다. 예를 들어, 우선 순위 지정 단계에서는 테스트에서 관찰된 사용자의 긍정적인 태도와 행동이 포함되지 않습니다. 사용성 문제에 중점을 둡니다. 한 가지 제안은 이러한 종류의 데이터를 별도로 기록하고 필요에 따라 결과를 보완하고 균형을 유지하는 데 사용하는 것입니다.

마지막으로, 사용성 테스트 외에도 이 접근 방식은 다른 UX 연구 기법으로 확장될 수도 있습니다. '이중 다이아몬드' 접근 방식(발산/수렴 문제 및 솔루션)을 적용하면 다양한 사용자 연구 데이터를 혼합하고 다른 프로젝트에서 위의 방법을 사용할 수 있습니다. 당신의 상상력이 한계입니다!

• • •

Toptal Design 블로그에 대한 추가 정보:

  • 전자 상거래 UX – 모범 사례 개요(인포그래픽 포함)
  • 제품 디자인에서 인간 중심 디자인의 중요성
  • 최고의 UX 디자이너 포트폴리오 – 영감을 주는 사례 연구 및 사례
  • 모바일 인터페이스에 대한 경험적 원리
  • 예측적 디자인: 마법 같은 사용자 경험을 만드는 방법