Transformando dados de teste de usabilidade em ação sem enlouquecer

Publicados: 2022-03-11

Coletar, classificar e entender os dados coletados durante a pesquisa de usuários e testes de usabilidade está se tornando uma tarefa cada vez mais comum entre os profissionais de UX – na verdade, está se tornando uma habilidade crítica de UX.

Um teste de usabilidade lhe dirá se seus usuários-alvo podem usar seu produto. Ele ajuda a identificar problemas que as pessoas têm com uma interface do usuário específica e revela tarefas difíceis de concluir e linguagem confusa. Normalmente, um teste de usabilidade envolve extensa preparação e análise e é considerado uma das técnicas de pesquisa mais valiosas. É capaz de fornecer dados quantitativos e qualitativos que ajudarão a orientar a equipe de produto em direção a soluções melhores.

No entanto, não é um passeio no parque. Na tentativa de descobrir problemas de usabilidade, pesquisadores e designers de UX geralmente precisam lidar com uma enxurrada de dados incompletos, imprecisos e confusos. Um teste de usabilidade regular com cinco a dez participantes pode gerar facilmente mais de sessenta questões. Pode parecer “beber da mangueira de incêndio” enquanto espera que a temida paralisia da análise levante sua cabeça feia.

Como proceder para coletar dados em testes de usabilidade

Um risco considerável ao tentar resolver problemas de usabilidade é seguir o caminho errado ao tentar encontrar soluções que não abordem verdadeiramente os problemas em questão. O risco é que pode haver uma desconexão entre os problemas encontrados e as soluções identificadas. Isso pode ser causado por vários fatores diferentes, incluindo fadiga de decisão e muitos tipos de vieses cognitivos.

Como transformar dados de teste de usabilidade em soluções viáveis

Para dominar os obstáculos mencionados acima, precisamos de maneiras eficientes de lidar com nossos dados de teste, ao mesmo tempo em que escolhemos as soluções mais eficazes para os problemas encontrados.

Vamos começar pegando emprestado algumas ideias do processo criativo. Um dos mais poderosos é o diamante duplo do The British Design Council, que por sua vez usa o pensamento divergente-convergente. É um processo de design com fases de problema e solução claramente definidas e integradas.

O diamante duplo em pesquisas e testes de usuários — Dividido em quatro fases distintas – **descobrir** , **definir** , **desenvolver** e **entregar** – o diamante duplo é um mapa visual simples do processo de design. (The British Design Council, 2005)

O diamante duplo é exatamente o que precisamos para construir uma estrutura que lide com os problemas de usabilidade e encontre maneiras de resolvê-los.

Adaptar o modelo acima ao teste de usabilidade do resultado é um processo de quatro etapas:

Coleção de dados
Priorização de problemas
Geração de solução
Priorização de solução

Coleta de dados para pesquisa de usabilidade

Vamos ver cada passo em detalhes, incluindo como colocá-lo em prática.

Nota: Precisaremos usar algumas matemáticas básicas. Não se preocupe, não é muito, e no final deste artigo, você encontrará uma planilha que automatiza todo o processo. Se ainda não estiver funcionando para você, há também uma abordagem visual onde você pode usar Post-its e quadros brancos.

Etapa 1: coleta de dados de pesquisa de usabilidade

Começando com suas perguntas de pesquisa , o primeiro passo é coletar os dados gerados pelo teste de usabilidade. Ele precisa ser configurado para facilitar a geração de ideias e insights mais tarde no processo – a chave é estruturar e organizar claramente os dados para evitar confusão. Na maioria dos casos, é suficiente:

Tenha um sistema de identificação de problemas (ID)
Observe onde aconteceu (tela, módulo, widget de interface do usuário, fluxo, etc.)
Conheça a tarefa em que o usuário estava envolvido
Forneça uma descrição concisa do problema

Uma abordagem comum para organizar problemas de usabilidade, usada por Lewis e Sauro no livro Quantifying the User Experience , é plotar os dados conforme mostrado na tabela abaixo, com problemas nas linhas e participantes nas últimas colunas.

Como você deve coletar dados em testes de usabilidade: um caso de teste de amostra

No exemplo acima, um teste de usabilidade fictício feito com três participantes rendeu dois problemas:

A primeira vivenciada pelo participante um (P1)
A segunda pelos demais participantes (P2 e P3)

Etapa 2: priorização de problemas

Como os recursos são limitados, é necessário priorizar as questões de usabilidade de forma a otimizar a análise. Normalmente, cada problema de usabilidade tem um grau de gravidade , influenciado por alguns fatores como:

Criticidade da tarefa: classificada em termos de impacto no negócio ou no usuário se a tarefa não for cumprida.
Frequência do problema: quantas vezes um problema ocorreu com vários participantes.
Impacto do problema: quanto isso afetou o usuário que tenta realizar a tarefa.

Para priorizar, precisamos seguir estas etapas:

Defina a pontuação de criticidade de cada tarefa realizada no teste. Simplificando, defina o quão crítica é a tarefa para a empresa ou usuário, definindo um valor numérico para ela. Os valores podem vir de uma sequência linear simples (por exemplo, 1, 2, 3, 4, etc.) ou algo mais elaborado como a sequência de Fibonacci (1, 2, 3, 5, 8, etc.), exatamente como usado métodos ágeis como o pôquer de planejamento.
Defina a pontuação de impacto para cada questão atribuindo um valor (o mesmo acima) para os itens desta escala:
- 5: (bloqueador) o problema impede o usuário de realizar a tarefa
- 3: (maior) causa frustração e/ou atraso
- 2: (menor) tem um efeito menor no desempenho da tarefa
- 1: (sugestão) é uma sugestão do participante
Encontre a frequência do problema (%) do problema dividindo o número de ocorrências pelo total de participantes. É um cálculo percentual básico.
Por fim, calcule a gravidade de cada problema multiplicando as três variáveis acima.

Vamos ver como funciona em uma planilha (claro que queremos automatizar isso, certo?). Nossa tabela atualizada ficaria assim:

Como analisar os resultados do teste de usabilidade: priorização de problemas

No exemplo acima, temos o seguinte cenário:

Três problemas de usabilidade vivenciados por três participantes (p1, p2 e p3);
A tarefa 'criar um post' aparece duas vezes e recebe um valor crítico de 5, e uma tarefa menos crítica (login social) recebe um 3;
Cada questão recebeu um valor de acordo com seu impacto : 5 (bloqueador), 3 (maior) e 2 (menor impacto no desempenho da tarefa);
A frequência de cada questão (por exemplo, a questão nº 2 ocorreu duas vezes com três participantes, portanto 2/3 = 0,67);
Por fim, a gravidade resultou da multiplicação dos demais fatores (eg, 3 x 5 x 0,33 = 4,95).

Por enquanto é isso. Encontramos nossos problemas de usabilidade mais importantes nesta ordem: 3 , 2 e 1 . Nesse estágio, também temos uma boa perspectiva do cenário de problemas de usabilidade — o quadro geral que ajuda a equipe a enquadrar o problema de alto nível e otimizar durante as etapas a seguir.

Procura-se designers de UX freelancers em tempo integral nos EUA

Etapa 3: geração da solução

Normalmente, os testes de usabilidade não são concluídos na conclusão sem uma lista de recomendações (sugestões genéricas) e soluções (instruções específicas). Às vezes, a solução é bastante óbvia, como corrigir o posicionamento de um componente de interface do usuário. A situação se torna mais complicada para aqueles problemas com soluções não óbvias ou com muitas soluções possíveis. Qual solução é melhor? Qual deles é mais viável? Qual é o custo/benefício de realizar um experimento para descobrir? Aqui, o método tradicional de recomendações regulares não será suficiente.

Para reduzir o risco de tomar más decisões de projeto, precisamos: a) várias alternativas de solução para escolher, eb) um processo de seleção eficaz. Usaremos a mesma abordagem divergente-convergente usada para lidar com as etapas de coleta de dados e priorização de problemas na fase anterior. Os passos são:

Para cada problema, gere várias ideias de solução — Quais são as maneiras possíveis de resolver o problema? Aqui, temos uma grande oportunidade de colaboração com o restante da equipe (desenvolvedores, designers, gerentes de produto, etc.).
Reorganize as soluções, mantendo-as específicas – conforme necessário, mescle ou divida as soluções para evitar redundâncias e muita abstração. Novamente, seja específico, para que seja mais fácil avaliar ideias. Por exemplo, em vez de apenas “Evite usar um menu de hambúrguer”, é melhor indicar uma solução específica, como “Use uma navegação horizontal e um menu de árvore vertical”.
Marque os problemas adicionais que a solução pode abordar — na prática, uma única boa solução pode resolver vários problemas. Boas soluções são versáteis!

Seguindo os passos acima, a tabela resultante fica assim:

Neste exemplo, temos a lista de soluções de brainstorming (linhas) e os problemas que cada solução aborda (colunas, que representam os problemas encontrados nas etapas anteriores).

A seguir, vamos ver como evoluir essa lista e descobrir quais soluções são as melhores candidatas para implementação e em qual ordem.

Etapa 4: priorização da solução

Da mesma forma que a priorização de problemas, precisamos priorizar as soluções de acordo com alguns parâmetros. Em times ágeis, onde esse assunto é tratado com muita seriedade, é comum o uso do valor e da complexidade do negócio, o que nos permite calcular o retorno do investimento (ROI). Tomando emprestado dessa lógica, temos os seguintes passos:

Calcule a eficácia de cada solução .
Quanto mais grave o problema abordado, melhor a solução. Isso pode ser aproximadamente comparado ao valor de negócios em métodos ágeis. Some as gravidades de todos os problemas abordados pela solução.
```
 Effectiveness = Sum of issue severities
```
Aprimore a complexidade da solução .
1. Quais são os recursos necessários para desenvolver esta solução?
2. Quão padrão são as tecnologias envolvidas?
3. Quão claros são os requisitos de negócios/usuários?
Em outras palavras, quanto mais esforço e incerteza, mais complexa é a solução. Apenas traduza isso em um valor quantificável, como a sequência de Fibonacci (1, 2, 3, 5, 8, etc). Se você está fazendo isso em equipe, o planning poker se encaixa perfeitamente.
Calcule o ROI da solução. Essa é a relação custo-benefício, calculada dividindo-se a eficácia da solução por sua complexidade . Quanto maior o ROI, melhor.
```
 ROI = Effectiveness / Complexity
```

Vamos voltar para nossa planilha, que agora se parece com isso:

No exemplo acima, temos:

A lista de soluções (linhas)
Os problemas (i1 a i3) com suas gravidades (4,95, 6,7 e 10,05)
Um indicador de 1 cada vez que uma solução corresponde (endereça) a um problema
A eficácia de cada solução (4,95, 4,95 e 16,75)
A complexidade de cada solução (1, 3 e 5) estimada pela equipe
O ROI de cada solução (4,95, 1,65, 3,35)

De acordo com este exemplo, devemos priorizar o desenvolvimento das soluções na seguinte ordem (do maior para o menor ROI): solução 1, depois solução 3 e 2.

Para resumir as etapas: começamos coletando dados, depois priorizamos as questões de acordo com parâmetros específicos. Depois, geramos ideias de soluções para esses problemas e, por fim, priorizamos.

Usando uma planilha

O método acima envolve alguns cálculos (básicos) repetidos muitas vezes, então é melhor usar uma planilha.

Se você quiser seguir essa metodologia, aqui está um modelo (Google Sheet): https://goo.gl/RR4hEd. Ele pode ser baixado e você pode personalizá-lo livremente de acordo com suas necessidades.

Eu odeio planilhas! Que tal algo mais visual?

Quase todo mundo que conheço (inclusive eu, é claro) adora trabalhar com post-its e quadros brancos, não apenas porque geralmente é mais rápido e divertido, mas também porque facilita a colaboração. Se você é um praticante ágil ou de design thinking, sabe o que quero dizer. Como podemos aplicar ferramentas visuais como notas adesivas para trabalhar com a abordagem mostrada neste artigo? Bem, isso provavelmente merece um post inteiro no blog, mas vamos tentar arranhar a superfície.

Uma forma de fazer isso é criar uma matriz de problemas (impacto x frequência) e colocá-la ao lado de outra de soluções (eficácia x complexidade). Cada matriz é dividida em quatro quadrantes, indicando a priorização.

Como analisar resultados de testes de usabilidade — A Matriz de Problemas e a Matriz de Soluções

Aqui estão os passos:

Crie a matriz de problemas colocando os post-its no quadrante adequado de acordo com o impacto e a frequência . Para simplificar essa abordagem, tivemos que deixar um parâmetro de fora. Nesse caso, a criticidade da tarefa .
Crie a matriz de soluções organizando as notas adesivas de acordo com a eficácia e complexidade de cada solução:
1. Faça um brainstorming de soluções para cada problema, começando com os problemas do quadrante 1 da matriz de problemas (aqueles com maior gravidade).
2. Coloque essas soluções na matriz de soluções, começando no quadrante 1 (canto superior esquerdo). Quanto mais grave for o problema, mais eficaz será a sua solução.
3. Ajuste a complexidade de cada solução movendo-a no eixo horizontal (quanto mais complexa, mais à direita).
4. Repita os passos acima para as questões restantes (quadrantes 2, 3 e 4, nesta ordem).

Ao final do exercício, as soluções do quadrante 1 são aquelas com melhor ROI (mais efetivas e menos complexas) significando prioridade máxima. O resultado é mostrado na imagem abaixo:

Incluindo o fato de que deixamos um parâmetro de fora (criticidade da tarefa), a desvantagem aqui é que você precisa confiar na precisão visual em vez de cálculos como na planilha. Do lado positivo, temos um método que promove a colaboração – o que às vezes é crucial para obter a adesão da equipe.

Promover a colaboração por meio de análises visuais “rápidas e sujas” ao custo provável da precisão é uma troca potencial. Qual é a melhor abordagem? A resposta curta: aquela que melhor se adapta à sua situação e está mais alinhada com seus objetivos.

Considerações finais para análise de dados de teste de usabilidade

A utilização dessas metodologias trouxe as seguintes observações de equipes que a utilizaram em diversos projetos:

Principalmente quando se trata de estudos maiores, a priorização de questões mantém a equipe focada no que realmente importa, economizando tempo e recursos ao reduzir desafios cognitivos indesejados como sobrecarga de informações, paralisia de análise e fadiga de decisão;
O fluxo de trabalho de ponta a ponta conectado mantém as soluções mais alinhadas com os resultados dos testes de usabilidade (porque os problemas e as soluções são emparelhados), reduzindo o risco de implementar soluções abaixo do ideal;
Podemos facilmente aplicar esse método de forma colaborativa (em parte ou como um todo) usando ferramentas online.

É importante entender as limitações dessa abordagem. Por exemplo, durante a fase de priorização, as atitudes e comportamentos positivos dos usuários observados nos testes não são incluídos. O foco está em questões de usabilidade. Uma sugestão é registrar esse tipo de dado separadamente e usá-lo ao longo do caminho para complementar e equilibrar as descobertas conforme necessário.

Por fim, além do teste de usabilidade, essa abordagem também pode ser estendida a outras técnicas de pesquisa de UX. Aplicando a abordagem de 'diamante duplo' (divergência/convergência de problemas e soluções), podemos misturar vários dados de pesquisa de usuários e usar os métodos acima em qualquer outro projeto. Sua imaginação é o limite!

• • •