Como tabular e analisar os resultados de um teste de usabilidade

Uma pergunta bem recorrente nos workshops é: depois dos testes, como organizar os resultados?

Teste de usabilidade pode ser uma técnica focada mais no lado qualitativo – queremos levantar o maior número possível de problemas e entender como e porquê as pessoas têm dificuldade em usar um site, por exemplo. Mas nem por isso não podemos usar métricas quantitativas. Algumas das métricas mais usadas:

  • Taxa de sucesso: do total de participantes, quantos tiveram sucesso na tarefa?
  • Tempo de execução da tarefa
  • Uso de funcionalidades específicas: do total de participantes, quantos utilizaram os filtros para encontrar um produto de seu interesse?
  • Expectativa x realidade: antes de começar, pergunte à pessoa o quão fácil ou difícil ela espera que seja essa tarefa. Depois da tarefa realizada, refaça a pergunta.
  • System Usability Scale: ao final do teste, você aplica um questionário com 10 perguntas e gera uma métrica quantitativa que pode ser comparada com outros sites.

Qual métrica eu devo usar? O que fizer sentido para você! Mas recomendamos que você olhe pelo menos a taxa de sucesso por tarefa e, para cada problema observado, anote o número de participantes afetados por aquele problema.


Faça uma tabela avaliando o desempenho de cada participante em cada tarefa

Para cada tarefa de um roteiro de teste de usabilidade, há uma expectativa de sucesso. Se é uma simulação de compra, pode ser algo como “Encontrar um produto de interesse e chegar à página de confirmação de compra, sem demonstrar dificuldade durante o processo”.

Mas a gente sabe que entre a busca e o fim da compra existem vários passos, certo? Se você está avaliando o fluxo de compra de um site, provavelmente ele pode ser quebrado em micro-tarefas, como:

  1. Encontrar o produto
  2. Página do produto
  3. Carrinho
  4. Cadastro / login
  5. Pagamento
  6. Confirmação da compra

A partir desta quebra, você pode definir o sucesso ou fracasso dos participantes em cada etapa. E montar uma tabela mais ou menos assim:

Tabela mostrando sucesso e fracasso em cada uma das subetapas de uma tarefa.

Dica: usando cores para indicar a taxa de sucesso você já consegue, só de bater o olho na tabela, entender onde está a maior concentração de problemas. Tanto no Google Sheets quando no Excel você pode criar fórmulas de formatação para colocar as cores automaticamente. 😉


Faça uma tabela com os problemas observados

Ao fim de cada teste, se reúna com a sua equipe e comece a anotar os pontos observados. Cada ponto pode ser um problema de usabilidade (o que algumas vezes chamamos de “ocorrência”) ou uma observação (algo que não é um problema, mas vale comentar). E alguns pontos são mais graves que outros. Por isso, é muito legal se você puder organizá-los por severidade ou urgência. Alguns critérios propostos por Jakob Nielsen:

  • O quanto o problema impediu os participantes de completar a tarefa? É um problema do tipo barreira (que impede a pessoa de prosseguir), obstáculo (que atrapalha o caminho) ou estético (que apenas incomoda um pouco)?
  • Do total de participantes, quantos passaram por esse problema? Apenas 2 de 10 ou quase todos?
  • Persistência: este é um problema que afeta a pessoa apenas uma vez? Ela aprende e depois consegue se virar ou é algo que vai atrapalhar sempre?
  • Qual a relevância da tarefa / área do site afetada para o produto ou negócio? Estamos falando da página de pagamento ou de uma aba de perguntas frequentes?

Com isso você começa a gerar uma tabela mais ou menos assim:

Tabela mostrando problemas organizados por severidade


Ainda sobre o critério de importância para o negócio: com as informações certas você pode ir além e vincular o problema de usabilidade a uma métrica. Se um problema foi observado no fluxo de compra, provavelmente ele afeta a conversão – e ao resolvê-lo, você pode melhorar a conversão do produto. Comparando as taxas de antes e depois da reformulação, dá até para demonstrar o ROI (retorno de investimento) do teste de usabilidade e do trabalho de redesign.

Por fim, pode ser muito interessante considerar também o custo de desenvolvimento para ter uma ideia do custo x benefício. Se um problema de média severidade leva uma hora para resolver e um problema de alta severidade leva dez horas, melhor começar pelo primeiro.

Mais sobre severidade de problemas – artigo do Jeff Sauro


E o que fazer com os números?

Criando tabelas e contando o sucesso e fracasso dos participantes, você vai obter algumas métricas como “2 de 10 conseguiram completar a tarefa 1” ou “6 de 15 tiveram dificuldade com os filtros do site”. E como interpretar isso? Uma dica muito simples: pense em termos de “maioria” ou “minoria”.

Os números são uma referência, uma ordem de grandeza para avaliar qual a criticidade de um determinado problema de usabilidade. Mas evite levá-los a sério demais. Se 2 de 10 pessoas tiveram um problema, não quer dizer necessariamente que isso vá afetar 20% do universo de usuários do seu produto. A não ser que você tenha montado uma amostra com validade estatística (geralmente não é o caso da maior parte dos testes de usabilidade que fazemos no dia-a-dia).

Se 8 de 10 participantes passaram por determinado problema é bem provável que muita gente passe por isso também.

Se interessou pelo lado quantitativo? Veja este artigo do Jeff Sauro (em inglês)


Esse é o único jeito de organizar os resultados de um teste de usabilidade?

Claro que não! É apenas uma forma que eu já testei bastante e utilizei em vários projetos. E é a tabela que recomendamos para nossos clientes do TESTR. Mas você também pode montar um quadro com post-its – ou jogar tudo no trello, por exemplo. Podemos dar outras sugestões em posts futuros.

Acesse um modelo de tabulação de resultados de teste de usabilidade

Montamos no Google Sheets um modelinho de tabulação para você preencher e organizar as descobertas de seu próximo teste de usabilidade. Você pode copiar e adaptar como quiser.

QUERO VER O MODELO DE TABULAÇÃO DE TESTES

E você? Como organiza os resultados dos seus testes? Tem algum modelo diferente? Comente aqui. 🙂


Also published on Medium.