Novidade no TESTR: nova escala de auto-avaliação da tarefa

Aqui não é casa de ferreiro! Além de ajudar nossos clientes a melhorar a experiência do usuário em sites e aplicativos, fazemos os nossos próprios testes de usabilidade para melhorar a experiência de nossos usuários – tanto dos clientes quanto dos participantes de pesquisa. E muitas vezes aproveitamos os testes de nossos clientes para avaliar a nossa interface e ter ideias de melhorias – afinal, em cada vídeo de teste de um de nossos clientes, vemos também os participantes usando a nossa interface.

E hoje lançamos uma melhoria da nossa interface para os participantes e também dos resultados para os clientes. Mudamos a pergunta de auto-avaliação para os participantes quando terminam a tarefa. E com isso esperamos melhorar a qualidade dos resultados para os clientes. E resolvemos contar aqui o processo. 🙂


O problema: participantes não terminavam a tarefa, mas marcavam que haviam terminado

Um breve contexto: o TESTR é uma plataforma de teste de usabilidade remoto. Os participantes recebem um convite por e-mail e acessam o nossos sistema pra gravar um vídeo da tela e de seu rosto, seja pelo computador ou pelo celular. Eles acessam as tarefas por escrito e vão comentando em voz alta conforme vão fazendo. O teste no TESTR é composto de uma sequência de tarefas.

Ao final de cada tarefa, o próprio participante faz uma auto-avaliação de seu resultado. A nossa escala de avaliação era assim:

Escala de auto-avaliação antiga, com "Consegui" / "Não consegui, desisto"

O participante escolhia entre “Completei” e “Não consegui, desisto”. Ao marcar “Completei”, podia selecionar uma opção na escala de avaliação de dificuldade, de “muito difícil” a “muito fácil”. Ao marcar “Não consegui, desisto”, também podia selecionar um motivo.

O problema era que muitos participantes não chegavam ao objetivo proposta na tarefa, mas mesmo assim clicavam em “Completei”. Isso atrapalha a análise do cliente, que não podia confiar tanto na auto-avaliação e nos gráficos de resultados. Sabemos que nem sempre a auto-avaliação do participante condiz com o que realmente aconteceu e isso é normal de teste de usabilidade, assim como outras pesquisas qualitativas. Às vezes a pessoa acha que conseguiu ou não tem senso crítico para avaliar. Mas sentimos que havia espaço para melhorar.


Como investigamos: testes de usabilidade presenciais

Depois de assistir muitos vídeos do TESTR em que os participantes marcavam “Completei” sem ter conseguido, formulamos algumas hipóteses para o que estava acontecendo:

  1. Os participantes realmente achavam que haviam conseguido – neste caso, não teríamos muito o que fazer.
  2. Os participantes consideravam que “conseguir” era tentar fazer a tarefa, não necessariamente ter sucesso.
  3. Os participantes sabiam que não haviam conseguido realizar o cenário proposto, mas o termo “desisti” era muito pesado, são brasileiros e não desistem nunca.

Para investigar as hipóteses acima, precisávamos nos aprofundar um pouco mais e conversar com alguns participantes, questionando o porquê do comportamento. E para isso resolvemos fazer testes presenciais para observar pessoas respondendo pesquisas no TESTR. Foram duas rodadas de teste de guerrilha em nosso escritório na ACE, no Centro Cultural Vergueiro (que fica convenientemente na frente do escritório) e também em nosso evento de UX Speed Dating. Foi um teste muito rápido, em que pedimos para as pessoas responderem uma pesquisa no TESTR (meta-teste!) e observamos. Ao final da tarefa, conversamos sobre o que entendiam de cada um dos botões e em que situação utilizariam cada um deles.

Como resultado, vimos que realmente a escala era um problema. Poucas pessoas clicaram em “Não consegui, desisto”, mesmo quando era o caso. Nós criamos uma tarefa que era praticamente impossível de completar – em que teoricamente todo mundo deveria clicar em “Não consegui”. Mas mesmo assim, vimos gente clicando no “Completei”. E notamos que, para os participantes, tentar fazer a tarefa era uma coisa. Chegar ao objetivo pedido no cenário da tarefa, outra coisa.

“Desisti porque não encontrei o produto e não porque não conclui a tarefa.”

Confirmamos algumas hipóteses e descobrimos uma coisa nova:

  1. HIPÓTESE VALIDADA: Os participantes consideravam que “conseguir” era tentar fazer a tarefa, não necessariamente ter sucesso.
  2. HIPÓTESE VALIDADA: Os participantes sabiam que não haviam conseguido realizar o cenário proposto, mas o termo “desisti” era muito pesado, são brasileiros e não desistem nunca.
  3. + DESCOBERTA: O botão “não consegui, desisto” dava a impressão de que iam desistir da pesquisa como um todo – e, consequentemente, da recompensa pela pesquisa.


Solução proposta: simplificar tudo, separando o término da tarefa da avaliação do site

Para chegar em uma solução para os pontos observados, seguimos alguns princípios:

  • Quanto menos opções, mais fácil de escolher.
  • A culpa é do site, não do usuário.
  • As pessoas se expressam melhor falando do que digitando ou selecionando opções.

E a nova escala ficou assim:

Nova escala de avaliação

O que fizemos:

  • Apenas um botão: “Terminei a tarefa”. Em roxo, que é a nossa cor neutra.
  • Quando a pessoa clica ali, confirmamos se ela chegou ao objetivo da tarefa.
  • Escala simplificada de avaliação. Além da opção “consegui com dificuldade”, temos uma “consegui, mas algumas coisas podem ser melhoradas”. É um jeito sutil para o participante dizer “não foi tão suave assim, mas a culpa não é minha”. Do ponto de vista de quem vai receber os resultados, as duas opções do meio podem ser consideradas a mesma coisa.
  • Caso o participante tenha tido alguma dificuldade, pedimos para comentar em voz alta. Este era um pedido anterior de alguns clientes, que sentiam falta de uma justificativa sobre a resposta. Eliminamos as opções fechadas de motivo para a desistência e deixamos em aberto.
  • Reforçamos que tudo bem se não conseguiu fazer a tarefa – afinal, a culpa é do site, não do usuário.

Bom, mas o trabalho não termina por aqui. Ainda estamos testando e avaliando a nova escala e a ideia é continuar fazendo ajustes. 😉


O que muda para quem é cliente do TESTR?

Na criação do roteiro, você terá um campo a mais: o sucesso da tarefa. Isso aparecerá para o participante quando ele clicar em “Terminei”. Este campo é opcional.

Nos resultados, os resultados por tarefa vão passar a seguir esta nova escala.

A mudança foi com a intenção de melhorar os resultados que você vai obter com os testes. Vamos acompanhar isso de perto pra ver se deu certo e queremos a sua opinião! Conte pra gente o que achou!


Also published on Medium.