Pesquisa em UX · Passo 4 · 8 min de leitura
Moderar e pensar em voz alta
Pensar em voz alta é o método de usabilidade mais útil que existe, e o mais fácil de estragar falando. Como orientar os participantes, mantê-los falando sem conduzi-los, responder às perguntas deles sem responder, aprofundar depois de uma tarefa e perceber quando você enviesou uma sessão.
Cada vez que você ajuda um participante, você apaga um achado. Parece gentil apontar o botão que a pessoa não acha. Parece grosseiro responder uma pergunta com outra pergunta. Mas um teste de usabilidade existe para ver o que acontece quando você não está lá, e você não vai estar lá quando as pessoas usarem o produto de verdade. Moderar bem parece fazer muito pouco. Na prática, são muitas decisões silenciosas sobre quando falar, o que dizer e o que nunca dizer.
O que você vai conseguir fazer depois de ler:
- Explicar o que o pensar em voz alta mostra, e os seus três principais riscos
- Orientar os participantes para pensarem em voz alta desde a primeira tarefa
- Mantê-los falando e responder às perguntas deles sem induzir
- Fazer perguntas depois de uma tarefa, e reconhecer uma sessão que você enviesou
1. O que pensar em voz alta mostra
Num teste de pensar em voz alta, os participantes usam o design enquanto dizem continuamente o que estão pensando: o que procuram, o que esperam, o que os confunde. Nielsen o chamou de "the single most valuable usability engineering method", o método de engenharia de usabilidade mais valioso, em 1993, e continuava defendendo isso em 2012 (NN/g, Nielsen, Thinking Aloud: The #1 Usability Tool, 2012).
O que o torna tão valioso é que ele mostra o porquê. Você ouve os equívocos das pessoas, e equívocos costumam virar redesign direto: quando as pessoas interpretam mal um elemento, você o muda. Nielsen acrescenta que o método é robusto: a não ser que você coloque palavras na boca das pessoas de forma escancarada, até um estudo mal conduzido traz achados razoavelmente bons.
Teste de usabilidade com cinco pessoas apresentou o método. Esta lição é sobre a parte que faz ele dar certo ou errado: você.
2. Três riscos, e o que fazer com cada um
Nielsen lista os pontos fracos sem rodeios (2012):
- É artificial. A maioria das pessoas não passa o dia falando sozinha. Por sorte, elas logo se envolvem nas tarefas. Mostre um exemplo curto antes de começar (alguns segundos de você pensando em voz alta num site qualquer, ou um vídeo curto) para a pessoa saber o que se espera dela.
- Falas filtradas. As pessoas querem parecer inteligentes, então esperam entender a situação e depois te dão um comentário arrumado. Você quer o fluxo bruto do pensamento. Incentive a pessoa a continuar falando.
- Enviesar o comportamento. Estímulos são necessários, mas as interrupções de um facilitador sem treino mudam com facilidade o que as pessoas fazem. Quando você souber que enviesou um momento, anote e descarte essa parte. Pior é não saber.
Mais um limite: pensar em voz alta deixa as pessoas mais lentas, então os tempos medidos num teste assim não são tempos reais de tarefa. O NN/g observa que o tempo extra gasto falando contamina as medidas de tempo na tarefa (NN/g, Nielsen e Budiu, Success Rate, 2001). Se você precisa medir tempo, isso é outro estudo (veja Medir a usabilidade).
3. A orientação
Dois minutos antes da primeira tarefa fazem quase todo o trabalho:
- "Estamos testando o design, não você. Se algo estiver difícil, é exatamente isso que precisamos descobrir."
- "Por favor, pense em voz alta: diga o que está olhando, o que está tentando fazer, o que espera que aconteça." Depois mostre o exemplo curto.
- "Talvez eu não responda às suas perguntas. Não é falta de educação; quero ver o que você faria se eu não estivesse aqui. Pergunte mesmo assim: as perguntas nos ajudam."
- "Pode parar quando quiser." E peça consentimento para gravar (Ética e consentimento na pesquisa).
O terceiro ponto é o que mais se esquece. Diga logo no começo, e devolver uma pergunta depois parece parte do combinado, não uma desfeita.
Uma sessão de usabilidade também é diferente de uma entrevista. Na entrevista você é caloroso e faz bastante contato visual para criar rapport. No teste, o NN/g descreve uma interação mais rígida: contato visual esporádico e um facilitador que evita ser simpático demais. A atenção é da tela (NN/g, User Interviews 101, 2023).
4. Durante uma tarefa
- PTá, a Ana estava fora… estou procurando algo tipo "editar". Hmm.Pensando em voz alta: o que procura, nas palavras dela
- MFica nos três pontinhos, lá em cima à direita.Ajudar. A descoberta acabou de sumir
- M(espera cinco segundos)Silêncio. Deixe a pessoa continuar procurando
- P"Dividir" é o que eu quero? Aperto?Uma pergunta direta para você
- MIsso, tenta esse.Responder. Agora o caminho é seu, não dela
- MO que você faria se eu não estivesse aqui?Bumerangue. A pergunta volta para a pessoa
- PEu apertaria, acho. Ué, dividiu em três. Não era isso que eu queria. Estranho.O problema real aparece
- MEstranho?Eco. A palavra dela, como pergunta
- PAchei que "Dividir" ia me perguntar como. Ele já fez. Eu queria escolher antes.A expectativa por trás do problema: um achado
Quando a pessoa ficar em silêncio, espere. Depois, um estímulo neutro: "O que você está pensando?" ou "O que você está procurando?". Nunca "Você está procurando o menu?": isso dá o nome da resposta.
Quando a pessoa te perguntar algo, não responda. Kara Pernice, do NN/g, dá três movimentos seguros (NN/g, Pernice, Talking with Participants During a Usability Test, 2014):
- Eco: repita a última palavra ou expressão em tom de pergunta. "Estranho?"
- Bumerangue: devolva a pergunta. "O que você acha?", "O que você faria normalmente?"
- Columbo: faça meia pergunta e deixe no ar, agindo menos como especialista. "Então você estava… [pausa]".
E antes de dizer qualquer coisa, decida se precisa: foi uma pergunta de verdade, ou só a pessoa pensando em voz alta? Você já entendeu o suficiente? Aprofundar vai mesmo acrescentar algo?
Quando a pessoa travar de vez e a sessão não puder seguir, ajude com o menor passo possível ("Tem algum outro lugar onde você poderia procurar?"), anote que a tarefa falhou naquele ponto e siga em frente. Destravar alguém não é crime; esquecer de registrar é.
O que não fazer: explicar o design, defendê-lo, dizer "isso" ou "perfeito" (o elogio diz que a pessoa está no caminho certo) ou mostrar onde algo está. Se foi você que desenhou, essa é a parte mais difícil. Sente em cima das mãos.
5. Depois de uma tarefa
Quando a tarefa termina, ou é abandonada, tem espaço para algumas perguntas, de novo em funil: amplo primeiro ("O que você achou de fazer isso?"), depois mais estreito ("Você parou nesta tela. O que estava passando pela sua cabeça?") (NN/g, Rosala e Moran, The Funnel Technique, 2022). Aponte para a tela, não para a resposta: "Me fale desta parte" em vez de "Você viu os filtros?".
Se você vai pedir uma nota depois de cada tarefa, peça agora, antes das perguntas, para as suas perguntas não mudarem a resposta (Medir a usabilidade).
6. Erros comuns
- Ajudar, dar dicas ou mostrar o caminho durante uma tarefa.
- Dizer "isso", "ótimo" ou "perfeito" quando a pessoa acerta.
- Estímulos que dão o nome da resposta: "Você está procurando a busca?"
- Pular a orientação, e os participantes só pensam em voz alta quando lembrados.
- Medir o tempo na tarefa numa sessão de pensar em voz alta.
- Não marcar os momentos que você enviesou, e eles acabam nos achados.
7. Vocabulário
| Termo | Significado |
|---|---|
| Pensar em voz alta | Os participantes dizem o que estão pensando enquanto usam o design |
| Moderador / facilitador | A pessoa que orienta, dá as tarefas e decide quando falar |
| Estímulo | Um empurrãozinho neutro para o participante continuar falando |
| Eco, bumerangue, Columbo | Três jeitos de responder ao participante sem induzir |
| Ajuda | Auxílio dado durante a tarefa; a tarefa conta como falha ou como feita com ajuda |
| Viés | Quando as palavras do moderador mudam o que o participante faz |
8. Experimente (sem ferramentas)
- Peça a um amigo para programar um alarme no celular para um horário que você escolher, pensando em voz alta enquanto faz.
- As únicas palavras permitidas para você são "O que você está pensando?" e o eco da última palavra dele.
- Depois, anote cada momento em que você quis ajudar.
Perguntas para refletir: O que a pessoa disse que te surpreendeu? O que você teria perdido se tivesse respondido à primeira pergunta dela?
9. Se você já pratica
- Grave uma sessão sua e marque cada vez que você falou durante uma tarefa. Classifique cada fala: estímulo, eco, bumerangue, Columbo, ajuda, elogio. O objetivo é eliminar as duas últimas.
- Dê aos observadores uma lista do que observar (hesitações, caminhos errados, leituras equivocadas), para não ficarem tentados a julgar o participante.
- Treine novos moderadores fazendo-os anotar primeiro, depois moderar com você anotando, e só então sozinhos.
- Steve Krug compartilha, de graça, os roteiros de teste de usabilidade que usa, no site dele (em inglês). Adapte um em vez de começar do zero.
Checklist
Para saber mais
- NN/g: Thinking Aloud: The #1 Usability Tool (Nielsen, 2012) · Talking with Participants During a Usability Test (Pernice, 2014) · The Funnel Technique in Qualitative User Research (Rosala e Moran, 2022)
Livros, cursos e vídeos para ir mais fundo
- Simplificando coisas que parecem complicadasSteve KrugLivro · Alta Books, 2010 · edição brasileira de "Rocket Surgery Made Easy" (Amazon)
- Usability test scriptsSteve Kruggratuito, download, em inglês (site externo)
- Thinking Aloud: The #1 Usability ToolNN/ggratuito, artigo, em inglês (site externo)
Os links dos livros são de afiliado da Amazon: como associado, recebo por compras qualificadas, sem custo a mais para você.
Relacionadas
Teste de usabilidade com cinco pessoas · Conduzir a sessão e escutar · Tarefas e cenários · Como as pessoas pensam · Teste com três pessoas · Medir a usabilidade