Marcus Andrey Estudo
Read in English Biblioteca

Pesquisa em UX · Passo 4 · 8 min de leitura

Quantos participantes

"Teste com cinco usuários" é o número mais famoso de UX, e o mais mal lido. De onde ele vem, o que a fórmula diz de verdade, o que Faulkner encontrou quando testou 60 pessoas, como a resposta muda para problemas mais raros, para grupos diferentes de usuários e para medir, e como escolher um número que você consiga defender.

Cinco é uma boa resposta para uma pergunta específica, e uma resposta ruim para todas as outras. É o bastante para achar a maioria dos problemas que muitos dos seus usuários vão encontrar, numa rodada de teste qualitativo, com pessoas parecidas. Não é o bastante para achar problemas raros, para cobrir grupos muito diferentes ou para medir qualquer coisa. Saber qual pergunta você está fazendo é o que transforma "cinco usuários" de slogan em decisão.

O que você vai conseguir fazer depois de ler:

  • Explicar a fórmula de Nielsen e Landauer e a curva por trás dos "cinco usuários"
  • Ler a curva com as premissas reais, e ver o que muda quando elas não valem
  • Usar os resultados de Faulkner para explicar o risco das amostras pequenas
  • Escolher um número de participantes para testes qualitativos, vários grupos de usuários e estudos quantitativos

1. De onde vem o cinco

Em 1993, Jakob Nielsen e Tom Landauer publicaram um modelo matemático de como os problemas de usabilidade são encontrados (Nielsen e Landauer, A mathematical model of the finding of usability problems, INTERCHI '93). No resumo que Nielsen fez em 2000, a parcela de problemas encontrados com n participantes é:

found(n) = 1 − (1 − L)ⁿ

em que L é a proporção de problemas que um participante revela. Nos projetos que eles estudaram, o L típico foi de 31% (NN/g, Nielsen, Why You Only Need to Test with 5 Users, 2000).

Uma pessoa acha 31% dos problemas (a média de Nielsen)Uma pessoa acha 10% (um conjunto mais difícil de achar)

Gráfico de linha da parcela de problemas de usabilidade encontrados por número de participantes, pela fórmula 1 menos (1 menos L) elevado a n. Com L = 0,31: 31% com 1 participante, 52% com 2, 67% com 3, 77% com 4, 84% com 5, 98% com 10 e mais de 99% com 15. Com L = 0,10: 41% com 5, 65% com 10, 79% com 15.0%25%50%75%100%01351015Participantes5 pessoas: 84%10: 98%5 pessoas: 41%
A parcela de problemas encontrados por número de participantes: 1 − (1 − L)n, desenhada com os valores reais. Com o L médio de Nielsen e Landauer, de 31%, cinco pessoas acham 84% (Nielsen arredonda para 85%). Se cada pessoa só esbarra em 10% dos problemas, cinco pessoas acham 41%. A curva só é tão boa quanto o seu L.Gráfico: Marcus Andrey, CC BY 4.0, a partir da fórmula de Nielsen e Landauer, A mathematical model of the finding of usability problems (INTERCHI 1993), usada em Nielsen, 2000.

A curva explica o conselho. A primeira pessoa ensina quase um terço do que há para aprender. A segunda repete parte disso e acrescenta menos. Na quinta, você está quase só vendo os mesmos problemas de novo. Nielsen observa que seriam precisas pelo menos 15 pessoas para achar quase todos os problemas, mas recomenda gastar esse orçamento em três rodadas de cinco, corrigindo entre uma e outra, porque o objetivo é melhorar o design, não documentar os defeitos dele.


2. As premissas dentro da curva

Raluca Budiu, do NN/g, explica por que cinco funciona num estudo qualitativo: o objetivo é encontrar problemas, e qualquer problema que você vê é real, do mesmo jeito que uma pessoa caindo num buraco basta para saber que ele precisa ser tapado. Um teste qualitativo não tenta prever quantos usuários vão ter o problema (NN/g, Budiu, Why 5 Participants Are Okay in a Qualitative Study, but Not in a Quantitative One, 2021).

Ela também aponta o ponto fraco: 31% é uma média de projetos do começo dos anos 1990. Se o seu design já passou por muitas rodadas de melhoria, os problemas ficam mais difíceis de encontrar, o L cai e você precisa de mais gente. A fórmula continua valendo; você só coloca outro L.

Jeff Sauro, da MeasuringU, reapresenta a mesma conta de um jeito mais fácil de usar. Cinco usuários dão cerca de 85% de chance de ver um problema que afeta 31% dos usuários. Um problema que afeta 10% dos usuários precisa de 18 participantes para a mesma chance. E em software que já está no ar, ele sugere que a probabilidade de um problema deve estar mais perto de 10% ou menos (Sauro, Why you only need to test with five users (explained), MeasuringU, 2010).

Problemas que afetam… Participantes para 85% de chance de vê-los
31% dos usuários 5
20% dos usuários 9
10% dos usuários 18

3. O que acontece com pessoas de verdade

Laura Faulkner testou diretamente a premissa dos cinco usuários. Ela fez o teste com 60 participantes e depois sorteou grupos entre eles para ver o que cada grupo teria encontrado. Alguns grupos de cinco acharam 99% dos problemas; outros, só 55%. Com dez pessoas, o pior grupo ainda achou 80%; com vinte, 95% (Faulkner, Beyond the five-user assumption, Behavior Research Methods, Instruments, & Computers, 2003).

  1. 5 pessoas, o grupo de mais sorte99%
  2. 5 pessoas, o grupo de menos sorte55%
  3. 10 pessoas, o grupo de menos sorte80%
  4. 20 pessoas, o grupo de menos sorte95%

Parcela de todos os problemas encontrados pelos 60 participantes, em grupos sorteados entre eles.

O que cinco pessoas encontram depende de quais cinco. Laura Faulkner testou 60 pessoas e sorteou grupos entre elas: alguns grupos de cinco acharam 99% dos problemas, outros só 55%. Mais gente serve, sobretudo, para subir o piso: o pior grupo de dez achou 80%, o pior de vinte, 95%.Gráfico: Marcus Andrey, CC BY 4.0, com os números de Faulkner, Beyond the five-user assumption, Behavior Research Methods, Instruments, & Computers 35 (2003).

Então "cinco pessoas acham 85%" é uma média. As suas cinco podem ser um grupo de sorte ou de azar, e você não vai saber qual. Isso não é motivo para abandonar testes pequenos; é motivo para fazer vários e para ser modesto sobre o que uma rodada prova.


4. Grupos diferentes, entrevistas e números

Vários grupos de usuários. A fórmula supõe pessoas parecidas, usando o produto de jeitos parecidos. Se você tem grupos muito diferentes (o exemplo de Nielsen: crianças e pais), teste cada um. Como os grupos ainda têm muito em comum, você precisa de menos gente por grupo: 3 a 4 para cada um de dois grupos, e 3 para cada um de três ou mais, nunca menos de 3 por grupo (Nielsen, 2000).

Entrevistas. Entrevistas buscam entender experiências, que variam mais do que problemas de interface, então não existe fórmula. O conselho do NN/g é começar pequeno, analisar enquanto avança e parar na saturação, quando novas entrevistas deixam de mudar os seus temas (NN/g, Rosala, How Many Participants for a UX Interview?, 2021). Veja Entrevistas curtas com usuários.

Medir. Números precisam de muito mais gente. A orientação do NN/g para a maioria dos estudos quantitativos de usabilidade é de 40 participantes: é o que se precisa para estimar uma taxa de sucesso com margem de uns 15 pontos percentuais e 95% de confiança (NN/g, Budiu e Moran, How Many Participants for Quantitative Usability Studies, 2021). Se 70% tiveram sucesso nesse estudo, a taxa real pode estar em qualquer lugar entre 55% e 85%. Com cinco pessoas, a faixa é tão larga que o número quase não quer dizer nada. Esse é o assunto de Medir a usabilidade e de Tamanho da amostra e margem de erro.


5. Escolhendo o seu número

Você quer… Comece com
Achar os principais problemas de um design, iterando 5 por rodada, várias rodadas
Testar dois ou três grupos de usuários bem diferentes 3 a 4 por grupo (pelo menos 3)
Pegar problemas mais raros num produto maduro Mais por rodada (de 9 a 18), ou mais rodadas
Entender experiências em entrevistas 5 a 6, e seguir até a saturação
Medir taxa de sucesso, tempo ou satisfação Cerca de 40

E sempre recrute uma ou duas pessoas a mais: alguém sempre cancela.


6. Erros comuns

  • Citar "85%" como se toda rodada de cinco chegasse lá.
  • Usar cinco num produto maduro, em que os problemas são raros, e concluir que está tudo bem.
  • Misturar usuários muito diferentes num grupo de cinco.
  • Divulgar porcentagens de cinco pessoas ("80% tiveram sucesso").
  • Uma rodada de cinco, e nenhuma segunda rodada depois das correções.
  • Usar a fórmula de usabilidade para dimensionar estudos de entrevista.

7. Vocabulário

Termo Significado
L A proporção de problemas que um participante revela (31% nos dados de Nielsen e Landauer)
Descoberta de problemas O objetivo de um teste qualitativo: encontrar o que dá errado
Teste iterativo Várias rodadas pequenas, com correções entre elas
Saturação O ponto em que novas sessões deixam de trazer temas novos
Intervalo de confiança A faixa em que o valor real provavelmente está, dada a sua amostra
Margem de erro Metade da largura do intervalo de confiança

8. Experimente (sem ferramentas)

  1. Com uma calculadora, faça 1 − (1 − L)ⁿ para L = 0,31 e n = 1, 3, 5. Depois para L = 0,10 e os mesmos n.
  2. Compare com o gráfico: deu 31%, 67%, 84%, e 10%, 27%, 41%?
  3. Pense no seu produto: é um design novo ou maduro? Qual L parece mais perto da realidade?

Perguntas para refletir: Se alguém do seu time disser "testamos com cinco, então está tudo bem", o que você perguntaria? O que precisaria saber antes de concordar?


9. Se você já pratica

  • Planeje estudos em rodadas, não num número: "três rodadas de cinco em seis semanas" é um plano melhor do que "quinze usuários".
  • Depois de uma rodada, conte quantos problemas novos os dois últimos participantes trouxeram. Se ainda forem muitos, acrescente uma sessão.
  • Quando stakeholders questionarem amostras pequenas, mostre o gráfico de Faulkner e o plano da próxima rodada, não os 85%.
  • Quantifying the User Experience, de Sauro e Lewis, cobre o tamanho da amostra para todo tipo de estudo, com as fórmulas.

Checklist

Para saber mais

Livros, cursos e vídeos para ir mais fundo

Os links dos livros são de afiliado da Amazon: como associado, recebo por compras qualificadas, sem custo a mais para você.

Relacionadas

Teste de usabilidade com cinco pessoas · Planejar um teste de usabilidade · Medir a usabilidade · Tamanho da amostra e margem de erro · Questionários de triagem e amostragem · Entrevistas curtas com usuários

Salvo só neste dispositivo.

↑ ↓ para mover · Enter para abrir · Esc para fechar