Pesquisa em UX · Passo 5 · 9 min de leitura
Tamanho da amostra e margem de erro
Quantas respostas um questionário precisa depende de quão preciso o número precisa ser para a decisão. O que é margem de erro, a fórmula por trás dela, exemplos resolvidos, por que cortar o erro pela metade custa quatro vezes mais respostas, e o que a margem de erro não cobre.
"De quantas pessoas precisamos?" não tem resposta até você dizer quanto pode errar. Um questionário com 100 pessoas que dá 60% está dizendo, na verdade, "algo entre uns 50% e 70%". Às vezes isso basta: se a decisão só muda abaixo de 30%, acabou. Às vezes é inútil. A margem de erro é o que transforma "isso é suficiente?" de um palpite numa conta.
O que você vai conseguir fazer depois de ler:
- Explicar a margem de erro numa frase simples
- Calcular a margem de um resultado, à mão
- Partir da precisão que você precisa para chegar às respostas e aos convites
- Dizer do que a margem de erro não protege você
1. O que a margem de erro quer dizer
Um questionário pergunta a uma amostra, não a todo mundo, então o resultado quase nunca vai bater exatamente com o valor real. A margem de erro diz quão longe ele provavelmente está. A definição do Pew Research Center é a mais clara: uma margem de ±3 pontos percentuais com nível de confiança de 95% significa que, se aplicássemos o mesmo questionário 100 vezes, esperaríamos que o resultado ficasse a até 3 pontos do valor real da população em 95 delas (Pew, Understanding the margin of error, 2016).
Então "62% ± 5" é uma faixa, de 57% a 67%, e um nível de confiança de que a faixa contém o valor real. A NN/g explica a mesma ideia para métricas de UX, em que a faixa se chama intervalo de confiança e a margem de erro é metade da largura dele (NN/g, Confidence Intervals, Margins of Error, and Confidence Levels in UX).
2. A fórmula, para uma porcentagem
Para uma resposta de sim ou não, ou qualquer parcela de pessoas, a fórmula usual é:
MOE = z × √( p × (1 − p) ÷ n )
- n é o número de respostas.
- p é a parcela observada, em decimal: 62% é 0,62.
- z define o nível de confiança: 1,96 para 95%, a escolha mais comum.
Exemplo resolvido. 400 pessoas respondem, e 62% dizem que dividem contas com quem mora junto.
- p × (1 − p) = 0,62 × 0,38 = 0,2356
- ÷ n: 0,2356 ÷ 400 = 0,000589
- Raiz quadrada: 0,0243
- × 1,96 = 0,048, ou seja, ±4,8 pontos percentuais: entre 57,2% e 66,8%.
Antes de ter resultados, planeje com p = 0,5. É o que dá a maior margem, então é a suposição segura: com n = 400, 1,96 × √(0,25 ÷ 400) = ±4,9. Se o resultado cair longe de 50%, a margem real vai ser menor: com 20%, as mesmas 400 respostas dão ±3,9.
Um cuidado: essa fórmula simples funciona mal com amostras pequenas e com parcelas perto de 0% ou de 100%. Nesses casos, use um método ajustado, como o intervalo de Wald ajustado; a calculadora gratuita da MeasuringU para intervalo de confiança de uma taxa de conclusão mostra esse cálculo ao lado do simples (MeasuringU, calculadoras).
3. A curva: por que as próximas 100 respostas valem menos
- n = 10: ±31,0
- n = 25: ±19,6
- n = 50: ±13,9
- n = 100: ±9,8
- n = 200: ±6,9
- n = 400: ±4,9
- n = 1.000: ±3,1
- n = 2.000: ±2,2
Como o n fica dentro de uma raiz quadrada, a precisão fica cara rápido. Para cortar a margem de erro pela metade, você precisa de quatro vezes mais respostas: 100 respostas dão cerca de ±10, 400 dão cerca de ±5, 1.600 dão cerca de ±2,5. Jeff Sauro enuncia a mesma regra para métricas de usabilidade: é uma relação com o inverso da raiz quadrada (MeasuringU, Margins of Error in Usability Tests, 2009).
Daí saem duas coisas:
- As primeiras respostas compram mais. Ir de 25 para 100 corta a margem de cerca de ±20 para ±10. Ir de 1.000 para 2.000 corta de ±3,1 para ±2,2.
- O tamanho da população quase não importa, desde que a amostra seja uma parte pequena dela. A fórmula nem tem "população". Uma amostra aleatória de 1.000 é quase tão precisa para 50 mil usuários quanto para 50 milhões.
4. Planeje de trás para frente, a partir da decisão
- ±5Escolha a margem
O maior erro com que a decisão consegue conviver.
Aqui: 5 pontos percentuais, a 95% - 384Respostas completas
n = 1,96² × 0,5 × 0,5 ÷ 0,05²
Arredonde para cima: 385 respostas completas - 10%A sua taxa de resposta
Medida num envio-teste para uma parte da lista.
Nem chutada, nem desejada - 3.850Convites para enviar
385 ÷ 0,10
Não alcança tanta gente? Aceite uma margem maior
Inverta a fórmula para achar o tamanho de amostra de que você precisa:
n = z² × p × (1 − p) ÷ MOE²
Com p = 0,5 e 95% de confiança: ±10 pede 97, ±5 pede 385, ±3 pede 1.068 (sempre arredonde para cima). O exemplo do próprio Pew bate: uma amostra aleatória simples de 1.067 pessoas tem margem de cerca de ±3 pontos (Pew, 2016). O card Margem de erro e tamanho da amostra tem as duas fórmulas, um modelo de plano e uma calculadora que faz as contas por você.
Depois, planeje para as pessoas que não vão responder. O método do Sauro é mandar o questionário primeiro para uma parte da lista, um envio-teste, medir a taxa de resposta e usá-la para estimar o envio completo (MeasuringU, How To Estimate A Survey Response Rate, 2011). Com 10% de resposta, 385 respostas completas pedem cerca de 3.850 convites.
E escolha a margem pela decisão, não pelo hábito. Pergunte: "Se o número real fosse 10 pontos mais baixo do que vimos, decidiríamos diferente?" Se não, ±10 basta, e 100 respostas resolvem.
5. Grupos e comparações pedem mais
Duas armadilhas pegam quase todo primeiro relatório de questionário.
- Subgrupos têm a própria margem, e maior. Os ±3 de uma pesquisa com 1.067 pessoas valem para a amostra inteira. O exemplo do Pew: um subgrupo de cerca de 160 pessoas tem margem de cerca de ±8 pontos (Pew, 2016). Se você pretende comparar usuários novos e antigos, cada grupo precisa do próprio tamanho de amostra.
- A diferença entre dois números tem margem maior do que cada número. O Pew observa que a margem da distância entre dois candidatos numa mesma pesquisa é, em geral, cerca do dobro da margem de cada um. Então "opção A 52%, opção B 47%, ±3" não é uma vitória clara.
Para diferenças entre duas versões de um design, use um teste feito para comparar, que é o que fazem os Analytics e testes A/B para designers da próxima aula.
6. O que a margem de erro não cobre
A fórmula supõe uma amostra aleatória da população que importa. Ela não diz nada sobre quem não pôde ser alcançado, quem escolheu não responder ou uma pergunta que induz. O Pew diz com todas as letras: o erro amostral é só uma de muitas fontes possíveis de erro, e as outras são mais difíceis de medir e raramente relatadas (Pew, 2016). O Pew também observa que ponderar uma amostra para ela parecer a população aumenta a margem real, pelo chamado efeito de desenho.
Então relate com honestidade: "±5 pontos a 95%, só para erro amostral; responderam pessoas que abriram o app em março, o que super-representa usuários ativos." Essa frase liga esta aula a Vieses em questionários.
E lembre para que ela serve. Estudos qualitativos, como o Teste de usabilidade com cinco pessoas, não tentam estimar uma porcentagem, então a margem de erro não é o teste certo para eles. Para métricas quantitativas de usabilidade, Quantos participantes tem os números.
7. Erros comuns
- Relatar "73,4%" a partir de 30 respostas, sem margem.
- Comparar dois subgrupos usando a margem da amostra inteira.
- Chamar de vitória uma diferença de 4 pontos quando a margem da diferença é ±6.
- Citar margem de erro para uma amostra voluntária, autosselecionada, como se fosse aleatória.
- Planejar o tamanho da amostra e esquecer a taxa de resposta.
- Esperar 1.000 respostas quando a decisão já estava clara com 100.
8. Vocabulário
| Termo | Significado |
|---|---|
| Amostra | As pessoas que de fato responderam |
| População | Todo mundo que você quer que o resultado descreva |
| Margem de erro | Quão longe o resultado da amostra provavelmente está do valor real |
| Nível de confiança | Com que frequência a faixa conteria o valor real se você repetisse o questionário; em geral 95% |
| Intervalo de confiança | A faixa: o resultado menos e mais a margem |
| Taxa de resposta | Respostas completas divididas pelos convites enviados |
| Envio-teste | Mandar primeiro para uma parte da lista, para conferir o questionário e medir a resposta |
| Efeito de desenho | A perda de precisão causada por ponderação ou por uma amostra complexa |
9. Experimente (sem ferramentas, ou com a calculadora do celular)
- Um questionário com 100 pessoas mostra que 30% usam um recurso toda semana. Calcule a margem a 95%: 1,96 × √(0,3 × 0,7 ÷ 100).
- Quantas respostas você precisaria para baixar a margem para ±5, supondo p = 0,5?
- A sua taxa de resposta é de 8%. Quantos convites são?
(Respostas: cerca de ±9 pontos; 385; cerca de 4.813.)
Perguntas para refletir: Qual foi o último número com base no qual o seu time decidiu algo? A decisão teria sobrevivido a uma margem de ±10?
10. Se você já pratica
- Coloque a margem de erro ao lado de cada porcentagem nos relatórios, e o n ao lado de cada gráfico.
- Defina a meta de precisão no plano de pesquisa, com a decisão a que ela serve, antes do campo.
- Planeje o tamanho de cada subgrupo de forma explícita quando a pergunta for uma comparação.
- Faça um envio-teste em todo envio grande: ele mede a taxa de resposta e pega uma pergunta quebrada antes que ela chegue a todo mundo.
Checklist
Para saber mais
- Andrew Mercer, Pew Research Center, Understanding the margin of error in election polls (2016)
- NN/g, Confidence Intervals, Margins of Error, and Confidence Levels in UX
- Jeff Sauro, What is a Representative Sample Size for a Survey? (MeasuringU, 2010) · How To Estimate A Survey Response Rate (2011) · Margins of Error in Usability Tests (2009)
- MeasuringU, calculadoras gratuitas
Livros, cursos e vídeos para ir mais fundo
- Quantifying the User Experience: Practical Statistics for User ResearchJeff Sauro e James R. LewisLivro · Morgan Kaufmann, 2ª edição, 2016 (Amazon)
- Surveys That Work: A Practical Guide for Designing and Running Better SurveysCaroline JarrettLivro · Rosenfeld Media, 2021 (Amazon)
Os links dos livros são de afiliado da Amazon: como associado, recebo por compras qualificadas, sem custo a mais para você.
Relacionadas
Vieses em questionários · Margem de erro e tamanho da amostra · Quantos participantes · Medir a usabilidade · Questionários de triagem e amostragem · Analytics e testes A/B para designers