Framework · Pesquisa · 4 min de leitura
Margem de erro e tamanho da amostra
Uma fórmula que diz quão longe uma porcentagem de questionário provavelmente está da verdade e, invertida, quantas respostas e convites você precisa para a precisão que a decisão pede.
Respostas completas, não convites. Fica dentro de uma raiz quadrada.
ex.: 400 pessoasO resultado em decimal. Planeje com 0,5 antes de ter um.
ex.: 62% é 0,62Com que frequência a faixa conteria o valor real.
1,96 para 95%, o mais comumMetade do intervalo de confiança. Cortar pela metade pede quatro vezes mais respostas.
ex.: ±4,8 pontos: 57,2% a 66,8%MOE = z × √( p × (1 − p) ÷ n ) · n = z² × p × (1 − p) ÷ MOE²
Use quando
- Alguém pergunta quantas respostas um questionário precisa, antes de ele sair.
- Você apresenta uma porcentagem de um questionário, ou uma taxa de sucesso de um teste de usabilidade, e precisa dizer quão precisa ela é.
- Um relatório compara dois grupos ou duas opções e chama uma diferença pequena de vitória.
Como usar
- Comece pela decisão. Pergunte: "Se o número real fosse 10 pontos menor do que o que vimos, decidiríamos diferente?" Se não, ±10 basta. Resultado: a margem que a decisão aguenta, com 95% de confiança.
- Transforme a margem em respostas. Use n = z² × p × (1 − p) ÷ MOE², com z = 1,96 para 95% e p = 0,5 antes de ter resultados, porque 0,5 dá a maior margem. Sempre arredonde para cima. Resultado: o número de respostas completas de que você precisa.
- Transforme respostas em convites. Envie primeiro para uma parte da lista (um soft launch), meça a taxa de resposta e divida as respostas por ela. Resultado: o número de convites a enviar.
- Apresente cada resultado como uma faixa. Use MOE = z × √(p × (1 − p) ÷ n) com a parcela observada. Com amostras pequenas, ou parcelas perto de 0% ou de 100%, use o intervalo de Wald ajustado. Resultado: "62% ± 4,8 pontos (95%, n = 400)".
- Dê a subgrupos e diferenças a própria margem. Um subgrupo tem margem maior do que a amostra inteira, e a diferença entre dois números tem margem de cerca do dobro da de cada um. Resultado: um tamanho de amostra para cada grupo que você vai comparar.
- Diga o que a margem não cobre. Ela supõe uma amostra aleatória. Quem não pôde ser alcançado, quem preferiu não responder e as perguntas que induzem a resposta ficam de fora. Resultado: uma frase de ressalva ao lado do número.
Exemplo prático
Um time planeja um questionário para um app de dividir contas e quer saber a parcela de pessoas que divide contas com quem mora junto. Um erro de 10 pontos mudaria a decisão; um de 5, não. Com 95% e p = 0,5, ±5 pede 385 respostas completas; o soft launch mostra 10% de resposta, então enviam 3.850 convites. 400 pessoas respondem e 62% dizem que sim: ±4,8 pontos, ou seja, entre 57,2% e 66,8%. Mude os números abaixo para ver como a margem se mexe.
Os dois exemplos da aula, ao vivo. Mude qualquer número: o lado esquerdo confere um resultado que você já tem, o direito planeja um questionário que você vai enviar.
Cuidado com
- Precisão sem margem. "73,4%" de 30 respostas parece exato e não é. Ponha o n e a margem ao lado de toda porcentagem.
- A margem da amostra inteira num subgrupo. ±3 para 1.067 pessoas vira cerca de ±8 para um subgrupo de 160.
- Chamar uma diferença pequena de vitória. "Opção A 52%, opção B 47%, ±3" não é vitória clara: a margem da diferença é cerca do dobro.
- Margem para uma amostra voluntária. A fórmula supõe sorteio. Uma amostra que se escolheu sozinha pode estar bem longe da verdade, e a margem não mostra isso.
Modelo
Copie isto no plano de pesquisa antes do campo, e a linha do relatório nos resultados.
Decisão que este número alimenta: ...
Margem que a decisão aguenta: ± ... pontos com 95%
(Se o número real fosse tanto menor, decidiríamos diferente? Não.)
Respostas necessárias: n = 1,96² x p x (1 - p) / MOE² (p = 0,5 se não souber; arredonde para cima) = ...
Grupos a comparar: ... (cada um precisa do próprio n)
Taxa de resposta (soft launch): ...%
Convites: respostas / taxa de resposta = ...
Linha do relatório:
...% ± ... pontos (95%, n = ...), só erro de amostragem.
Responderam ..., o que super ou sub-representa ...
- Quantifying the User ExperienceJeff Sauro & James R. LewisLivro · 2nd ed. 2016 (Amazon)
- Surveys That Work: A Practical Guide for Designing and Running Better SurveysCaroline JarrettLivro · 2021 (Amazon)
- Understanding the margin of errorPew (site externo)
- Confidence Intervals, Margins of Error, and Confidence Levels in UXNN/g (site externo)
- Margins of Error in Usability TestsMeasuringU (site externo)
- Calculadoras gratuitasMeasuringU (site externo)
Os links "Ver na Amazon" são de afiliado: como associado, recebo por compras qualificadas, sem custo a mais para você.