Marcus Andrey Estudo
Read in English Biblioteca

Pesquisa em UX · Passo 5 · 9 min de leitura

Tamanho da amostra e margem de erro

Quantas respostas um questionário precisa depende de quão preciso o número precisa ser para a decisão. O que é margem de erro, a fórmula por trás dela, exemplos resolvidos, por que cortar o erro pela metade custa quatro vezes mais respostas, e o que a margem de erro não cobre.

"De quantas pessoas precisamos?" não tem resposta até você dizer quanto pode errar. Um questionário com 100 pessoas que dá 60% está dizendo, na verdade, "algo entre uns 50% e 70%". Às vezes isso basta: se a decisão só muda abaixo de 30%, acabou. Às vezes é inútil. A margem de erro é o que transforma "isso é suficiente?" de um palpite numa conta.

O que você vai conseguir fazer depois de ler:

  • Explicar a margem de erro numa frase simples
  • Calcular a margem de um resultado, à mão
  • Partir da precisão que você precisa para chegar às respostas e aos convites
  • Dizer do que a margem de erro não protege você

1. O que a margem de erro quer dizer

Um questionário pergunta a uma amostra, não a todo mundo, então o resultado quase nunca vai bater exatamente com o valor real. A margem de erro diz quão longe ele provavelmente está. A definição do Pew Research Center é a mais clara: uma margem de ±3 pontos percentuais com nível de confiança de 95% significa que, se aplicássemos o mesmo questionário 100 vezes, esperaríamos que o resultado ficasse a até 3 pontos do valor real da população em 95 delas (Pew, Understanding the margin of error, 2016).

Então "62% ± 5" é uma faixa, de 57% a 67%, e um nível de confiança de que a faixa contém o valor real. A NN/g explica a mesma ideia para métricas de UX, em que a faixa se chama intervalo de confiança e a margem de erro é metade da largura dele (NN/g, Confidence Intervals, Margins of Error, and Confidence Levels in UX).


2. A fórmula, para uma porcentagem

Para uma resposta de sim ou não, ou qualquer parcela de pessoas, a fórmula usual é:

MOE = z × √( p × (1 − p) ÷ n )
  • n é o número de respostas.
  • p é a parcela observada, em decimal: 62% é 0,62.
  • z define o nível de confiança: 1,96 para 95%, a escolha mais comum.

Exemplo resolvido. 400 pessoas respondem, e 62% dizem que dividem contas com quem mora junto.

  1. p × (1 − p) = 0,62 × 0,38 = 0,2356
  2. ÷ n: 0,2356 ÷ 400 = 0,000589
  3. Raiz quadrada: 0,0243
  4. × 1,96 = 0,048, ou seja, ±4,8 pontos percentuais: entre 57,2% e 66,8%.

Antes de ter resultados, planeje com p = 0,5. É o que dá a maior margem, então é a suposição segura: com n = 400, 1,96 × √(0,25 ÷ 400) = ±4,9. Se o resultado cair longe de 50%, a margem real vai ser menor: com 20%, as mesmas 400 respostas dão ±3,9.

Um cuidado: essa fórmula simples funciona mal com amostras pequenas e com parcelas perto de 0% ou de 100%. Nesses casos, use um método ajustado, como o intervalo de Wald ajustado; a calculadora gratuita da MeasuringU para intervalo de confiança de uma taxa de conclusão mostra esse cálculo ao lado do simples (MeasuringU, calculadoras).


3. A curva: por que as próximas 100 respostas valem menos

Margem de erro, em pontos percentuais, por número de respostas

  1. n = 10: ±31,0
  2. n = 25: ±19,6
  3. n = 50: ±13,9
  4. n = 100: ±9,8
  5. n = 200: ±6,9
  6. n = 400: ±4,9
  7. n = 1.000: ±3,1
  8. n = 2.000: ±2,2
Respostas (n)Nível de confiança de 95%, p = 0,5
A margem de erro cai rápido no começo e devagar depois: para cortá-la pela metade, você precisa de quatro vezes mais respostas (100 → 400 dá ±9,8 → ±4,9).Valores calculados com MOE = 1,96 × √(p(1 − p)/n), para p = 0,5, o pior caso, numa amostra aleatória simples. Gráfico: Marcus Andrey, CC BY 4.0.

Como o n fica dentro de uma raiz quadrada, a precisão fica cara rápido. Para cortar a margem de erro pela metade, você precisa de quatro vezes mais respostas: 100 respostas dão cerca de ±10, 400 dão cerca de ±5, 1.600 dão cerca de ±2,5. Jeff Sauro enuncia a mesma regra para métricas de usabilidade: é uma relação com o inverso da raiz quadrada (MeasuringU, Margins of Error in Usability Tests, 2009).

Daí saem duas coisas:

  • As primeiras respostas compram mais. Ir de 25 para 100 corta a margem de cerca de ±20 para ±10. Ir de 1.000 para 2.000 corta de ±3,1 para ±2,2.
  • O tamanho da população quase não importa, desde que a amostra seja uma parte pequena dela. A fórmula nem tem "população". Uma amostra aleatória de 1.000 é quase tão precisa para 50 mil usuários quanto para 50 milhões.

4. Planeje de trás para frente, a partir da decisão

  1. ±5Escolha a margem

    O maior erro com que a decisão consegue conviver.

    Aqui: 5 pontos percentuais, a 95%
  2. 384Respostas completas

    n = 1,96² × 0,5 × 0,5 ÷ 0,05²

    Arredonde para cima: 385 respostas completas
  3. 10%A sua taxa de resposta

    Medida num envio-teste para uma parte da lista.

    Nem chutada, nem desejada
  4. 3.850Convites para enviar

    385 ÷ 0,10

    Não alcança tanta gente? Aceite uma margem maior
Planeje de trás para frente a partir da decisão: primeiro a margem, depois as respostas, depois os convites.Diagrama: Marcus Andrey, CC BY 4.0. Método do envio-teste: Jeff Sauro, How To Estimate A Survey Response Rate (MeasuringU, 2011).

Inverta a fórmula para achar o tamanho de amostra de que você precisa:

n = z² × p × (1 − p) ÷ MOE²

Com p = 0,5 e 95% de confiança: ±10 pede 97, ±5 pede 385, ±3 pede 1.068 (sempre arredonde para cima). O exemplo do próprio Pew bate: uma amostra aleatória simples de 1.067 pessoas tem margem de cerca de ±3 pontos (Pew, 2016). O card Margem de erro e tamanho da amostra tem as duas fórmulas, um modelo de plano e uma calculadora que faz as contas por você.

Depois, planeje para as pessoas que não vão responder. O método do Sauro é mandar o questionário primeiro para uma parte da lista, um envio-teste, medir a taxa de resposta e usá-la para estimar o envio completo (MeasuringU, How To Estimate A Survey Response Rate, 2011). Com 10% de resposta, 385 respostas completas pedem cerca de 3.850 convites.

E escolha a margem pela decisão, não pelo hábito. Pergunte: "Se o número real fosse 10 pontos mais baixo do que vimos, decidiríamos diferente?" Se não, ±10 basta, e 100 respostas resolvem.


5. Grupos e comparações pedem mais

Duas armadilhas pegam quase todo primeiro relatório de questionário.

  • Subgrupos têm a própria margem, e maior. Os ±3 de uma pesquisa com 1.067 pessoas valem para a amostra inteira. O exemplo do Pew: um subgrupo de cerca de 160 pessoas tem margem de cerca de ±8 pontos (Pew, 2016). Se você pretende comparar usuários novos e antigos, cada grupo precisa do próprio tamanho de amostra.
  • A diferença entre dois números tem margem maior do que cada número. O Pew observa que a margem da distância entre dois candidatos numa mesma pesquisa é, em geral, cerca do dobro da margem de cada um. Então "opção A 52%, opção B 47%, ±3" não é uma vitória clara.

Para diferenças entre duas versões de um design, use um teste feito para comparar, que é o que fazem os Analytics e testes A/B para designers da próxima aula.


6. O que a margem de erro não cobre

A fórmula supõe uma amostra aleatória da população que importa. Ela não diz nada sobre quem não pôde ser alcançado, quem escolheu não responder ou uma pergunta que induz. O Pew diz com todas as letras: o erro amostral é só uma de muitas fontes possíveis de erro, e as outras são mais difíceis de medir e raramente relatadas (Pew, 2016). O Pew também observa que ponderar uma amostra para ela parecer a população aumenta a margem real, pelo chamado efeito de desenho.

Então relate com honestidade: "±5 pontos a 95%, só para erro amostral; responderam pessoas que abriram o app em março, o que super-representa usuários ativos." Essa frase liga esta aula a Vieses em questionários.

E lembre para que ela serve. Estudos qualitativos, como o Teste de usabilidade com cinco pessoas, não tentam estimar uma porcentagem, então a margem de erro não é o teste certo para eles. Para métricas quantitativas de usabilidade, Quantos participantes tem os números.


7. Erros comuns

  • Relatar "73,4%" a partir de 30 respostas, sem margem.
  • Comparar dois subgrupos usando a margem da amostra inteira.
  • Chamar de vitória uma diferença de 4 pontos quando a margem da diferença é ±6.
  • Citar margem de erro para uma amostra voluntária, autosselecionada, como se fosse aleatória.
  • Planejar o tamanho da amostra e esquecer a taxa de resposta.
  • Esperar 1.000 respostas quando a decisão já estava clara com 100.

8. Vocabulário

Termo Significado
Amostra As pessoas que de fato responderam
População Todo mundo que você quer que o resultado descreva
Margem de erro Quão longe o resultado da amostra provavelmente está do valor real
Nível de confiança Com que frequência a faixa conteria o valor real se você repetisse o questionário; em geral 95%
Intervalo de confiança A faixa: o resultado menos e mais a margem
Taxa de resposta Respostas completas divididas pelos convites enviados
Envio-teste Mandar primeiro para uma parte da lista, para conferir o questionário e medir a resposta
Efeito de desenho A perda de precisão causada por ponderação ou por uma amostra complexa

9. Experimente (sem ferramentas, ou com a calculadora do celular)

  1. Um questionário com 100 pessoas mostra que 30% usam um recurso toda semana. Calcule a margem a 95%: 1,96 × √(0,3 × 0,7 ÷ 100).
  2. Quantas respostas você precisaria para baixar a margem para ±5, supondo p = 0,5?
  3. A sua taxa de resposta é de 8%. Quantos convites são?

(Respostas: cerca de ±9 pontos; 385; cerca de 4.813.)

Perguntas para refletir: Qual foi o último número com base no qual o seu time decidiu algo? A decisão teria sobrevivido a uma margem de ±10?


10. Se você já pratica

  • Coloque a margem de erro ao lado de cada porcentagem nos relatórios, e o n ao lado de cada gráfico.
  • Defina a meta de precisão no plano de pesquisa, com a decisão a que ela serve, antes do campo.
  • Planeje o tamanho de cada subgrupo de forma explícita quando a pergunta for uma comparação.
  • Faça um envio-teste em todo envio grande: ele mede a taxa de resposta e pega uma pergunta quebrada antes que ela chegue a todo mundo.

Checklist

Para saber mais

Livros, cursos e vídeos para ir mais fundo

Os links dos livros são de afiliado da Amazon: como associado, recebo por compras qualificadas, sem custo a mais para você.

Relacionadas

Vieses em questionários · Margem de erro e tamanho da amostra · Quantos participantes · Medir a usabilidade · Questionários de triagem e amostragem · Analytics e testes A/B para designers

Salvo só neste dispositivo.

↑ ↓ para mover · Enter para abrir · Esc para fechar