Pesquisa em UX · Passo 5 · 10 min de leitura
Vieses em questionários
Um questionário pode errar de dois jeitos: perguntando às pessoas erradas, ou perguntando às pessoas certas de um jeito que entorta as respostas. Os principais vieses pelo nome, experimentos reais que mostram o tamanho deles e o que dá para fazer contra cada um.
Um questionário enviesado não parece enviesado. Parece um gráfico limpo. É isso que torna o viés perigoso: uma porcentagem com casa decimal parece um fato, não importa quem respondeu nem como a pergunta foi feita. Você não consegue tirar todos os vieses. Consegue conhecer os nomes deles, desenhar o questionário contra os maiores e dizer com honestidade quais ficaram.
O que você vai conseguir fazer depois de ler:
- Separar erros sobre quem responde de erros sobre como responde
- Dar nome a dez vieses comuns em questionários e dizer o que cada um faz
- Mostrar com números reais quanto a redação e a ordem mexem nos resultados
- Reduzir cada viés no desenho do questionário e relatar os que não deu para tirar
1. Dois jeitos de errar
Quem estuda metodologia de questionários junta tudo o que pode dar errado sob um nome só, Total Survey Error, o erro total do questionário: a ideia é considerar todos os erros juntos e fazer escolhas que mantenham o total baixo (Caroline Jarrett, Effortmark). O Survey Octopus da Jarrett liga esses erros às etapas de um questionário; para quem desenha, duas grandes famílias bastam para começar:
- Quem responde. As pessoas que podiam ser convidadas, foram convidadas e escolheram responder podem não ser as pessoas que você quer conhecer. O Pew dá um exemplo simples: quem não tem internet não responde a questionários online (Pew, Understanding the margin of error, 2016).
- Como respondem. As pessoas certas, perguntadas de um jeito que entorta a resposta: a redação, a ordem, a escala, quem está perguntando.
Mais respostas não resolvem nenhum dos dois. Dez mil respostas das pessoas erradas, ou de uma pergunta que induz, são dez mil respostas erradas, com uma margem de erro menor. Como diz Jeff Sauro, é muito melhor perguntar a poucas pessoas certas do que a muitas erradas (MeasuringU, 2010).
2. O catálogo
| Viés | O que acontece | No questionário do app de contas | Como reduzir |
|---|---|---|---|
| Cobertura | As pessoas que você alcança não são as que você quer conhecer | Um questionário dentro do app nunca chega a quem desistiu dele | Defina o grupo primeiro; recrute também ex-usuários, por e-mail |
| Não resposta | Quem responde é diferente de quem não responde | Os fãs respondem; quem teve um acerto de contas ruim ignora | Questionário curto, um lembrete, e compare quem respondeu com quem foi convidado |
| Aquiescência | A tendência de concordar com qualquer afirmação | "Os lembretes ajudam. Concorda ou discorda?" | Ofereça uma escolha entre duas afirmações, em vez de concorda ou discorda |
| Desejabilidade social | Respostas que pegam bem em vez de respostas verdadeiras | Poucos admitem que nunca pagaram um amigo de volta | Anônimo e preenchido pela própria pessoa; escreva de um jeito que a resposta honesta pareça normal |
| Ordem das perguntas | Perguntas anteriores mudam a leitura das seguintes | Perguntar de uma briga por dinheiro e depois da satisfação geral | O geral antes do específico; mantenha a mesma ordem quando acompanhar ao longo do tempo |
| Ordem das opções | Na tela, as pessoas escolhem mais as opções do topo | "Mensagem" sempre em primeiro na lista de formas de lembrar | Embaralhe listas sem ordem natural; mantenha as escalas em ordem |
| Redação | Pequenas mudanças de palavra mexem nas respostas | "Lembretes chatos" contra "lembretes" | Palavras simples e neutras; teste duas versões em duas metades da amostra |
| Patrocinador | Saber quem pergunta tinge as respostas | A logo do app e "ajude a gente a melhorar" no convite | Um convite neutro; diga quem você é, sem vender |
| Memória | As pessoas lembram errado quando e quantas vezes algo aconteceu | "Quantas vezes neste ano você acertou as contas?" | Uma janela curta e recente: "nos últimos 7 dias" |
| Satisficing | Quem está cansado dá a primeira resposta aceitável | A mesma coluna marcada numa grade de 15 linhas | Menos perguntas, menos grades, e não torne tudo obrigatório |
Você não precisa decorar a tabela; precisa reconhecer o padrão quando ele aparecer. Alguns merecem um olhar mais de perto.
Aquiescência. O Pew relata que pessoas com menos escolaridade e menos informadas tendem mais a concordar com afirmações de concorda ou discorda, e mais ainda quando há um entrevistador presente. A solução deles é oferecer uma escolha entre afirmações alternativas (Pew Research Center).
Desejabilidade social. As pessoas declaram beber, usar drogas e sonegar menos do que fazem, e ir à igreja, doar e votar mais do que fazem. O Pew escreve a pergunta sobre voto de um jeito que facilita o "não": "aconteceu alguma coisa que impediu você de votar, ou você chegou a votar?" Questionários preenchidos pela própria pessoa, na web ou no papel, mostram menos desse viés do que os feitos por telefone ou pessoalmente. A NN/g acrescenta que pedir nome e outros dados de identificação aumenta esse viés (NN/g, Rating Scales in UX Research, 2020).
Satisficing. Quando responder dá mais trabalho do que a pessoa quer ter, ela se contenta com uma resposta que parece boa o bastante em vez da melhor. Jon Krosnick descreveu essa estratégia em 1991, e é por isso que questionários longos e grades grandes acabam com a mesma coluna marcada de cima a baixo (Krosnick, Applied Cognitive Psychology, 1991).
Patrocinador e memória. Saber quem mandou o questionário tinge as respostas, principalmente sobre marcas. E as pessoas situam mal os acontecimentos no tempo, lembrando deles como mais antigos ou mais recentes do que foram, o que Sauro chama de telescoping (MeasuringU, 9 Biases That Affect Survey Responses, 2016).
3. O tamanho desses efeitos
Não são efeitos pequenos, lá na borda da estatística. O Pew os testa escrevendo duas versões de uma pergunta e dando cada uma a uma metade aleatória da amostra: como as metades são parecidas, qualquer diferença vem da redação (Pew Research Center). Alguns dos resultados que o Pew relata:
- Redação. Em 2003, 68% eram a favor de uma ação militar no Iraque "para acabar com o governo de Saddam Hussein". Acrescentar "mesmo que as forças dos EUA pudessem sofrer milhares de baixas" derrubou para 43%.
- Palavras com carga emocional. Em 2005, 51% eram a favor de permitir que médicos "dessem a pacientes terminais os meios de pôr fim à vida"; 44% eram a favor de permitir que eles "ajudassem pacientes terminais a cometer suicídio". A mesma política, palavras diferentes.
- Ordem. Em 2008, 88% se disseram insatisfeitos com o rumo do país quando a pergunta vinha logo depois de uma sobre a aprovação do presidente; sem ela, 78%.
- Aberta ou fechada. 58% contra 35% para "a economia", dependendo de ela estar ou não numa lista (veja Escrever perguntas de questionário).
O questionário do seu produto não vai ser sobre guerra. Mas "lembretes chatos" contra "lembretes", ou uma pergunta de satisfação logo depois de uma sobre um pagamento que falhou, funcionam do mesmo jeito.
4. Ordem: o que vem antes muda o que vem depois
O Pew descreve dois tipos de efeito de ordem. No efeito de contraste, as respostas se afastam por causa da ordem; no de assimilação, elas se aproximam. Uma pergunta específica feita antes de uma geral, como a felicidade no casamento antes da felicidade em geral, tende a produzir contraste: as pessoas deixam a parte específica de fora da resposta geral (Pew Research Center).
As opções também têm ordem. O Pew observa que, em questionários preenchidos pela própria pessoa, ela tende a escolher opções do topo da lista (efeito de primazia), e, no telefone, as últimas que ouviu (recência). O que fazer:
- O geral antes do específico. Pergunte a satisfação geral antes das perguntas sobre uma experiência ruim.
- Embaralhe listas sem ordem natural, para cada opção ocupar o topo o mesmo número de vezes. O Pew observa que isso não elimina o efeito; espalha por igual.
- Mantenha as escalas em ordem, mas você pode inverter a escala para metade das pessoas, como o Pew faz em algumas perguntas.
- Mantenha a ordem fixa quando comparar ao longo do tempo, senão a mudança que você vê pode ser uma mudança de contexto.
- Deixe perguntas sensíveis e demográficas para o fim, a não ser que você precise delas para filtrar quem responde. Sauro também observa que perguntas que trazem lembranças ruins podem azedar as respostas seguintes (MeasuringU, 2016).
5. Quem respondeu?
Os dois vieses de "quem" são os que os times esquecem, porque os dados parecem bons.
- Cobertura. Um questionário dentro do app só alcança quem ainda abre o app. Se a sua pergunta é por que as pessoas vão embora, quem foi embora não pode responder.
- Não resposta. Entre as pessoas convidadas, as que respondem são diferentes: muitas vezes mais engajadas, mais felizes ou mais bravas. A NN/g cita pesquisadores que chamam o questionário de o método mais difícil de fazer bem e o mais fácil de lançar, e recomenda começar um só quando houver tempo para fazê-lo com rigor (NN/g, Should You Run a Survey?, 2024).
Três hábitos ajudam:
- Escreva a população antes de escrever uma pergunta: "pessoas que lançaram pelo menos uma despesa dividida nos últimos 90 dias".
- Compare quem respondeu com quem foi convidado no que você já sabe, como plano, país, meses desde o cadastro. Se quem respondeu é quase todo usuário antigo, diga isso.
- Recrute o grupo que falta de propósito, por exemplo ex-usuários por e-mail, em vez de torcer para eles aparecerem no questionário do app.
6. Erros comuns
- Acreditar que uma amostra grande anula o viés. Ela diminui a margem de erro, não o viés.
- Afirmações de concorda ou discorda para tudo.
- Uma pergunta de satisfação logo depois das perguntas sobre problemas.
- Pedir nome e e-mail no começo de um questionário sobre comportamento sensível.
- Relatar "78% dos usuários" quando são 78% das pessoas que escolheram responder.
- Mudar uma palavra numa pergunta acompanhada ao longo do tempo e depois comemorar a tendência.
7. Vocabulário
| Termo | Significado |
|---|---|
| Total Survey Error | Todos os erros que um questionário pode ter, considerados juntos |
| Erro de cobertura | As pessoas que você alcança não são a população que importa |
| Viés de não resposta | Quem responde é diferente de quem não responde |
| Aquiescência | A tendência de concordar com afirmações |
| Desejabilidade social | Dar a resposta que pega bem em vez da verdadeira |
| Satisficing | Dar uma resposta boa o bastante para poupar esforço |
| Efeito de ordem | Perguntas anteriores mudando a resposta das seguintes |
| Primazia, recência | Escolher opções do começo, ou do fim, de uma lista |
| Teste de versões divididas | Duas versões de uma pergunta, cada uma para uma metade aleatória |
8. Experimente (sem ferramentas)
- Pegue um questionário que você recebeu há pouco tempo.
- Quem não poderia ter respondido? Escreva um grupo.
- Ache uma pergunta cuja resposta poderia mudar se a pergunta anterior fosse outra.
Perguntas para refletir: Se os resultados desse questionário fossem publicados amanhã, que viés você citaria na nota de rodapé? Alguém do seu time leria a nota?
9. Se você já pratica
- Inclua uma tabela de "quem respondeu" em todo relatório de questionário: convidados, respostas, e como eles se comparam no que você sabe.
- Quando uma pergunta importa, faça no teste-piloto um teste de duas redações em versões divididas, como o Pew faz em grande escala.
- Deixe a ordem aleatória como padrão para listas sem ordem na sua ferramenta, e desligue de propósito, não por acaso.
- Mantenha uma seção de limitações no relatório. Nomear o viés que você não conseguiu tirar é o que dá credibilidade ao resto dos números.
Checklist
Para saber mais
- Pew Research Center, Writing Survey Questions: redação, ordem, aquiescência e desejabilidade social, com os experimentos
- Jeff Sauro, 9 Biases That Affect Survey Responses (MeasuringU, 2016)
- Jon A. Krosnick, Response strategies for coping with the cognitive demands of attitude measures in surveys (Applied Cognitive Psychology, 1991)
- Caroline Jarrett, The Survey Octopus (Effortmark, slides gratuitos)
- Maddie Brown, Should You Run a Survey? (NN/g, 2024)
Livros, cursos e vídeos para ir mais fundo
- Surveys That Work: A Practical Guide for Designing and Running Better SurveysCaroline JarrettLivro · Rosenfeld Media, 2021 (Amazon)
- The Psychology of Survey ResponseRoger Tourangeau, Lance J. Rips e Kenneth RasinskiLivro · Cambridge University Press, 2000 (Amazon)
Os links dos livros são de afiliado da Amazon: como associado, recebo por compras qualificadas, sem custo a mais para você.
Relacionadas
Escrever perguntas de questionário · Tamanho da amostra e margem de erro · Questionários de triagem e amostragem · Como as pessoas pensam · Escreva e teste um questionário