Marcus Andrey Estudo
Read in English Biblioteca

Pesquisa em UX · Passo 5 · 10 min de leitura

Vieses em questionários

Um questionário pode errar de dois jeitos: perguntando às pessoas erradas, ou perguntando às pessoas certas de um jeito que entorta as respostas. Os principais vieses pelo nome, experimentos reais que mostram o tamanho deles e o que dá para fazer contra cada um.

Um questionário enviesado não parece enviesado. Parece um gráfico limpo. É isso que torna o viés perigoso: uma porcentagem com casa decimal parece um fato, não importa quem respondeu nem como a pergunta foi feita. Você não consegue tirar todos os vieses. Consegue conhecer os nomes deles, desenhar o questionário contra os maiores e dizer com honestidade quais ficaram.

O que você vai conseguir fazer depois de ler:

  • Separar erros sobre quem responde de erros sobre como responde
  • Dar nome a dez vieses comuns em questionários e dizer o que cada um faz
  • Mostrar com números reais quanto a redação e a ordem mexem nos resultados
  • Reduzir cada viés no desenho do questionário e relatar os que não deu para tirar

1. Dois jeitos de errar

Quem estuda metodologia de questionários junta tudo o que pode dar errado sob um nome só, Total Survey Error, o erro total do questionário: a ideia é considerar todos os erros juntos e fazer escolhas que mantenham o total baixo (Caroline Jarrett, Effortmark). O Survey Octopus da Jarrett liga esses erros às etapas de um questionário; para quem desenha, duas grandes famílias bastam para começar:

  • Quem responde. As pessoas que podiam ser convidadas, foram convidadas e escolheram responder podem não ser as pessoas que você quer conhecer. O Pew dá um exemplo simples: quem não tem internet não responde a questionários online (Pew, Understanding the margin of error, 2016).
  • Como respondem. As pessoas certas, perguntadas de um jeito que entorta a resposta: a redação, a ordem, a escala, quem está perguntando.

Mais respostas não resolvem nenhum dos dois. Dez mil respostas das pessoas erradas, ou de uma pergunta que induz, são dez mil respostas erradas, com uma margem de erro menor. Como diz Jeff Sauro, é muito melhor perguntar a poucas pessoas certas do que a muitas erradas (MeasuringU, 2010).


ViésO que aconteceNo questionário do app de contasComo reduzir
CoberturaAs pessoas que você alcança não são as que você quer conhecerUm questionário dentro do app nunca chega a quem desistiu deleDefina o grupo primeiro; recrute também ex-usuários, por e-mail
Não respostaQuem responde é diferente de quem não respondeOs fãs respondem; quem teve um acerto de contas ruim ignoraQuestionário curto, um lembrete, e compare quem respondeu com quem foi convidado
AquiescênciaA tendência de concordar com qualquer afirmação"Os lembretes ajudam. Concorda ou discorda?"Ofereça uma escolha entre duas afirmações, em vez de concorda ou discorda
Desejabilidade socialRespostas que pegam bem em vez de respostas verdadeirasPoucos admitem que nunca pagaram um amigo de voltaAnônimo e preenchido pela própria pessoa; escreva de um jeito que a resposta honesta pareça normal
Ordem das perguntasPerguntas anteriores mudam a leitura das seguintesPerguntar de uma briga por dinheiro e depois da satisfação geralO geral antes do específico; mantenha a mesma ordem quando acompanhar ao longo do tempo
Ordem das opçõesNa tela, as pessoas escolhem mais as opções do topo"Mensagem" sempre em primeiro na lista de formas de lembrarEmbaralhe listas sem ordem natural; mantenha as escalas em ordem
RedaçãoPequenas mudanças de palavra mexem nas respostas"Lembretes chatos" contra "lembretes"Palavras simples e neutras; teste duas versões em duas metades da amostra
PatrocinadorSaber quem pergunta tinge as respostasA logo do app e "ajude a gente a melhorar" no conviteUm convite neutro; diga quem você é, sem vender
MemóriaAs pessoas lembram errado quando e quantas vezes algo aconteceu"Quantas vezes neste ano você acertou as contas?"Uma janela curta e recente: "nos últimos 7 dias"
SatisficingQuem está cansado dá a primeira resposta aceitávelA mesma coluna marcada numa grade de 15 linhasMenos perguntas, menos grades, e não torne tudo obrigatório
Dez vieses que vale conhecer pelo nome. Os dois primeiros são sobre quem responde; os outros oito, sobre como responde.Diagrama: Marcus Andrey, CC BY 4.0. Fontes: Pew Research Center, Writing Survey Questions; NN/g (Rosala, 2020; Brown, 2023); Jeff Sauro, 9 Biases That Affect Survey Responses (MeasuringU, 2016); Krosnick (1991).

Você não precisa decorar a tabela; precisa reconhecer o padrão quando ele aparecer. Alguns merecem um olhar mais de perto.

Aquiescência. O Pew relata que pessoas com menos escolaridade e menos informadas tendem mais a concordar com afirmações de concorda ou discorda, e mais ainda quando há um entrevistador presente. A solução deles é oferecer uma escolha entre afirmações alternativas (Pew Research Center).

Desejabilidade social. As pessoas declaram beber, usar drogas e sonegar menos do que fazem, e ir à igreja, doar e votar mais do que fazem. O Pew escreve a pergunta sobre voto de um jeito que facilita o "não": "aconteceu alguma coisa que impediu você de votar, ou você chegou a votar?" Questionários preenchidos pela própria pessoa, na web ou no papel, mostram menos desse viés do que os feitos por telefone ou pessoalmente. A NN/g acrescenta que pedir nome e outros dados de identificação aumenta esse viés (NN/g, Rating Scales in UX Research, 2020).

Satisficing. Quando responder dá mais trabalho do que a pessoa quer ter, ela se contenta com uma resposta que parece boa o bastante em vez da melhor. Jon Krosnick descreveu essa estratégia em 1991, e é por isso que questionários longos e grades grandes acabam com a mesma coluna marcada de cima a baixo (Krosnick, Applied Cognitive Psychology, 1991).

Patrocinador e memória. Saber quem mandou o questionário tinge as respostas, principalmente sobre marcas. E as pessoas situam mal os acontecimentos no tempo, lembrando deles como mais antigos ou mais recentes do que foram, o que Sauro chama de telescoping (MeasuringU, 9 Biases That Affect Survey Responses, 2016).


3. O tamanho desses efeitos

Redação: a favor de ação militar no Iraque (janeiro de 2003)

"…para acabar com o governo de Saddam Hussein"68%
"…mesmo que as forças dos EUA pudessem sofrer milhares de baixas"43%

Ordem: insatisfeitos com o rumo do país (dezembro de 2008)

Perguntado logo depois da aprovação do presidente88%
Perguntado sem essa pergunta antes78%

Aberta ou fechada: a economia como o tema que mais pesou no voto (2008)

Fechada: "a economia" numa lista de cinco58%
Aberta: cada pessoa respondeu com as próprias palavras35%
Mesmo tema, o mesmo tipo de pessoa, respostas diferentes. Cada par compara duas versões de uma pergunta nas pesquisas do Pew: só mudou a redação, a ordem ou o formato.Dados: Pew Research Center, Writing Survey Questions. Gráfico: Marcus Andrey, CC BY 4.0.

Não são efeitos pequenos, lá na borda da estatística. O Pew os testa escrevendo duas versões de uma pergunta e dando cada uma a uma metade aleatória da amostra: como as metades são parecidas, qualquer diferença vem da redação (Pew Research Center). Alguns dos resultados que o Pew relata:

  • Redação. Em 2003, 68% eram a favor de uma ação militar no Iraque "para acabar com o governo de Saddam Hussein". Acrescentar "mesmo que as forças dos EUA pudessem sofrer milhares de baixas" derrubou para 43%.
  • Palavras com carga emocional. Em 2005, 51% eram a favor de permitir que médicos "dessem a pacientes terminais os meios de pôr fim à vida"; 44% eram a favor de permitir que eles "ajudassem pacientes terminais a cometer suicídio". A mesma política, palavras diferentes.
  • Ordem. Em 2008, 88% se disseram insatisfeitos com o rumo do país quando a pergunta vinha logo depois de uma sobre a aprovação do presidente; sem ela, 78%.
  • Aberta ou fechada. 58% contra 35% para "a economia", dependendo de ela estar ou não numa lista (veja Escrever perguntas de questionário).

O questionário do seu produto não vai ser sobre guerra. Mas "lembretes chatos" contra "lembretes", ou uma pergunta de satisfação logo depois de uma sobre um pagamento que falhou, funcionam do mesmo jeito.


4. Ordem: o que vem antes muda o que vem depois

O Pew descreve dois tipos de efeito de ordem. No efeito de contraste, as respostas se afastam por causa da ordem; no de assimilação, elas se aproximam. Uma pergunta específica feita antes de uma geral, como a felicidade no casamento antes da felicidade em geral, tende a produzir contraste: as pessoas deixam a parte específica de fora da resposta geral (Pew Research Center).

As opções também têm ordem. O Pew observa que, em questionários preenchidos pela própria pessoa, ela tende a escolher opções do topo da lista (efeito de primazia), e, no telefone, as últimas que ouviu (recência). O que fazer:

  1. O geral antes do específico. Pergunte a satisfação geral antes das perguntas sobre uma experiência ruim.
  2. Embaralhe listas sem ordem natural, para cada opção ocupar o topo o mesmo número de vezes. O Pew observa que isso não elimina o efeito; espalha por igual.
  3. Mantenha as escalas em ordem, mas você pode inverter a escala para metade das pessoas, como o Pew faz em algumas perguntas.
  4. Mantenha a ordem fixa quando comparar ao longo do tempo, senão a mudança que você vê pode ser uma mudança de contexto.
  5. Deixe perguntas sensíveis e demográficas para o fim, a não ser que você precise delas para filtrar quem responde. Sauro também observa que perguntas que trazem lembranças ruins podem azedar as respostas seguintes (MeasuringU, 2016).

5. Quem respondeu?

Os dois vieses de "quem" são os que os times esquecem, porque os dados parecem bons.

  • Cobertura. Um questionário dentro do app só alcança quem ainda abre o app. Se a sua pergunta é por que as pessoas vão embora, quem foi embora não pode responder.
  • Não resposta. Entre as pessoas convidadas, as que respondem são diferentes: muitas vezes mais engajadas, mais felizes ou mais bravas. A NN/g cita pesquisadores que chamam o questionário de o método mais difícil de fazer bem e o mais fácil de lançar, e recomenda começar um só quando houver tempo para fazê-lo com rigor (NN/g, Should You Run a Survey?, 2024).

Três hábitos ajudam:

  1. Escreva a população antes de escrever uma pergunta: "pessoas que lançaram pelo menos uma despesa dividida nos últimos 90 dias".
  2. Compare quem respondeu com quem foi convidado no que você já sabe, como plano, país, meses desde o cadastro. Se quem respondeu é quase todo usuário antigo, diga isso.
  3. Recrute o grupo que falta de propósito, por exemplo ex-usuários por e-mail, em vez de torcer para eles aparecerem no questionário do app.

6. Erros comuns

  • Acreditar que uma amostra grande anula o viés. Ela diminui a margem de erro, não o viés.
  • Afirmações de concorda ou discorda para tudo.
  • Uma pergunta de satisfação logo depois das perguntas sobre problemas.
  • Pedir nome e e-mail no começo de um questionário sobre comportamento sensível.
  • Relatar "78% dos usuários" quando são 78% das pessoas que escolheram responder.
  • Mudar uma palavra numa pergunta acompanhada ao longo do tempo e depois comemorar a tendência.

7. Vocabulário

Termo Significado
Total Survey Error Todos os erros que um questionário pode ter, considerados juntos
Erro de cobertura As pessoas que você alcança não são a população que importa
Viés de não resposta Quem responde é diferente de quem não responde
Aquiescência A tendência de concordar com afirmações
Desejabilidade social Dar a resposta que pega bem em vez da verdadeira
Satisficing Dar uma resposta boa o bastante para poupar esforço
Efeito de ordem Perguntas anteriores mudando a resposta das seguintes
Primazia, recência Escolher opções do começo, ou do fim, de uma lista
Teste de versões divididas Duas versões de uma pergunta, cada uma para uma metade aleatória

8. Experimente (sem ferramentas)

  1. Pegue um questionário que você recebeu há pouco tempo.
  2. Quem não poderia ter respondido? Escreva um grupo.
  3. Ache uma pergunta cuja resposta poderia mudar se a pergunta anterior fosse outra.

Perguntas para refletir: Se os resultados desse questionário fossem publicados amanhã, que viés você citaria na nota de rodapé? Alguém do seu time leria a nota?


9. Se você já pratica

  • Inclua uma tabela de "quem respondeu" em todo relatório de questionário: convidados, respostas, e como eles se comparam no que você sabe.
  • Quando uma pergunta importa, faça no teste-piloto um teste de duas redações em versões divididas, como o Pew faz em grande escala.
  • Deixe a ordem aleatória como padrão para listas sem ordem na sua ferramenta, e desligue de propósito, não por acaso.
  • Mantenha uma seção de limitações no relatório. Nomear o viés que você não conseguiu tirar é o que dá credibilidade ao resto dos números.

Checklist

Para saber mais

Livros, cursos e vídeos para ir mais fundo

Os links dos livros são de afiliado da Amazon: como associado, recebo por compras qualificadas, sem custo a mais para você.

Relacionadas

Escrever perguntas de questionário · Tamanho da amostra e margem de erro · Questionários de triagem e amostragem · Como as pessoas pensam · Escreva e teste um questionário

Salvo só neste dispositivo.

↑ ↓ para mover · Enter para abrir · Esc para fechar