Marcus Andrey Estudo
Read in English Biblioteca

Pesquisa em UX · Passo 5 · 11 min de leitura

Escrever perguntas de questionário

Uma pergunta de questionário funciona quando todo mundo a lê do mesmo jeito e consegue respondê-la com verdade. Para que serve um questionário, as quatro etapas que as pessoas percorrem para responder, os erros clássicos e como reescrevê-los, perguntas abertas e fechadas, escalas, e por que testar antes de enviar.

Cartões de resposta separados em cinco pilhas sobre uma base, uma pilha para cada resposta, e as pilhas ficam de pé como as barras de um gráfico. Aponte para uma barra e os cartões dela se afastam, para você contar um por um. Este passo num gesto só: cada barra de um gráfico de questionário é feita das respostas de pessoas, uma a uma. Este passo tem quatro lições: escrever perguntas de questionário, viés em questionários, tamanho da amostra e margem de erro, e analytics e testes A/B para designers.Ilustração: Marcus Andrey, desenhada com Hairline (MIT, Lucas Marques).

Numa entrevista, você vê a confusão no rosto da pessoa e pergunta de novo. Num questionário, não. A pergunta sai sozinha, centenas de vezes, e cada pessoa a lê sem você por perto. Se umas leem "fácil" e outras leem "rápido", você recebe um número que não quer dizer nada, e ele parece exatamente igual a um número que quer dizer alguma coisa. Por isso escrever questionário é, na maior parte, editar: pegar uma pergunta que você entende e transformá-la numa pergunta que todo mundo entende do mesmo jeito.

O que você vai conseguir fazer depois de ler:

  • Decidir se um questionário (survey) é o método certo, começando pela decisão
  • Explicar as quatro etapas que uma pessoa percorre para responder
  • Reconhecer e corrigir os erros clássicos de pergunta
  • Escolher entre perguntas abertas e fechadas, e montar uma escala equilibrada

1. Um questionário serve para um número que você vai usar

Caroline Jarrett, que escreveu o livro de referência sobre questionários para quem trabalha com UX, define assim: um questionário é "a process of asking questions that are answered by a sample of a defined group of people to get numbers that you can use to make decisions", um processo de fazer perguntas, respondidas por uma amostra de um grupo definido de pessoas, para obter números que você pode usar para tomar decisões (Jarrett, trecho de Surveys That Work). Cada parte da frase é um teste:

  • Um grupo definido de pessoas. Não "os usuários". Quem, exatamente? Quem dividiu uma conta no app no mês passado? Quem parou de usar?
  • Números. Se o que você precisa é o "por quê", isso é uma entrevista (veja Entrevistas curtas com usuários). Um questionário responde "quantos".
  • Decisões. O primeiro desafio da Jarrett para cada pergunta do rascunho é: que decisão você vai tomar com base nas respostas? Se não houver nenhuma, a pergunta vai para uma lista de outra vez.

Depois ela pede que você escolha a sua pergunta mais crucial, a que você manteria se só pudesse manter uma, e que complete a frase: "Precisamos perguntar a ___ para podermos decidir ___." Se você não consegue preencher as duas lacunas, ainda não está pronto para escrever perguntas. É a mesma ideia de Perguntas de pesquisa que levam a decisões, aplicada a um questionário.

A NN/g acrescenta um limite prático: questionários são melhores para dados atitudinais quantitativos, o que as pessoas pensam e relatam, e fracos para comportamentos que você poderia observar. Perguntar num questionário "este botão chamaria a sua atenção?" rende palpites; um teste de usabilidade ou um teste A/B mostraria a resposta (NN/g, Writing Good Survey Questions, 2023).


2. Como as pessoas respondem a uma pergunta

  1. 1Entender

    Descobrir o que a pergunta quer dizer e que tipo de resposta ela pede.

    Quebra com jargão, duas perguntas numa
  2. 2Lembrar

    Encontrar os fatos ou sentimentos que ela pergunta.

    Quebra com "semana típica", coisa antiga
  3. 3Julgar

    Juntar essas lembranças numa resposta só.

    Quebra com previsões, contexto que induz
  4. 4Responder

    Encaixar a resposta nas opções e decidir se vai dizê-la.

    Quebra com opção faltando, tema sensível
Toda resposta passa por quatro etapas na cabeça de quem responde, e uma pergunta ruim pode quebrar qualquer uma delas.Diagrama: Marcus Andrey, CC BY 4.0, a partir das etapas de Tourangeau, Rips e Rasinski, The Psychology of Survey Response (Cambridge University Press, 2000).

Quem estuda metodologia de questionários descreve o ato de responder como uma pequena cadeia de trabalho mental: entender a pergunta, lembrar do que importa, juntar isso num julgamento e encaixar esse julgamento nas opções de resposta, decidindo no caminho se vai responder com honestidade. Os capítulos do livro de Tourangeau, Rips e Rasinski seguem exatamente essa cadeia (Cambridge University Press, The Psychology of Survey Response, 2000).

A cadeia é útil porque cada erro clássico quebra um elo. Jargão quebra o entendimento. "Numa semana típica" quebra a memória, porque ninguém guarda uma média. Uma frase que induz quebra o julgamento. Opções que não servem quebram a última etapa. Quando uma pergunta parecer errada, pergunte qual elo ela quebra.


3. Os erros clássicos, e como reescrevê-los

  1. Duas perguntas numa só"Fácil e rápido" não cabem numa resposta
    Antes

    Quão fácil e rápido foi dividir a conta?

    Depois

    Quão fácil ou difícil foi dividir a conta?

    Depois, à parte: mais ou menos quanto tempo levou?

  2. Uma previsãoAs pessoas adivinham mal o próprio futuro
    Antes

    Você usaria lembretes automáticos?

    • Sim
    • Não
    Depois

    Na última vez que alguém te devia dinheiro de uma conta dividida, como você lembrou a pessoa?

    • Mensagem
    • Pessoalmente
    • Pelo app
    • Não lembrei
    • Outro
  3. Uma "semana normal"Ninguém lembra de uma média
    Antes

    Com que frequência você lança uma despesa numa semana típica?

    Depois

    Mais ou menos quantas despesas você lançou nos últimos 7 dias?

    • Nenhuma
    • 1–2
    • 3–5
    • 6 ou mais
    • Não lembro
  4. Um começo que induzA pergunta pede nota boa
    Antes

    Nós nos esforçamos para que acertar as contas seja tranquilo. Qual é a sua satisfação?

    Depois

    Como você avalia o seu último acerto de contas?

    • Muito bom
    • Bom
    • Nem bom nem ruim
    • Ruim
    • Muito ruim
  5. Opções que se sobrepõem e deixam buracosQuem tem 25 cabe em duas; quem tem 60, em nenhuma
    Antes

    Qual é a sua idade?

    • 18–25
    • 25–35
    • 35–50
    Depois

    Você precisa mesmo da idade? Se precisar:

    • 18–24
    • 25–34
    • 35–49
    • 50 ou mais
    • Prefiro não dizer
  6. Uma escala desequilibradaTrês opções boas, uma ruim
    Antes
    • Excelente
    • Muito bom
    • Bom
    • Ruim
    Depois
    • Muito bom
    • Bom
    • Nem bom nem ruim
    • Ruim
    • Muito ruim
Seis perguntas do rascunho de um questionário para um app de dividir contas, antes e depois de uma revisão. Cada ajuste deixa a pergunta legível do mesmo jeito para todo mundo e respondível com verdade.Diagrama: Marcus Andrey, CC BY 4.0. Regras do Pew Research Center, Writing Survey Questions, e da NN/g, Writing Good Survey Questions: 10 Best Practices (2023).

Cada linha da folha é uma regra do guia do Pew Research Center para escrever perguntas e das dez boas práticas da NN/g:

  • Uma pergunta de cada vez. "Fácil e rápido" são duas coisas. Uma pergunta dupla obriga a pessoa a responder uma das metades, ou a tirar uma média das duas, e você não sabe qual delas ela fez.
  • Pergunte sobre o passado, não sobre o futuro. As pessoas preveem mal o próprio comportamento. "Você usaria?" rende um sim educado.
  • Pergunte sobre uma janela recente e específica. A NN/g reescreve "numa semana média" como "mais ou menos quantas vezes… nos últimos 7 dias?", com faixas, porque números exatos são difíceis e fazem as pessoas desistirem.
  • Nenhum contexto pedindo nota boa. O exemplo da NN/g começa com "estamos comprometidos em alcançar uma avaliação de 5 estrelas" antes de pedir uma. Tire o apelo e simplesmente pergunte.
  • Opções que cobrem tudo e nunca se sobrepõem. O Pew pede listas exaustivas e mutuamente exclusivas. Confira as faixas de números duas vezes.
  • Escalas equilibradas. Tantas opções negativas quanto positivas em volta do meio, senão você empurra as pessoas para o lado com mais opções.
  • Uma saída honesta. "Não sei", "Não se aplica" ou "Prefiro não dizer", como opções separadas, porque querem dizer coisas diferentes.

Mais duas que não cabem numa figura. Palavras simples: o Pew alerta contra dupla negação e siglas desconhecidas. E não torne tudo obrigatório: quem não consegue responder uma pergunta obrigatória marca qualquer coisa, e você nunca vai perceber, ou abandona o questionário (NN/g, 2023).


4. Aberta ou fechada

Uma pergunta fechada oferece opções; uma aberta deixa a pessoa responder com as próprias palavras. A escolha muda as respostas. Depois da eleição americana de 2008, o Pew perguntou qual tema tinha pesado mais no voto: quando "a economia" aparecia numa lista, 58% a escolheram; quando as pessoas respondiam com as próprias palavras, 35% disseram isso. Na versão aberta, 43% deram uma resposta que nem estava na lista fechada (Pew Research Center).

Ou seja, a lista nunca é neutra: ela lembra as pessoas de algumas respostas e esconde outras. Uma boa rotina, que o Pew também descreve, é fazer primeiro uma pergunta aberta, num teste-piloto ou em entrevistas, e montar as opções fechadas a partir do que as pessoas realmente disseram.

Na prática:

  • Use principalmente perguntas fechadas, porque o objetivo de um questionário é contar. Se o seu rascunho é quase todo de perguntas abertas, a NN/g sugere que outro método talvez sirva melhor.
  • Mantenha as listas curtas: o Pew sugere quatro ou cinco opções para perguntas de opinião, e mais só para fatos como religião ou país.
  • Prefira uma escolha por pergunta a "marque todas que se aplicam": o Pew descobriu que perguntas de escolha única dão respostas mais precisas e, em geral, evita listas de múltipla marcação.
  • Termine com uma pergunta aberta opcional, como "Tem mais alguma coisa que você queira nos contar?". Muita gente chega com algo a dizer, e é aqui que isso cabe.

5. Escalas de avaliação

Dois tipos de escala fazem a maior parte do trabalho em questionários de UX (NN/g, Rating Scales in UX Research, 2020):

  • Um item Likert pergunta quanto você concorda com uma afirmação, em geral em cinco pontos com rótulos, de discordo totalmente a concordo totalmente. A Medir a usabilidade é feita de dez deles.
  • Um diferencial semântico coloca duas palavras opostas nas pontas de uma escala, em geral de sete pontos, com o meio sem rótulo. A Single Ease Question, de "muito difícil" a "muito fácil", é um exemplo.

Os itens de concorda ou discorda têm um ponto fraco conhecido: algumas pessoas tendem a concordar com o que aparecer. O Pew chama isso de viés de aquiescência e prefere oferecer uma escolha entre duas afirmações. Inverter metade das afirmações para a forma negativa é uma correção comum, mas Sauro e Lewis descobriram que isso confunde tanto quem responde quanto quem pontua as respostas (CHI 2011). A próxima aula, Vieses em questionários, vai mais fundo.

Três regras cobrem a maioria dos casos: use um questionário padronizado quando existir um para o que você quer medir, em vez de inventar o seu; use os rótulos de sempre ("concordo totalmente", "concordo", "não concordo nem discordo"…), e acrescente "Não se aplica" quando a pergunta puder não valer para alguém, para separar o neutro do irrelevante (NN/g, 2020).


6. Teste antes de enviar

O Pew chama o pré-teste de "essential step", uma etapa essencial, sobretudo para perguntas novas (Pew). Quando a NN/g repetiu um questionário de 1998, testou uma única pergunta aberta em quatro rodadas. Na primeira, 4 dos 11 participantes do teste disseram que a pergunta era genérica demais e que não sabiam o que se esperava; cada rodada mudou a redação de novo (NN/g, Iterative Design of a Survey Question, 2019).

Um teste-piloto não precisa ser grande:

  1. Peça a três a cinco pessoas do público real que preencham o questionário pensando em voz alta, como em Moderar e pensar em voz alta.
  2. Depois de cada pergunta, pergunte: "O que você achou que esta pergunta estava perguntando?" Anote cada resposta diferente do que você quis dizer.
  3. Corrija, e teste a versão corrigida mais uma vez.
  4. Depois, envie para uma pequena parte da lista e confira se os números fazem sentido antes de enviar para todo mundo.

7. Erros comuns

  • Começar por "o que seria interessante saber" em vez de "o que vamos decidir".
  • Pedir às pessoas que prevejam o que vão fazer e tratar a resposta como previsão.
  • Perguntas que perguntam duas coisas de uma vez.
  • Escalas com mais opções boas do que ruins.
  • Todas as perguntas obrigatórias.
  • Perguntas demográficas primeiro, "só por garantia". O Pew desaconselha abrir com elas, e a NN/g pergunta se você precisa delas.
  • Enviar sem teste-piloto, porque "é só um questionário curto".

8. Vocabulário

Termo Significado
Survey (pesquisa por questionário) O processo inteiro: objetivos, amostra, perguntas, campo, análise
Questionário O conjunto de perguntas que as pessoas veem
Pergunta dupla Uma pergunta que pergunta sobre duas coisas
Pergunta fechada Uma pergunta com opções para escolher
Pergunta aberta Uma pergunta respondida com as próprias palavras
Item Likert Uma afirmação avaliada de discordo totalmente a concordo totalmente
Diferencial semântico Uma escala entre duas palavras opostas
Escala equilibrada Tantas opções negativas quanto positivas, em volta de um ponto médio
Teste-piloto Um pequeno ensaio do questionário antes do envio real

9. Experimente (sem ferramentas)

  1. Ache um questionário na sua caixa de entrada, de um app, de uma loja ou da sua empresa.
  2. Para cada pergunta, diga qual das quatro etapas ela dificulta: entender, lembrar, julgar ou responder.
  3. Reescreva a pior e leia para alguém. Pergunte o que a pessoa acha que ela está perguntando.

Perguntas para refletir: Que decisão esse questionário deveria apoiar? Dava para saber pelas perguntas?


10. Se você já pratica

  • Escreva a frase "Precisamos perguntar a ___ para podermos decidir ___" no topo de cada briefing de questionário, e peça aos stakeholders que concordem com ela antes de acrescentar perguntas.
  • Mantenha no time um banco de perguntas testadas, com a redação exata e a data do teste. O Pew mantém a redação idêntica quando acompanha um tema ao longo do tempo; faça o mesmo, ou a sua tendência vai ser uma tendência de redação.
  • Faça testes cognitivos com três pessoas para cada pergunta nova. Custa uma hora e salva um campo inteiro.

Checklist

Para saber mais

Livros, cursos e vídeos para ir mais fundo

Os links dos livros são de afiliado da Amazon: como associado, recebo por compras qualificadas, sem custo a mais para você.

Relacionadas

Vieses em questionários · Fazer boas perguntas · Medir a usabilidade · Formulários · Escreva e teste um questionário

Salvo só neste dispositivo.

↑ ↓ para mover · Enter para abrir · Esc para fechar