Marcus Andrey Estudo
Read in English Biblioteca

Pesquisa em UX · Passo 2 · 9 min de leitura

Questionários de triagem e amostragem

O questionário de triagem decide quem entra no seu estudo, e quem quer o incentivo vai tentar adivinhar as respostas certas. Como escrever perguntas de triagem difíceis de burlar, como funciona a amostragem qualitativa, o que saturação quer dizer de verdade, e como cotas impedem que uma amostra pequena seja sempre a mesma pessoa.

Um questionário de triagem, o "screener", é um pequeno questionário com um trabalho só: deixar entrar as pessoas certas e manter as erradas de fora, mesmo quando as erradas querem entrar. Pergunte "Você é freelancer?" e todo mundo que gostaria do vale vira freelancer na hora. Pergunte o que a pessoa de fato fez no mês passado, entre várias respostas plausíveis, e o estudo se enche das pessoas para quem ele foi feito. Depois vem a pergunta de quantas, e de que tipos.

O que você vai conseguir fazer depois de ler:

  • Escrever critérios de inclusão e exclusão que saem das perguntas de pesquisa
  • Escrever perguntas de triagem difíceis de burlar
  • Explicar amostragem intencional e saturação, e por que não existe número mágico
  • Usar cotas para que uma amostra pequena cubra as pessoas que importam

1. O que é um screener

A NN/g define o screener como "a set of questions, typically delivered verbally or via written questionnaire, used to establish that a prospective participant is a good fit for a given research project", um conjunto de perguntas, faladas ou escritas, para saber se um possível participante combina com o estudo (Brown, Screening Participants for User-Research Studies, NN/g, 2024). Ele faz mais do que filtrar: melhora a qualidade dos dados, poupa sessões e reduz vieses, como o de painéis cheios de voluntários muito digitais.

O screener sai do briefing de recrutamento (veja Recrutar participantes), e o briefing sai das perguntas de pesquisa. Se uma pergunta do screener não leva de volta a uma pergunta de pesquisa, corte.


2. Inclusão e exclusão

Comece com duas listas (Brown, NN/g, 2024):

  • Critérios de inclusão: o que faz alguém combinar com o estudo. Principalmente comportamentos: o que a pessoa faz, com que frequência, com que ferramentas.
  • Critérios de exclusão: o que tira alguém do estudo. Os comuns: quem trabalha com UX, marketing ou TI em estudos de interface, quem participou há pouco tempo, e "testadores profissionais", que vivem de participar de estudos.

Depois, resista à triagem excessiva. A NN/g avisa que tentar bater todos os traços do usuário ideal gera "an overly restrictive screener that nobody will be able to pass", um screener tão restrito que ninguém passa. Filtre só pelo que pode afetar as suas perguntas de pesquisa.


3. Perguntas difíceis de burlar

FracaVocê é freelancer?
  • Sim (aceitar)
  • Não (recusar)

Quem quer o vale sabe qual resposta entra.

MelhorO que melhor descreve o seu trabalho hoje?
  • CLT em tempo integral (recusar)
  • Freelancer ou autônomo (seguir)
  • Tenho uma empresa com funcionários (recusar)
  • Outro: ______

Várias respostas plausíveis escondem a que você quer.

FracaVocê usaria faturas recorrentes?

Uma previsão, e ela entrega o assunto do estudo.

MelhorNos últimos 3 meses, quantos clientes você cobrou mais de uma vez?
  • 0 · 1 a 2 · 3 a 5 · 6 ou mais (cota)

Comportamento passado, em faixas, com um período.

FracaQual o seu nível de satisfação com a UX do nosso onboarding?

Jargão, e só clientes conseguem responder.

MelhorConte sobre a última fatura que você mandou: para quem foi, e como você mandou?

Aberta. Duas linhas mostram o contexto e como a pessoa vai falar numa sessão.

FracaVocê trabalha com tecnologia? Sim · Não

Fácil de driblar, e "tecnologia" quer dizer uma coisa diferente para cada um.

MelhorVocê ou alguém da sua casa trabalha em alguma destas áreas?
  • Pesquisa de mercado · Design · Software (recusar)
  • Nenhuma destas (seguir)

Áreas concretas, com uma saída neutra.

Cotas para 6 sessões:
  • 4 que cobraram um cliente uma vez, 2 que cobram os mesmos clientes todo mês
  • No máximo 2 da mesma área; pelo menos 2 que não usam computador todo dia no trabalho
  • Pergunte sobre necessidades de acesso depois da seleção, para adaptar a sessão, nunca para excluir alguém
Quatro perguntas de screener, fracas e melhores. As melhores perguntam sobre comportamento passado, escondem a resposta desejada entre outras plausíveis e usam palavras simples. As cotas no fim impedem que a amostra se encha de um tipo só de pessoa.Diagrama: Marcus Andrey, CC BY 4.0. Práticas de Maddie Brown, Screening Participants for User-Research Studies (NN/g, 2024).

As boas práticas da NN/g, todas visíveis na figura (Brown, NN/g, 2024):

  • Pergunte sobre comportamento passado, não sobre previsões. "Users are notoriously unreliable at predicting their future behaviors", os usuários são notoriamente ruins em prever o que vão fazer, às vezes numa tentativa de mentir para entrar num estudo pago.
  • Evite perguntas de sim ou não. A intenção delas é fácil de adivinhar. Use várias opções plausíveis, ou uma sequência de duas perguntas ("Quantas vezes você comprou online no mês passado?" e depois "Em quais sites?").
  • Evite perguntas indutoras, e use o funil. Comece amplo e revele o assunto tarde, para ninguém ajustar as respostas.
  • Inclua uma ou duas perguntas abertas. Elas dão contexto, e uma resposta de uma palavra pode prever uma sessão de uma palavra.
  • Use palavras simples. O exemplo da NN/g troca "pesquisa etnográfica para ideação de produto" por ter observado ou entrevistado pessoas no dia a dia delas para ter ideias de novos produtos.
  • Faça um piloto. Teste o screener com algumas pessoas para pegar erros de digitação, frases ambíguas e saltos de lógica quebrados.

Uma ligação curta depois do screener escrito (a NN/g sugere de 2 a 5 minutos) permite fazer as perguntas reveladoras numa conversa e ouvir como a pessoa fala, o que importa se o estudo depende de ela explicar o próprio raciocínio.

O card Questionário de triagem reúne essas regras numa página, com um exemplo e um modelo para copiar.


4. Como funciona a amostragem qualitativa

Entrevistas e testes de usabilidade não usam amostras aleatórias. Usam amostras intencionais: pessoas escolhidas de propósito porque podem informar as perguntas de pesquisa. Um estudo sobre o tema chama a amostragem intencional de "the most commonly used form of nonprobabilistic sampling", a forma mais usada de amostragem não probabilística (Guest, Bunce e Johnson, How Many Interviews Are Enough?, Field Methods, 2006).

Isso tem uma consequência que as pessoas esquecem: uma amostra qualitativa não diz quão comum algo é. Se 4 dos seus 6 participantes copiam faturas à mão, você aprendeu que esse comportamento existe e por quê. Não aprendeu que 67% dos freelancers fazem isso. Para "quantos", você precisa de um método quantitativo e de um tamanho de amostra adequado (veja Tamanho da amostra e margem de erro).


5. Quantos, e a saturação

Não existe número de ouro. A NN/g diz isso com todas as letras para entrevistas, e explica a ideia que entra no lugar: saturação, "a point where themes emerging from the research are fleshed out enough such that conducting more interviews won't provide new insights that would alter those themes", o ponto em que os temas estão maduros o bastante para que mais entrevistas não tragam nada que os altere (Rosala, How Many Participants for a UX Interview?, NN/g, 2021).

O que a evidência diz:

  • No estudo de Guest, Bunce e Johnson, com sessenta entrevistas, "saturation occurred within the first twelve interviews, although basic elements for metathemes were present as early as six", a saturação veio nas doze primeiras, e os elementos básicos dos grandes temas já estavam lá nas seis primeiras (Field Methods, 2006). Foi um estudo só, com mulheres de dois países da África Ocidental; grupos mais variados e perguntas mais amplas podem pedir mais.
  • Para teste de usabilidade, o modelo de Nielsen e Landauer mostrou que 5 usuários encontram cerca de 85% dos problemas; com grupos bem distintos, o Nielsen recomenda de 3 a 4 usuários por grupo quando são dois grupos, e 3 por grupo quando são três ou mais (Nielsen, Why You Only Need to Test with 5 Users, NN/g, 2000). Essa regra é sobre achar problemas de usabilidade num design, não sobre entender necessidades.
  • A NN/g avisa para não levar a regra dos "5 usuários" para entrevistas: em muitos estudos exploratórios, "5 participants are too few", 5 participantes é pouco, enquanto "5 por persona" pode significar muito mais entrevistas do que você precisa (Rosala, NN/g, 2021).

Então: comece pequeno, analise no caminho, e pare quando as sessões novas pararem de mudar os seus temas. Planeje um número (seis é um começo comum), e guarde a opção de mais duas.


6. Cotas: pequena, mas não toda igual

Com seis pessoas, um acaso pode entortar a amostra inteira: cinco da mesma área, todas craques no computador, todas fãs. Cotas evitam isso. Uma cota diz quantas pessoas de cada tipo você precisa: "4 que pararam, 2 que ficaram; no máximo 2 da mesma área."

Dois tipos de diversidade merecem cota por padrão:

  • Os que mudam a resposta. Quem ficou e quem foi embora; novatos e experientes; aparelhos diferentes.
  • Os que costumam faltar. A NN/g avisa que testar "only with able-bodied and neurotypical people who are tech-savvy and literate", só com pessoas sem deficiência, neurotípicas, digitais e alfabetizadas, deixa passar problemas que afetam boa parte da população (Brown, NN/g, 2024). O GOV.UK vai além para serviços públicos: você precisa incluir participantes com deficiência (GOV.UK, Finding participants).

Pergunte sobre necessidades de acesso para adaptar a sessão, nunca para excluir alguém.


7. Erros comuns

  • Perguntas de sim ou não que anunciam a resposta certa.
  • Perguntar o que a pessoa faria em vez do que ela fez.
  • Triagem excessiva, até ninguém passar.
  • Relatar porcentagens a partir de uma amostra qualitativa.
  • Usar "5 usuários" para todo tipo de estudo.
  • Nenhuma cota, e a amostra vira seis versões da mesma pessoa.

8. Vocabulário

Termo Significado
Questionário de triagem (screener) Um questionário curto que decide quem entra no estudo
Critérios de inclusão e exclusão Os traços que qualificam alguém, e os que tiram alguém do estudo
Técnica do funil Começar com perguntas amplas e revelar o assunto tarde
Amostra intencional Pessoas escolhidas de propósito porque podem informar as perguntas de pesquisa
Saturação O ponto em que sessões novas param de mudar os temas
Cota Quantos participantes de cada tipo a amostra precisa

9. Experimente (sem ferramentas)

  1. Escreva a pior pergunta de triagem possível para o seu estudo: sim ou não, indutora, cheia de jargão.
  2. Reescreva como uma pergunta de comportamento passado, com quatro ou cinco opções plausíveis, e marque quais respostas seguem.
  3. Escreva as cotas para seis sessões numa linha.

Perguntas para refletir: se você fosse um participante querendo o vale, quais das suas perguntas daria para burlar? Que grupo de pessoas as suas cotas ainda deixariam de fora?


10. Se você já pratica

  • Mantenha um banco de perguntas de triagem testadas para os principais comportamentos do seu produto. Reaproveite, e anote quais deixam entrar as pessoas erradas.
  • Inclua uma pergunta aberta em todo screener e leia as respostas antes de agendar: é a checagem de qualidade mais barata que você tem.
  • Nas apresentações, diga o que a sua amostra pode e não pode dizer: "6 participantes escolhidos de propósito; isto mostra o que acontece e por quê, não com que frequência."

Checklist

Para saber mais

Livros, cursos e vídeos para ir mais fundo

Os links dos livros são de afiliado da Amazon: como associado, recebo por compras qualificadas, sem custo a mais para você.

Relacionadas

Recrutar participantes · Quantos participantes · Tamanho da amostra e margem de erro · Entrevistas curtas com usuários · Teste de usabilidade com cinco pessoas · Design inclusivo · Questionário de triagem

Salvo só neste dispositivo.

↑ ↓ para mover · Enter para abrir · Esc para fechar