Pesquisa em UX · Passo 5 · 11 min de leitura
Analytics e testes A/B para designers
Analytics mostra o que as pessoas fazem no seu produto, em escala; não mostra por quê. Para que servem os dados de uso, as armadilhas deles, como funciona um teste A/B, como planejá-lo antes do lançamento, por que não se pode espiar o resultado e onde quem desenha contribui mais.
Analytics é uma testemunha excelente que não tem opinião sobre motivos. Ela viu todo mundo que saiu do formulário na etapa três. Não faz ideia se as pessoas ficaram confusas, foram interrompidas ou só estavam conferindo o preço. Um teste A/B vai um passo além: ele consegue provar que uma mudança causou uma diferença. Ainda assim, não diz por quê. Quem desenha e sabe ler as duas coisas, e combiná-las com a pesquisa que as explica, acaba na sala onde as decisões de produto são tomadas.
O que você vai conseguir fazer depois de ler:
- Dizer que perguntas os dados de uso respondem, e quais não respondem
- Evitar as armadilhas mais comuns na leitura de dados de produto
- Planejar um teste A/B antes do lançamento: hipótese, métricas, amostra, duração
- Explicar por que espiar um teste em andamento estraga o teste
1. Para que servem os dados de uso
Analytics de produto registra o que as pessoas fazem: páginas e telas vistas, botões tocados, de onde vieram e onde saíram. Mostra comportamento em escala, de todo mundo, não das cinco pessoas do seu estudo.
| Pergunta | Os dados de uso dizem | Eles não dizem | Combine com |
|---|---|---|---|
| Onde as pessoas desistem? | 62% saem do formulário "lançar despesa" na etapa de divisão | Se ficaram confusas, foram interrompidas ou só estavam conferindo | Um teste de usabilidade dessa etapa |
| O recurso é usado? | Quem abre, com que frequência, vindo de onde | Quem precisava dele e nunca achou | Entrevistas, ou um questionário curto dentro do produto |
| Qual é o caminho típico? | As rotas mais comuns entre as telas | O que as pessoas tentavam fazer; duas pessoas no mesmo caminho podem querer coisas diferentes | Investigação contextual ou estudo de diário |
| A mudança ajudou? | O antes e o depois, mas outras coisas também mudaram | Causa e efeito | Um teste A/B, quando há tráfego suficiente |
Ele é forte em três trabalhos:
- Mostrar onde olhar. Um funil que perde 62% numa etapa diz qual etapa levar para um teste de usabilidade.
- Dimensionar um problema que a pesquisa achou. Cinco pessoas tiveram dificuldade na etapa de divisão no teste; os dados de uso dizem quantas pessoas chegam a ela por semana.
- Acompanhar uma mudança ao longo do tempo, com o cuidado de que outras coisas mudam ao mesmo tempo.
E ele é cego numa direção. O artigo da NN/g sobre caminhos de navegação diz isso de forma simples: analytics não consegue observar o que se passa na cabeça das pessoas, então duas pessoas com exatamente os mesmos cliques podem ter tido experiências muito diferentes (NN/g, Understanding User Pathways in Analytics, 2022). Por isso a coluna da direita da figura sempre cita um método de pesquisa. Usar vários métodos para um conferir o outro se chama triangulação (NN/g, Triangulation).
2. Armadilhas na leitura dos números
- Contar o que é fácil em vez do que importa. Visualizações de página são fáceis de contar. As pessoas conseguiram fazer o que precisavam? O framework HEART, do Google, começa pelos objetivos, depois os sinais, depois as métricas, exatamente por isso (Rodden, Hutchinson e Fu, CHI 2010); Definindo sucesso explica passo a passo.
- Médias que escondem grupos. Uma sessão mediana de 3 minutos pode ser metade das pessoas com 30 segundos e metade com 6 minutos. Separe por um segmento que faça sentido antes de concluir.
- Antes e depois. "Lançamos o formulário novo e a conversão subiu 8%." Também subiram a estação do ano, a verba de marketing e o preço. Comparações de antes e depois não separam a sua mudança de todo o resto.
- O caminho arrumadinho. Diagramas de caminho mostram as rotas mais comuns, somadas a partir de visitas muito diferentes. A NN/g sugere isolar uma página ou tela importante e ler o tráfego que entra e sai dela, em vez do emaranhado inteiro.
3. O que é um teste A/B
Um teste A/B mostra duas ou mais versões de um design ao tráfego real, ao mesmo tempo, e divide os visitantes ao acaso, para cada pessoa ver uma versão só. Depois compara uma métrica decidida antes (NN/g, A/B Testing 101, 2024). A versão A costuma ser o design atual, o controle; B é a variante.
A divisão aleatória é o ponto principal. Como os dois grupos são parecidos em tudo, menos na versão que viram, uma diferença entre eles, além do que o acaso explica, foi causada pela mudança. Isso é algo que dados de uso, questionários e entrevistas não conseguem dar.
A NN/g lista quando não usar:
- Pouco tráfego. Muitas vezes você precisa de milhares de pessoas para chegar a um resultado confiável.
- Várias mudanças de uma vez. Se B muda o texto, o layout e a cor, você não vai saber qual delas importou.
- Quando você precisa do porquê. O teste diz que B ganhou; a pesquisa diz por quê.
4. Planeje antes de lançar
Plano de teste A/B: o lembrete de pagamento
Nas entrevistas, 4 de 6 pessoas disseram que demoram a cobrar porque cobrar parece falta de educação, e que o nosso lembrete "parece eu enchendo o saco".
Se o lembrete falar como o app, numa data fixa do mês, mais gente vai pagar em até 7 dias, porque ninguém precisa ser quem cobra.
A, controle: "A Ana diz que você deve R$ 45,00. Pague agora"
B, variante: "Acerto do mês: R$ 45,00 para a Ana. Acertar"
Lembretes seguidos de pagamento em até 7 dias. Hoje: 3,0%
- Pessoas que desligam os lembretes
- Contatos com o suporte sobre lembretes
Nenhuma delas pode piorar.
20% relativo: de 3,0% para 3,6%
Cerca de 13.900 lembretes por versão, com significância de 95% e poder de 80%. Com 2.000 lembretes por dia, divididos ao meio: 14 dias, duas semanas inteiras.
Olhar o resultado uma vez, no dia 14. Lançar B se a métrica principal for melhor e significativa e nenhuma métrica de proteção piorar. Senão, manter A e registrar o que aprendemos.
Os passos da NN/g são os do plano: uma hipótese baseada em pesquisa, uma única mudança, uma métrica principal e métricas de proteção que não podem piorar, e uma duração que vem do tamanho da amostra, não da paciência (NN/g, 2024).
O tamanho da amostra depende de três números:
- Linha de base: o valor de hoje da métrica, tirado dos dados de uso. Aqui, 3,0%.
- Efeito mínimo detectável: a menor mudança que vale a pena. Aqui, 20% relativo, ou seja, 3,6%. Efeitos menores pedem muito mais tráfego: a NN/g mostra que tentar detectar uma mudança relativa de 1% numa linha de base de 3% exigiria uma amostra enorme.
- Significância e poder: em geral, 95% e 80%.
Com esses três, uma calculadora comum de tamanho de amostra para duas proporções dá cerca de 13.900 por versão. Com 2.000 lembretes por dia, são duas semanas. A NN/g recomenda pelo menos uma a duas semanas de qualquer jeito, mesmo com bastante tráfego, porque o comportamento muda ao longo dos dias da semana.
As métricas de proteção evitam uma vitória que na verdade é uma perda. Uma variante que ganha mais cliques por ser mais insistente pode também fazer mais gente desligar as notificações. A NN/g alerta contra julgar um teste por uma métrica só exatamente por isso. Ron Kohavi, Diane Tang e Ya Xu, que lideraram a experimentação na Microsoft, no Google e no LinkedIn, dedicam um capítulo do livro deles a escolher um Overall Evaluation Criterion, o critério de avaliação geral, a métrica que de fato representa o sucesso no longo prazo (Cambridge University Press, 2020).
5. Não espie, e não acredite na surpresa
O jeito mais comum de estragar um teste A/B é ficar olhando o painel e parar quando ele fica verde. Os números de significância supõem que o tamanho da amostra foi fixado antes. No exemplo de Evan Miller, se você confere depois de cada visitante e para no primeiro resultado "significativo", um teste de duas versões que na verdade têm o mesmo desempenho declara um vencedor em 26,1% das vezes, e não nos 5% que você acha que está aceitando (Evan Miller, How Not To Run an A/B Test). O conselho dele: decida o tamanho da amostra primeiro, e espere. A NN/g põe parar cedo demais entre os erros mais comuns.
Mais dois hábitos de quem roda milhares de testes:
- Rode um teste A/A primeiro. Mostre o mesmo design aos dois grupos. Se a ferramenta apontar uma diferença, a configuração está errada (NN/g, 2024).
- Desconfie de resultados bons demais. Kohavi, Tang e Xu chamam isso de lei de Twyman: qualquer número que parece interessante ou diferente geralmente está errado. Uma alta de 40% por causa de uma troca de rótulo é mais provavelmente um erro de medição do que uma descoberta. Confira antes de comemorar.
E lembre que estatisticamente significativo não é o mesmo que valer a pena. Com tráfego suficiente, uma diferença minúscula vira significativa; se vale a pena construir, é uma pergunta de produto (Jeff Sauro, 10 Things to Know about A/B Testing, MeasuringU, 2012).
6. Onde quem desenha contribui mais
Você não precisa fazer a estatística. Precisa trazer as partes que a estatística não traz:
- A hipótese. A NN/g relata que só cerca de um em cada sete testes A/B tem uma versão vencedora, e as chances são piores sem uma hipótese vinda de pesquisa. O plano acima começa nas entrevistas; essa é a contribuição de quem desenha.
- A variante. Uma mudança clara, bem desenhada, acessível nas duas versões.
- O porquê, depois. Seja qual for a vencedora, veja cinco pessoas usando. Se B ganhou por um motivo que você não esperava, você aprendeu algo maior do que o teste.
- A ética. Testar um padrão enganoso contra um justo e lançar o vencedor continua sendo lançar um padrão enganoso. Ética e consentimento na pesquisa vale também para experimentos, e Kohavi, Tang e Xu dão à ética um capítulo próprio.
7. Erros comuns
- Ler uma mudança de antes e depois como prova de que o design funcionou.
- Rodar um teste A/B numa página com poucas centenas de visitas por semana.
- Mudar três coisas na variante.
- Uma métrica só, sem métricas de proteção.
- Parar o teste no dia em que ele fica verde.
- Lançar uma alta "significativa" de 0,1% que custa um mês de trabalho.
- Tratar os dados de uso como a resposta, em vez de como o lugar para começar a olhar.
8. Vocabulário
| Termo | Significado |
|---|---|
| Funil | A parcela de pessoas que passa por cada etapa de um fluxo |
| Segmento | Um subgrupo de usuários, como novos ou recorrentes |
| Controle, variante | A versão atual (A) e a nova (B) |
| Métrica principal | O número que o teste pretende mover |
| Métrica de proteção | Um número que não pode piorar |
| Efeito mínimo detectável | A menor mudança que o teste foi desenhado para detectar |
| Significância estatística | Quão improvável seria uma diferença desse tamanho se as versões fossem iguais |
| Poder | A chance de detectar um efeito real do tamanho planejado |
| Teste A/A | Duas versões idênticas, para conferir a configuração |
| Triangulação | Conferir uma constatação com vários métodos |
9. Experimente (sem ferramentas)
- Escolha uma tela de um produto em que você trabalha, ou que usa muito.
- Escreva o plano A/B da figura para uma mudança nela: hipótese, a única mudança, métrica principal, duas métricas de proteção.
- Pergunte: de onde viria a hipótese? Se a resposta honesta for "um palpite", que pesquisa a transformaria em evidência?
Perguntas para refletir: Qual foi o último número que o seu time comemorou? Era um antes e depois, ou um teste controlado?
10. Se você já pratica
- Escreva o plano do teste, incluindo a regra de decisão, antes do lançamento, e compartilhe. Isso evita discussões sobre o que o resultado significa.
- Leve evidência qualitativa para cada hipótese, e uma checagem rápida de usabilidade para cada vencedora.
- Inclua uma métrica de proteção de acessibilidade e de contatos com o suporte em todo teste que muda um fluxo.
- Mantenha um registro de todos os testes, vencedores e perdedores. Kohavi, Tang e Xu chamam isso de memória institucional; é onde mora o aprendizado de verdade de um time.
Checklist
Para saber mais
- Tim Neusesser, A/B Testing 101 (NN/g, 2024)
- Evan Miller, How Not To Run an A/B Test
- Page Laubheimer, Understanding User Pathways in Analytics (NN/g, 2022)
- Kerry Rodden, Hilary Hutchinson e Xin Fu, Measuring the user experience on a large scale (CHI 2010): o framework HEART
- Jeff Sauro, 10 Things to Know about A/B Testing (MeasuringU, 2012)
- Experiment Guide, o site do livro de Kohavi, Tang e Xu
Livros, cursos e vídeos para ir mais fundo
- Trustworthy Online Controlled Experiments: A Practical Guide to A/B TestingRon Kohavi, Diane Tang e Ya XuLivro · Cambridge University Press, 2020 (Amazon)
- Quantifying the User Experience: Practical Statistics for User ResearchJeff Sauro e James R. LewisLivro · Morgan Kaufmann, 2ª edição, 2016 (Amazon)
Os links dos livros são de afiliado da Amazon: como associado, recebo por compras qualificadas, sem custo a mais para você.
Relacionadas
Definindo sucesso · Tamanho da amostra e margem de erro · Medir a usabilidade · Escrever insights que mudam decisões · Medindo recursos de IA