IA para UX · Passo 5 · 6 min de leitura
Medindo recursos de IA
Como saber se um recurso de IA ajuda de verdade: por que a sensação de velocidade das pessoas pode estar errada, o que os melhores estudos encontraram, quais métricas acompanhar (aceitação, correção, sucesso na tarefa, erros introduzidos, retenção), os limites do polegar para cima e para baixo, e um plano de medição que você pode adaptar.
"Parece mais rápido" é a afirmação mais comum e menos confiável sobre IA. Em um estudo cuidadoso, desenvolvedores experientes usando IA ficaram mensuravelmente mais lentos, enquanto achavam que estavam mais rápidos. Evals dizem o quanto as respostas da IA são boas. A medição diz se as pessoas estão melhor com o recurso no trabalho real delas. Você precisa dos dois.
O que você vai conseguir fazer depois de ler:
- Explicar por que a produtividade percebida e a produtividade medida podem não bater
- Resumir o que os estudos mais conhecidos sobre IA no trabalho encontraram
- Escolher métricas para um recurso de IA que vão além do uso
- Conhecer os limites do polegar para cima e para baixo
- Escrever um plano de medição simples
1. Percebido não é medido
- Copilot, uma tarefa: mais rápido55,8%
- Atendimento: mais casos por hora15%
- METR: esperavam ser mais rápidos24%
- METR: acharam que foram mais rápidos20%
- METR: medido, foram mais lentos19%
| Estudo | O que encontrou |
|---|---|
| Peng et al., 2023, experimento controlado | Desenvolvedores com GitHub Copilot terminaram uma tarefa de programação 55,8% mais rápido (artigo) |
| Brynjolfsson, Li & Raymond, 2025, Quarterly Journal of Economics | Atendentes de suporte com um assistente de IA resolveram 15% mais casos por hora. Os maiores ganhos foram dos atendentes menos experientes, e os mais habilidosos tiveram pequenas quedas de qualidade (NBER) |
| METR, julho de 2025, experimento controlado | 16 desenvolvedores experientes de código aberto ficaram 19% mais lentos com IA nos próprios projetos, mas esperavam ser 24% mais rápidos e, depois, ainda achavam que tinham sido 20% mais rápidos (artigo) |
| METR, atualização de fevereiro de 2026 | Dados de acompanhamento com desenvolvedores que voltaram ao estudo sugeriram um ganho de velocidade, mas o METR avisa que o resultado não é confiável por causa de viés de seleção (METR) |
A lição não é "IA é rápida" nem "IA é lenta". É que a resposta depende da tarefa, da pessoa e do contexto, e a própria percepção das pessoas pode estar errada. Meça.
2. O que medir
As pessoas terminaram o que vieram fazer?
Tempo medido na tarefa, não a velocidade percebida.
Parcela das sugestões usadas.
Parcela editada, desfeita ou descartada.
Erros que não aconteceriam sem a IA.
A conferência cai enquanto os erros continuam baixos?
O framework HEART do Google (Happiness, Engagement, Adoption, Retention, Task success, ou seja, felicidade, engajamento, adoção, retenção e sucesso na tarefa) continua funcionando como estrutura para recursos de IA (Rodden et al., 2010). A sugestão deste curso é somar a ele duas medidas específicas de IA: correção (com que frequência as pessoas corrigem a IA) e erros introduzidos (erros que não teriam acontecido sem ela).
Taxa de aceitação: útil, e fácil de interpretar errado
Em sugestões de código, a parcela de sugestões que as pessoas aceitam foi o melhor indicador de quão produtivos os desenvolvedores se sentiam (Ziegler et al., 2022). Aceito não é o mesmo que correto: combine a aceitação com a correção e os erros.
3. Os limites do polegar para cima e para baixo
- Ele mede prazer, não verdade. A OpenAI relatou que treinar com dados de polegar para cima e para baixo ajudou a deixar um modelo concordante demais: o feedback dos usuários "can sometimes favor more agreeable responses" (às vezes pode favorecer respostas mais concordantes) (OpenAI).
- Pouca gente clica. Avaliações explícitas são raras e vêm de quem está muito feliz ou muito irritado.
- Use também sinais implícitos. O PAIR separa o feedback explícito (avaliações) do feedback implícito (aceitar, editar, desfazer, abandonar), e pede que tanto o sistema quanto o usuário entendam o que o feedback significa (PAIR).
4. Um plano de medição
| Pergunta | Exemplo para um recurso de "sugestão de resposta com IA" |
|---|---|
| Objetivo | Os atendentes respondem os clientes mais rápido, sem mais erros |
| Sucesso na tarefa | Parcela de conversas resolvidas sem escalonamento |
| Tempo | Tempo mediano até a primeira resposta, com e sem o recurso |
| Aceitação e correção | Sugestões enviadas como estão / editadas / descartadas |
| Erros introduzidos | Fatos errados enviados a clientes, a partir de auditorias de uma amostra |
| Confiança ao longo do tempo | A edição cai ao longo das semanas (bom) enquanto os erros sobem (ruim: confiança demais)? |
| Comparação | Um grupo sem o recurso, ou antes/depois feito com cuidado |
| Qualitativo | Cinco entrevistas por mês: quando as pessoas ignoram a IA, e por quê? |
5. Vocabulário
| Termo | Significado |
|---|---|
| Taxa de aceitação | Parcela das sugestões da IA que as pessoas usam |
| Taxa de correção | Parcela das sugestões da IA que as pessoas editam ou desfazem |
| Erros introduzidos | Erros causados pela IA que não aconteceriam de outra forma |
| HEART | Happiness, Engagement, Adoption, Retention, Task success (felicidade, engajamento, adoção, retenção, sucesso na tarefa) |
| Experimento controlado | Comparar grupos com e sem o recurso, distribuídos de forma justa |
| Feedback explícito / implícito | Avaliações que as pessoas dão, versus sinais do que elas fazem |
6. Experimente (sem código)
- Escolha um recurso de IA que você usa ou desenha.
- Escreva o objetivo dele em uma frase.
- Escolha uma métrica para cada um destes: sucesso na tarefa, tempo, correção, erros introduzidos, confiança ao longo do tempo.
- Para cada uma, escreva como você coletaria e o que faria você desligar o recurso.
Perguntas para refletir: quais dos seus recursos de IA são avaliados só pelo uso? O que você precisaria ver para acreditar que eles ajudam de verdade?
7. Se você lidera um time
- Não reporte o sucesso da IA só com o uso. Combine com o sucesso na tarefa e os erros introduzidos.
- Planeje uma comparação (um grupo de controle ou um antes/depois cuidadoso) antes do lançamento, não depois.
- Compartilhe os resultados com honestidade, incluindo os recursos que não ajudaram.
Checklist
Para saber mais
- Estudos: Peng et al., The Impact of AI on Developer Productivity (2023) · Brynjolfsson, Li & Raymond, Generative AI at Work · METR, experienced developers study (2025) · METR update (Feb 2026) · Ziegler et al., acceptance and perceived productivity (2022)
- Frameworks: Google HEART (Rodden et al., 2010) · PAIR: Feedback + Control
Livros, cursos e vídeos para ir mais fundo (em inglês)
Relacionadas
Evals para designers · Desenhando para a incerteza · Design agêntico · ciclos de feedback · viés de automação · Roteiro de agentes de UX