Marcus Andrey Estudo
Read in English Biblioteca

IA para UX · Passo 5 · 6 min de leitura

Medindo recursos de IA

Como saber se um recurso de IA ajuda de verdade: por que a sensação de velocidade das pessoas pode estar errada, o que os melhores estudos encontraram, quais métricas acompanhar (aceitação, correção, sucesso na tarefa, erros introduzidos, retenção), os limites do polegar para cima e para baixo, e um plano de medição que você pode adaptar.

"Parece mais rápido" é a afirmação mais comum e menos confiável sobre IA. Em um estudo cuidadoso, desenvolvedores experientes usando IA ficaram mensuravelmente mais lentos, enquanto achavam que estavam mais rápidos. Evals dizem o quanto as respostas da IA são boas. A medição diz se as pessoas estão melhor com o recurso no trabalho real delas. Você precisa dos dois.

O que você vai conseguir fazer depois de ler:

  • Explicar por que a produtividade percebida e a produtividade medida podem não bater
  • Resumir o que os estudos mais conhecidos sobre IA no trabalho encontraram
  • Escolher métricas para um recurso de IA que vão além do uso
  • Conhecer os limites do polegar para cima e para baixo
  • Escrever um plano de medição simples

1. Percebido não é medido

  1. Copilot, uma tarefa: mais rápido55,8%
  2. Atendimento: mais casos por hora15%
  3. METR: esperavam ser mais rápidos24%
  4. METR: acharam que foram mais rápidos20%
  5. METR: medido, foram mais lentos19%
Três estudos conhecidos (Peng et al. 2023; Brynjolfsson et al. 2025; METR 2025). O efeito depende da tarefa, da pessoa e do contexto, e a percepção das pessoas pode estar errada. Diagrama: Marcus Andrey, CC BY 4.0.
Estudo O que encontrou
Peng et al., 2023, experimento controlado Desenvolvedores com GitHub Copilot terminaram uma tarefa de programação 55,8% mais rápido (artigo)
Brynjolfsson, Li & Raymond, 2025, Quarterly Journal of Economics Atendentes de suporte com um assistente de IA resolveram 15% mais casos por hora. Os maiores ganhos foram dos atendentes menos experientes, e os mais habilidosos tiveram pequenas quedas de qualidade (NBER)
METR, julho de 2025, experimento controlado 16 desenvolvedores experientes de código aberto ficaram 19% mais lentos com IA nos próprios projetos, mas esperavam ser 24% mais rápidos e, depois, ainda achavam que tinham sido 20% mais rápidos (artigo)
METR, atualização de fevereiro de 2026 Dados de acompanhamento com desenvolvedores que voltaram ao estudo sugeriram um ganho de velocidade, mas o METR avisa que o resultado não é confiável por causa de viés de seleção (METR)

A lição não é "IA é rápida" nem "IA é lenta". É que a resposta depende da tarefa, da pessoa e do contexto, e a própria percepção das pessoas pode estar errada. Meça.

Um cronômetro mecânico de por volta de 1970, apoiado numa pedra na neve.
Quanto tempo algo pareceu levar e quanto tempo levou são números diferentes. Só um deles vem de um cronômetro. Foto: R. Henrik Nilsson, Wikimedia Commons, CC BY 4.0.

2. O que medir

1Sucesso na tarefa

As pessoas terminaram o que vieram fazer?

2Tempo

Tempo medido na tarefa, não a velocidade percebida.

3Aceitação

Parcela das sugestões usadas.

4Correção

Parcela editada, desfeita ou descartada.

5Erros introduzidos

Erros que não aconteceriam sem a IA.

6Confiança ao longo do tempo

A conferência cai enquanto os erros continuam baixos?

Seis medidas para um recurso de IA. Só o uso diz que ele é usado, não que ajuda. Diagrama: Marcus Andrey, CC BY 4.0.

O framework HEART do Google (Happiness, Engagement, Adoption, Retention, Task success, ou seja, felicidade, engajamento, adoção, retenção e sucesso na tarefa) continua funcionando como estrutura para recursos de IA (Rodden et al., 2010). A sugestão deste curso é somar a ele duas medidas específicas de IA: correção (com que frequência as pessoas corrigem a IA) e erros introduzidos (erros que não teriam acontecido sem ela).

Taxa de aceitação: útil, e fácil de interpretar errado

Em sugestões de código, a parcela de sugestões que as pessoas aceitam foi o melhor indicador de quão produtivos os desenvolvedores se sentiam (Ziegler et al., 2022). Aceito não é o mesmo que correto: combine a aceitação com a correção e os erros.


3. Os limites do polegar para cima e para baixo

  • Ele mede prazer, não verdade. A OpenAI relatou que treinar com dados de polegar para cima e para baixo ajudou a deixar um modelo concordante demais: o feedback dos usuários "can sometimes favor more agreeable responses" (às vezes pode favorecer respostas mais concordantes) (OpenAI).
  • Pouca gente clica. Avaliações explícitas são raras e vêm de quem está muito feliz ou muito irritado.
  • Use também sinais implícitos. O PAIR separa o feedback explícito (avaliações) do feedback implícito (aceitar, editar, desfazer, abandonar), e pede que tanto o sistema quanto o usuário entendam o que o feedback significa (PAIR).

4. Um plano de medição

Pergunta Exemplo para um recurso de "sugestão de resposta com IA"
Objetivo Os atendentes respondem os clientes mais rápido, sem mais erros
Sucesso na tarefa Parcela de conversas resolvidas sem escalonamento
Tempo Tempo mediano até a primeira resposta, com e sem o recurso
Aceitação e correção Sugestões enviadas como estão / editadas / descartadas
Erros introduzidos Fatos errados enviados a clientes, a partir de auditorias de uma amostra
Confiança ao longo do tempo A edição cai ao longo das semanas (bom) enquanto os erros sobem (ruim: confiança demais)?
Comparação Um grupo sem o recurso, ou antes/depois feito com cuidado
Qualitativo Cinco entrevistas por mês: quando as pessoas ignoram a IA, e por quê?

5. Vocabulário

Termo Significado
Taxa de aceitação Parcela das sugestões da IA que as pessoas usam
Taxa de correção Parcela das sugestões da IA que as pessoas editam ou desfazem
Erros introduzidos Erros causados pela IA que não aconteceriam de outra forma
HEART Happiness, Engagement, Adoption, Retention, Task success (felicidade, engajamento, adoção, retenção, sucesso na tarefa)
Experimento controlado Comparar grupos com e sem o recurso, distribuídos de forma justa
Feedback explícito / implícito Avaliações que as pessoas dão, versus sinais do que elas fazem

6. Experimente (sem código)

  1. Escolha um recurso de IA que você usa ou desenha.
  2. Escreva o objetivo dele em uma frase.
  3. Escolha uma métrica para cada um destes: sucesso na tarefa, tempo, correção, erros introduzidos, confiança ao longo do tempo.
  4. Para cada uma, escreva como você coletaria e o que faria você desligar o recurso.

Perguntas para refletir: quais dos seus recursos de IA são avaliados só pelo uso? O que você precisaria ver para acreditar que eles ajudam de verdade?


7. Se você lidera um time

  • Não reporte o sucesso da IA só com o uso. Combine com o sucesso na tarefa e os erros introduzidos.
  • Planeje uma comparação (um grupo de controle ou um antes/depois cuidadoso) antes do lançamento, não depois.
  • Compartilhe os resultados com honestidade, incluindo os recursos que não ajudaram.

Checklist

Para saber mais

Livros, cursos e vídeos para ir mais fundo (em inglês)

Relacionadas

Evals para designers · Desenhando para a incerteza · Design agêntico · ciclos de feedback · viés de automação · Roteiro de agentes de UX

Salvo só neste dispositivo.

↑ ↓ para mover · Enter para abrir · Esc para fechar