Marcus Andrey Estudo
Read in English Biblioteca

IA para UX · Passo 5 · 6 min de leitura

Evals para designers

Evals são a versão para IA do teste de usabilidade somado ao QA: testes estruturados das respostas da IA contra critérios. Por que uma boa resposta não prova nada, como designers escrevem os casos de teste e as rubricas, como juízes automáticos funcionam e falham, e um eval simples que você pode rodar sem código.

"Eu testei e funcionou" não é uma avaliação. A IA dá respostas diferentes para a mesma pergunta. Ela pode ser excelente nos casos que você testou e fraca nos casos que os seus usuários vão trazer. Evals são a forma como os times descobrem o quanto um recurso de IA é bom de verdade, antes e depois do lançamento. Designers muitas vezes são as melhores pessoas para escrevê-los, porque evals começam com a pergunta que todo designer faz: o que é "bom" para esse usuário?

O que você vai conseguir fazer depois de ler:

  • Explicar o que é um eval, em palavras simples, e por que uma única resposta não prova nada
  • Escrever casos de teste tirados de usuários reais e de falhas reais
  • Transformar "bom" em uma rubrica que outra pessoa consiga aplicar
  • Saber quando confiar em um juiz automático, e como conferi-lo
  • Rodar um eval pequeno com uma planilha e sem código

1. O que é um eval

Um eval é um teste estruturado das respostas da IA: um conjunto de entradas, uma definição de como é uma boa resposta e uma forma de avaliar muitas respostas de modo consistente. Pense nele como teste de usabilidade somado ao QA, para algo que muda a resposta a cada vez.

O NN/g trata isso como um estudo quantitativo: "One AI output is an example, not an evaluation." (uma resposta de IA é um exemplo, não uma avaliação). Teste com muitas entradas representativas, repita as execuções e olhe a variação, não uma resposta impressionante (NN/g, ago. 2026).

Um cilindro de metal, um quilograma-padrão nacional, sob duas campânulas de vidro num suporte.
Um quilograma-padrão nacional: toda balança é conferida contra uma referência que todo mundo aceita. Um conjunto de evals é essa referência para um recurso de IA. Foto: National Institute of Standards and Technology, Wikimedia Commons, domínio público.

2. O ciclo do eval

  1. 1Definir o bom

    Critérios específicos e mensuráveis.

  2. 2Juntar casos

    Entradas e falhas reais, mais casos extremos.

  3. 3Rodar

    Todos os casos, mais de uma vez.

  4. 4Dar nota

    Com código, um modelo ou pessoas, usando uma rubrica.

  5. 5Ler e melhorar

    Leia as respostas; ajuste prompt, dados ou design.

repita sempre que o modelo, o prompt ou os dados mudarem

O ciclo de evals. Toda falha real depois do lançamento vira um caso novo. Diagrama: Marcus Andrey, CC BY 4.0.

Casos de teste: reais, variados e difíceis

  • Comece pela realidade. A orientação da Anthropic para agentes: "20-50 simple tasks drawn from real failures is a great start" (20 a 50 tarefas simples tiradas de falhas reais já são um ótimo começo) (Anthropic). Chamados de suporte, notas de pesquisa e relatórios de bugs estão cheios delas.
  • Cubra os extremos: entradas longas, erros de digitação, outros idiomas, pedidos ambíguos, entradas que deveriam ser recusadas.
  • Mantenha um conjunto reservado (held-out set) que você nunca usa para ajustar prompts. Assim você sabe se está melhorando de verdade ou só se adaptando aos testes.

Critérios de sucesso: específicos e mensuráveis

A Anthropic recomenda critérios específicos e mensuráveis (documentação da Anthropic). "Simpático" não é. "Diz o próximo passo em uma frase, com menos de 140 caracteres, sem culpar o usuário" é.


3. Rubricas: transformar "bom" em algo que dá para avaliar

Uma rubrica é uma lista curta de critérios, e cada um é avaliado do mesmo jeito por qualquer pessoa:

Critério Passa Falha
Correta Todos os fatos batem com a fonte Qualquer fato, número ou recurso inventado
Completa Responde ao pedido inteiro Deixa parte dele de fora
No tom da marca Segue o tom e os termos do produto Genérica ou fora da marca
Acionável Termina com um próximo passo claro Deixa a pessoa travada
Segura Recusa o que deve recusar, protege dados pessoais Vaza dados ou passa dos limites

Passa/falha por critério é mais fácil de aplicar de forma consistente do que notas de 1 a 10. A orientação da OpenAI alerta contra "vibe-based evals" (avaliar no olhômetro): julgar pela impressão em vez de critérios escritos (OpenAI).


4. Quem avalia: código, modelos ou pessoas

CódigoRegras em código

Tamanho, formato, palavras obrigatórias, links que funcionam.

Rápido e exato, mas só para o que dá para conferir mecanicamente
ModeloUm juiz de IA

Outro modelo dá nota com uma rubrica.

Escala bem; tende a favorecer a primeira e a mais longa; calibre
PessoasAvaliadores humanos

Designers, redatores, especialistas com a rubrica.

A referência; lenta; necessária para conferir os outros
Três tipos de avaliador. A maioria dos bons evals combina os três e confere os automáticos com pessoas. Diagrama: Marcus Andrey, CC BY 4.0.

Juízes automáticos (LLM como juiz, ou LLM-as-a-judge) usam um modelo de IA para avaliar as respostas de outro. Um estudo conhecido mostrou que juízes fortes concordam com humanos mais de 80% das vezes, mais ou menos o mesmo tanto que humanos concordam entre si. Mas o estudo também documentou vieses: preferir a primeira resposta mostrada, preferir respostas mais longas e preferir o próprio estilo (Zheng et al., NeurIPS 2023). Tanto a Anthropic quanto a OpenAI dizem que avaliadores automáticos precisam ser calibrados com avaliadores humanos antes que você confie neles.


5. Onde designers fazem a diferença

  • Definir o que é bom: os critérios vêm das necessidades dos usuários, das diretrizes de conteúdo e da acessibilidade, que são áreas do design.
  • Escrever casos realistas: a partir da pesquisa e do suporte, incluindo as pessoas que têm mais chance de ser mal atendidas. Veja Ética, viés e inclusão.
  • Ler as respostas: o conselho da Anthropic é simplesmente ler as transcrições. Padrões de falha são insights de design.
  • Manter o eval vivo: cada nova falha real vira um novo caso de teste.

6. Vocabulário

Termo Significado
Evals (avaliações) Testes estruturados das respostas da IA contra critérios
Conjunto de teste (test set) As entradas que um eval usa
Conjunto reservado (held-out set) Casos guardados à parte, nunca usados para ajustar prompts
Rubrica Critérios escritos para avaliar uma resposta
LLM como juiz (LLM-as-a-judge) Usar um modelo de IA para avaliar respostas de IA
Regressão Algo que funcionava e agora não funciona mais

7. Experimente (sem código)

  1. Escolha um recurso de IA (um resumo, uma sugestão de resposta, uma mensagem de erro reescrita).
  2. Em uma planilha, escreva 20 entradas reais, incluindo cinco difíceis.
  3. Escreva uma rubrica de passa/falha com cinco critérios (seção 3).
  4. Rode cada entrada no recurso, cole as respostas e avalie. Conte quantas passaram em cada critério.
  5. Rode as mesmas 20 de novo um dia depois. O que mudou?

Perguntas para refletir: qual critério falhou mais? Foi um problema de prompt, de dados ou de design? Quem no seu time deveria ser dono do conjunto de teste?


8. Se você lidera um time

  • Torne um conjunto de eval obrigatório antes de qualquer recurso de IA ir para produção, com o design escrevendo os critérios.
  • Rode o eval de novo sempre que o modelo, o prompt ou os dados mudarem.
  • Guarde o conjunto de eval em um lugar compartilhado e acrescente nele cada falha real.

Checklist

Para saber mais

Livros, cursos e vídeos para ir mais fundo (em inglês)

Relacionadas

Desenhando para a incerteza · Medindo recursos de IA · Processo de revisão de design com IA · Evals (avaliações) · alucinação · Ética, viés e inclusão

Salvo só neste dispositivo.

↑ ↓ para mover · Enter para abrir · Esc para fechar