IA para UX · Passo 5 · 6 min de leitura
Evals para designers
Evals são a versão para IA do teste de usabilidade somado ao QA: testes estruturados das respostas da IA contra critérios. Por que uma boa resposta não prova nada, como designers escrevem os casos de teste e as rubricas, como juízes automáticos funcionam e falham, e um eval simples que você pode rodar sem código.
"Eu testei e funcionou" não é uma avaliação. A IA dá respostas diferentes para a mesma pergunta. Ela pode ser excelente nos casos que você testou e fraca nos casos que os seus usuários vão trazer. Evals são a forma como os times descobrem o quanto um recurso de IA é bom de verdade, antes e depois do lançamento. Designers muitas vezes são as melhores pessoas para escrevê-los, porque evals começam com a pergunta que todo designer faz: o que é "bom" para esse usuário?
O que você vai conseguir fazer depois de ler:
- Explicar o que é um eval, em palavras simples, e por que uma única resposta não prova nada
- Escrever casos de teste tirados de usuários reais e de falhas reais
- Transformar "bom" em uma rubrica que outra pessoa consiga aplicar
- Saber quando confiar em um juiz automático, e como conferi-lo
- Rodar um eval pequeno com uma planilha e sem código
1. O que é um eval
Um eval é um teste estruturado das respostas da IA: um conjunto de entradas, uma definição de como é uma boa resposta e uma forma de avaliar muitas respostas de modo consistente. Pense nele como teste de usabilidade somado ao QA, para algo que muda a resposta a cada vez.
O NN/g trata isso como um estudo quantitativo: "One AI output is an example, not an evaluation." (uma resposta de IA é um exemplo, não uma avaliação). Teste com muitas entradas representativas, repita as execuções e olhe a variação, não uma resposta impressionante (NN/g, ago. 2026).
2. O ciclo do eval
- 1Definir o bom
Critérios específicos e mensuráveis.
- 2Juntar casos
Entradas e falhas reais, mais casos extremos.
- 3Rodar
Todos os casos, mais de uma vez.
- 4Dar nota
Com código, um modelo ou pessoas, usando uma rubrica.
- 5Ler e melhorar
Leia as respostas; ajuste prompt, dados ou design.
repita sempre que o modelo, o prompt ou os dados mudarem
Casos de teste: reais, variados e difíceis
- Comece pela realidade. A orientação da Anthropic para agentes: "20-50 simple tasks drawn from real failures is a great start" (20 a 50 tarefas simples tiradas de falhas reais já são um ótimo começo) (Anthropic). Chamados de suporte, notas de pesquisa e relatórios de bugs estão cheios delas.
- Cubra os extremos: entradas longas, erros de digitação, outros idiomas, pedidos ambíguos, entradas que deveriam ser recusadas.
- Mantenha um conjunto reservado (held-out set) que você nunca usa para ajustar prompts. Assim você sabe se está melhorando de verdade ou só se adaptando aos testes.
Critérios de sucesso: específicos e mensuráveis
A Anthropic recomenda critérios específicos e mensuráveis (documentação da Anthropic). "Simpático" não é. "Diz o próximo passo em uma frase, com menos de 140 caracteres, sem culpar o usuário" é.
3. Rubricas: transformar "bom" em algo que dá para avaliar
Uma rubrica é uma lista curta de critérios, e cada um é avaliado do mesmo jeito por qualquer pessoa:
| Critério | Passa | Falha |
|---|---|---|
| Correta | Todos os fatos batem com a fonte | Qualquer fato, número ou recurso inventado |
| Completa | Responde ao pedido inteiro | Deixa parte dele de fora |
| No tom da marca | Segue o tom e os termos do produto | Genérica ou fora da marca |
| Acionável | Termina com um próximo passo claro | Deixa a pessoa travada |
| Segura | Recusa o que deve recusar, protege dados pessoais | Vaza dados ou passa dos limites |
Passa/falha por critério é mais fácil de aplicar de forma consistente do que notas de 1 a 10. A orientação da OpenAI alerta contra "vibe-based evals" (avaliar no olhômetro): julgar pela impressão em vez de critérios escritos (OpenAI).
4. Quem avalia: código, modelos ou pessoas
Tamanho, formato, palavras obrigatórias, links que funcionam.
Rápido e exato, mas só para o que dá para conferir mecanicamenteOutro modelo dá nota com uma rubrica.
Escala bem; tende a favorecer a primeira e a mais longa; calibreDesigners, redatores, especialistas com a rubrica.
A referência; lenta; necessária para conferir os outrosJuízes automáticos (LLM como juiz, ou LLM-as-a-judge) usam um modelo de IA para avaliar as respostas de outro. Um estudo conhecido mostrou que juízes fortes concordam com humanos mais de 80% das vezes, mais ou menos o mesmo tanto que humanos concordam entre si. Mas o estudo também documentou vieses: preferir a primeira resposta mostrada, preferir respostas mais longas e preferir o próprio estilo (Zheng et al., NeurIPS 2023). Tanto a Anthropic quanto a OpenAI dizem que avaliadores automáticos precisam ser calibrados com avaliadores humanos antes que você confie neles.
5. Onde designers fazem a diferença
- Definir o que é bom: os critérios vêm das necessidades dos usuários, das diretrizes de conteúdo e da acessibilidade, que são áreas do design.
- Escrever casos realistas: a partir da pesquisa e do suporte, incluindo as pessoas que têm mais chance de ser mal atendidas. Veja Ética, viés e inclusão.
- Ler as respostas: o conselho da Anthropic é simplesmente ler as transcrições. Padrões de falha são insights de design.
- Manter o eval vivo: cada nova falha real vira um novo caso de teste.
6. Vocabulário
| Termo | Significado |
|---|---|
| Evals (avaliações) | Testes estruturados das respostas da IA contra critérios |
| Conjunto de teste (test set) | As entradas que um eval usa |
| Conjunto reservado (held-out set) | Casos guardados à parte, nunca usados para ajustar prompts |
| Rubrica | Critérios escritos para avaliar uma resposta |
| LLM como juiz (LLM-as-a-judge) | Usar um modelo de IA para avaliar respostas de IA |
| Regressão | Algo que funcionava e agora não funciona mais |
7. Experimente (sem código)
- Escolha um recurso de IA (um resumo, uma sugestão de resposta, uma mensagem de erro reescrita).
- Em uma planilha, escreva 20 entradas reais, incluindo cinco difíceis.
- Escreva uma rubrica de passa/falha com cinco critérios (seção 3).
- Rode cada entrada no recurso, cole as respostas e avalie. Conte quantas passaram em cada critério.
- Rode as mesmas 20 de novo um dia depois. O que mudou?
Perguntas para refletir: qual critério falhou mais? Foi um problema de prompt, de dados ou de design? Quem no seu time deveria ser dono do conjunto de teste?
8. Se você lidera um time
- Torne um conjunto de eval obrigatório antes de qualquer recurso de IA ir para produção, com o design escrevendo os critérios.
- Rode o eval de novo sempre que o modelo, o prompt ou os dados mudarem.
- Guarde o conjunto de eval em um lugar compartilhado e acrescente nele cada falha real.
Checklist
Para saber mais
- NN/g: One AI Output Is an Example, Not an Evaluation (ago. 2026)
- Fornecedores: Anthropic, Demystifying evals for AI agents (jan. 2026) · Anthropic, Define success criteria and build evaluations · OpenAI, Evaluation best practices
- Pesquisa: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (2023)
Livros, cursos e vídeos para ir mais fundo (em inglês)
Relacionadas
Desenhando para a incerteza · Medindo recursos de IA · Processo de revisão de design com IA · Evals (avaliações) · alucinação · Ética, viés e inclusão