IA para UX · Laboratórios · 6 min de leitura
Escreva um conjunto de evals
Um laboratório prático: monte um eval pequeno para um recurso de IA em uma planilha. Junte casos reais, leia as respostas, dê nome às falhas, conte, transforme em critérios de passa/falha e rode de novo depois de cada mudança. Opcional: automatize com o promptfoo.
O trabalho mais útil com evals não é uma ferramenta. É leitura. Quem constrói produtos de IA profissionalmente diz isso com todas as letras: "Error analysis is the most important activity in evals" (a análise de erros é a atividade mais importante dos evals) (Husain e Shankar, set. 2026). Você lê respostas reais, anota o que deu errado, agrupa os problemas e conta. Isso é análise qualitativa, a mesma habilidade de sintetizar achados de testes de usabilidade. Este laboratório coloca tudo numa planilha.
O que você vai conseguir fazer depois deste laboratório:
- Montar um conjunto de teste a partir de entradas reais
- Ler as respostas e dar nome às falhas, depois agrupá-las em categorias
- Transformar as maiores categorias em critérios de passa/falha
- Rodar o conjunto de novo depois de cada mudança e comparar
Para as ideias por trás deste laboratório, veja Evals para designers.
1. O ciclo
- 1Juntar
30 ou mais casos reais.
- 2Ler
Todas as saídas; uma nota em cada.
- 3Agrupar
As notas em poucas categorias.
- 4Contar
Falhas por categoria; comece pela maior.
- 5Critérios
Regras de passa/não passa que qualquer pessoa aplica.
Depois de cada mudança: rode os mesmos casos de novo.
2. Monte a planilha
Uma linha por caso, com estas colunas:
| Entrada | Resposta | Notas (o que está errado) | Categoria | Passou? |
|---|---|---|---|---|
| Um pedido ou erro real | O que a IA produziu | Com as suas palavras | Preenchida depois | sim / não |
De onde vêm os casos: chamados de suporte, notas de pesquisa, os logs do próprio recurso de IA (com permissão) e a skill que você construiu em Construa a sua primeira skill. Inclua os difíceis: erros de digitação, entradas longas, outros idiomas, pedidos que deveriam ser recusados.
Husain e Shankar sugerem que você comece anotando pelo menos 30 casos você mesmo, e que tente revisar pelo menos 100 com o tempo.
Para baixar: modelo de conjunto de evals (CSV), com estas colunas e três linhas de exemplo. Abre em qualquer planilha.
3. Leia e escreva notas (codificação aberta)
Leia todas as respostas. Em Notas, escreva o que está errado em palavras simples, com o máximo de precisão: "inventou uma política de reembolso", "o rótulo da ação é um substantivo", "ignora a segunda pergunta". Não decida as categorias ainda. Nas palavras deles, não há "no replacement for looking at real interactions" (nada substitui olhar interações reais).
4. Agrupe e conte (codificação axial)
Quando você tiver umas 30 notas, agrupe as parecidas em poucas categorias (por exemplo fatos inventados, tom errado, ação faltando). Preencha a coluna Categoria e conte as falhas de cada categoria. A maior categoria é onde trabalhar primeiro.
5. Transforme as categorias em critérios de passa/falha
Para cada categoria grande, escreva um critério que qualquer pessoa consiga aplicar: "Todos os fatos batem com a fonte: passa ou falha." Use passa/falha, não notas de 1 a 5: rótulos binários "force clearer thinking and more consistent labeling" (obrigam a pensar com mais clareza e a rotular de forma mais consistente). Agora a coluna Passou? tem regras.
6. Mude uma coisa, rode de novo, compare
Mude o prompt, a skill, o modelo ou o design. Rode os mesmos casos de novo em colunas novas e compare a taxa de aprovação de cada critério. Guarde cada nova falha real como uma nova linha.
7. Opcional: automatize com o promptfoo
Quando a planilha ficar longa, o promptfoo pode rodar tudo para você. Ele é open source (MIT), passou a fazer parte da OpenAI em março de 2026 e continua MIT, lê casos de teste de um arquivo CSV ou do Google Sheets e funciona com modelos locais como o Ollama (documentação). Ele precisa do Node.js 22.22 ou mais recente.
npx promptfoo@latest init # cria uma configuração inicial
npx promptfoo@latest eval # roda todos os casos
npx promptfoo@latest view # abre os resultados no navegador
8. Erros comuns
- Começar com uma nota antes de ler qualquer resposta.
- Inventar casos de teste em vez de usar casos reais.
- Escalas de 1 a 5 que ninguém aplica do mesmo jeito.
- Confiar em um juiz automático que você nunca comparou com a sua própria avaliação. Veja Evals para designers.
- Não rodar de novo depois de uma mudança no modelo ou no prompt.
9. Vocabulário
| Termo | Significado |
|---|---|
| Evals (avaliações) | Testes estruturados das respostas da IA contra critérios |
| Conjunto de teste (test set) | Os casos que um eval usa |
| Análise de erros (error analysis) | Ler as respostas, dar nome às falhas e contá-las |
| Codificação aberta (open coding) | Escrever notas livres sobre cada resposta, ainda sem categorias |
| Codificação axial (axial coding) | Agrupar as notas em categorias |
| Taxa de aprovação (pass rate) | A parcela de casos que atende a um critério |
10. Experimente
- Escolha um recurso ou uma skill de IA.
- Junte 30 entradas reais em uma planilha e rode todas nele.
- Escreva uma nota sobre cada resposta, depois agrupe e conte.
- Escreva critérios de passa/falha para as duas maiores categorias.
- Mude uma coisa, rode de novo e compare.
Perguntas para refletir: qual categoria de falha surpreendeu você? Qual delas um usuário notaria primeiro? Quem no seu time deveria ser dono desta planilha?
Checklist
Para saber mais
- Prática: Hamel Husain e Shreya Shankar, AI Evals: Everything You Need to Know (set. 2026) · Hamel Husain, A Field Guide to Rapidly Improving AI Products (mar. 2025)
- Ferramentas: promptfoo · Casos de teste do promptfoo a partir de CSV
Livros, cursos e vídeos para ir mais fundo
- Engenharia de IAChip HuyenLivro · Novatec, 2026 · edição brasileira de "AI Engineering", os capítulos sobre avaliação (Amazon)
- AI Evals For Engineers & PMsHamel Husain e Shreya ShankarCurso · curso ao vivo pago; o FAQ gratuito deles, citado acima, cobre o essencial (site externo)
Os links dos livros são de afiliado da Amazon: como associado, recebo por compras qualificadas, sem custo a mais para você.
Relacionadas
Evals para designers · Medindo recursos de IA · Construa a sua primeira skill · Síntese assistida por IA, passo a passo · Evals (avaliações) · Alucinação