Marcus Andrey Estudo
Read in English Biblioteca

IA para UX · Laboratórios · 6 min de leitura

Escreva um conjunto de evals

Um laboratório prático: monte um eval pequeno para um recurso de IA em uma planilha. Junte casos reais, leia as respostas, dê nome às falhas, conte, transforme em critérios de passa/falha e rode de novo depois de cada mudança. Opcional: automatize com o promptfoo.

O trabalho mais útil com evals não é uma ferramenta. É leitura. Quem constrói produtos de IA profissionalmente diz isso com todas as letras: "Error analysis is the most important activity in evals" (a análise de erros é a atividade mais importante dos evals) (Husain e Shankar, set. 2026). Você lê respostas reais, anota o que deu errado, agrupa os problemas e conta. Isso é análise qualitativa, a mesma habilidade de sintetizar achados de testes de usabilidade. Este laboratório coloca tudo numa planilha.

O que você vai conseguir fazer depois deste laboratório:

  • Montar um conjunto de teste a partir de entradas reais
  • Ler as respostas e dar nome às falhas, depois agrupá-las em categorias
  • Transformar as maiores categorias em critérios de passa/falha
  • Rodar o conjunto de novo depois de cada mudança e comparar

Para as ideias por trás deste laboratório, veja Evals para designers.


1. O ciclo

  1. 1Juntar

    30 ou mais casos reais.

  2. 2Ler

    Todas as saídas; uma nota em cada.

  3. 3Agrupar

    As notas em poucas categorias.

  4. 4Contar

    Falhas por categoria; comece pela maior.

  5. 5Critérios

    Regras de passa/não passa que qualquer pessoa aplica.

Depois de cada mudança: rode os mesmos casos de novo.

Análise de erros: ler, nomear, agrupar, contar, e só então escrever os critérios. Diagrama: Marcus Andrey, CC BY 4.0.
Marcas de contagem em tinta azul num papel quadriculado, agrupadas de cinco em cinco, contando visitantes por dia.
A análise de erros termina em algo simples assim: uma marca para cada falha, na coluna certa. A maior coluna é por onde você começa. Foto: Gunnar Creutz, Wikimedia Commons, domínio público.

2. Monte a planilha

Uma linha por caso, com estas colunas:

Entrada Resposta Notas (o que está errado) Categoria Passou?
Um pedido ou erro real O que a IA produziu Com as suas palavras Preenchida depois sim / não

De onde vêm os casos: chamados de suporte, notas de pesquisa, os logs do próprio recurso de IA (com permissão) e a skill que você construiu em Construa a sua primeira skill. Inclua os difíceis: erros de digitação, entradas longas, outros idiomas, pedidos que deveriam ser recusados.

Husain e Shankar sugerem que você comece anotando pelo menos 30 casos você mesmo, e que tente revisar pelo menos 100 com o tempo.

Para baixar: modelo de conjunto de evals (CSV), com estas colunas e três linhas de exemplo. Abre em qualquer planilha.


3. Leia e escreva notas (codificação aberta)

Leia todas as respostas. Em Notas, escreva o que está errado em palavras simples, com o máximo de precisão: "inventou uma política de reembolso", "o rótulo da ação é um substantivo", "ignora a segunda pergunta". Não decida as categorias ainda. Nas palavras deles, não há "no replacement for looking at real interactions" (nada substitui olhar interações reais).

4. Agrupe e conte (codificação axial)

Quando você tiver umas 30 notas, agrupe as parecidas em poucas categorias (por exemplo fatos inventados, tom errado, ação faltando). Preencha a coluna Categoria e conte as falhas de cada categoria. A maior categoria é onde trabalhar primeiro.

5. Transforme as categorias em critérios de passa/falha

Para cada categoria grande, escreva um critério que qualquer pessoa consiga aplicar: "Todos os fatos batem com a fonte: passa ou falha." Use passa/falha, não notas de 1 a 5: rótulos binários "force clearer thinking and more consistent labeling" (obrigam a pensar com mais clareza e a rotular de forma mais consistente). Agora a coluna Passou? tem regras.

6. Mude uma coisa, rode de novo, compare

Mude o prompt, a skill, o modelo ou o design. Rode os mesmos casos de novo em colunas novas e compare a taxa de aprovação de cada critério. Guarde cada nova falha real como uma nova linha.


7. Opcional: automatize com o promptfoo

Quando a planilha ficar longa, o promptfoo pode rodar tudo para você. Ele é open source (MIT), passou a fazer parte da OpenAI em março de 2026 e continua MIT, lê casos de teste de um arquivo CSV ou do Google Sheets e funciona com modelos locais como o Ollama (documentação). Ele precisa do Node.js 22.22 ou mais recente.

npx promptfoo@latest init     # cria uma configuração inicial
npx promptfoo@latest eval     # roda todos os casos
npx promptfoo@latest view     # abre os resultados no navegador

8. Erros comuns

  • Começar com uma nota antes de ler qualquer resposta.
  • Inventar casos de teste em vez de usar casos reais.
  • Escalas de 1 a 5 que ninguém aplica do mesmo jeito.
  • Confiar em um juiz automático que você nunca comparou com a sua própria avaliação. Veja Evals para designers.
  • Não rodar de novo depois de uma mudança no modelo ou no prompt.

9. Vocabulário

Termo Significado
Evals (avaliações) Testes estruturados das respostas da IA contra critérios
Conjunto de teste (test set) Os casos que um eval usa
Análise de erros (error analysis) Ler as respostas, dar nome às falhas e contá-las
Codificação aberta (open coding) Escrever notas livres sobre cada resposta, ainda sem categorias
Codificação axial (axial coding) Agrupar as notas em categorias
Taxa de aprovação (pass rate) A parcela de casos que atende a um critério

10. Experimente

  1. Escolha um recurso ou uma skill de IA.
  2. Junte 30 entradas reais em uma planilha e rode todas nele.
  3. Escreva uma nota sobre cada resposta, depois agrupe e conte.
  4. Escreva critérios de passa/falha para as duas maiores categorias.
  5. Mude uma coisa, rode de novo e compare.

Perguntas para refletir: qual categoria de falha surpreendeu você? Qual delas um usuário notaria primeiro? Quem no seu time deveria ser dono desta planilha?

Checklist

Para saber mais

Livros, cursos e vídeos para ir mais fundo

Os links dos livros são de afiliado da Amazon: como associado, recebo por compras qualificadas, sem custo a mais para você.

Relacionadas

Evals para designers · Medindo recursos de IA · Construa a sua primeira skill · Síntese assistida por IA, passo a passo · Evals (avaliações) · Alucinação

Salvo só neste dispositivo.

↑ ↓ para mover · Enter para abrir · Esc para fechar