Marcus Andrey Estudo
Read in English Biblioteca

Framework · IA e design · 4 min de leitura

Calibração de confiança

Desenhar recursos de IA para que os usuários confiem neles exatamente o quanto eles merecem: não às cegas (viés de automação) e não nunca (valor desperdiçado), e testar se isso acontece.

De menosConfiança de menos

As pessoas ignoram boas sugestões e refazem o trabalho.

O recurso é desperdiçado
Na medidaConfiança calibrada

As pessoas contam com a IA onde ela é boa e conferem onde ela é fraca.

O objetivo
DemaisConfiança demais

As pessoas param de conferir e aceitam erros.

Viés de automação
Calibração de confiança: o objetivo é uma confiança que corresponda a quanto a IA é confiável de verdade. Diagrama: Marcus Andrey, CC BY 4.0.

Use quando

  • Um time de produto está desenhando um recurso de IA, como extração de documentos, detecção de anomalias ou um agente que rascunha ações.
  • Os usuários ignoram um recurso de IA útil e refazem o trabalho à mão.
  • Especialistas pararam de conferir as sugestões da IA depois de uma sequência de acertos, e erros estão passando.

Como usar

  1. Saiba o quanto a IA é confiável de verdade. Pergunte ao time onde ela é forte e onde falha: quais campos, quais tipos de documento, quais casos extremos. Você só consegue calibrar a confiança contra o desempenho real. Resultado: uma lista curta de "confiável aqui, fraca aqui".
  2. Mostre a confiança e os motivos. Mostre a confiança em níveis, não em porcentagens falsamente precisas, e diga de onde veio a resposta: "Extraído da fatura, p. 2, baixa confiança no código HS." Acrescente citações das fontes em respostas baseadas em documentos ou políticas. Resultado: padrões de confiança e de fonte no design.
  3. Exponha as falhas com honestidade. Deixe claros o papel e os limites da IA. Quando ela estiver insegura ou travada, que diga isso e passe para uma pessoa com o contexto, em vez de chutar. Facilite a correção. Resultado: estados desenhados para baixa confiança, falha e passagem para uma pessoa.
  4. Teste com sugestões erradas de propósito. Nos testes de usabilidade, inclua sugestões erradas realistas e veja se os usuários as pegam. Essa é a sua verificação de excesso de confiança. Faça uma comparação de sucesso na tarefa e tempo na tarefa com e sem a IA. Resultado: uma taxa de detecção das sugestões erradas e os resultados das tarefas.
  5. Meça a confiança ao longo do tempo. Depois do lançamento, acompanhe taxa de aceitação, taxa de correção, tempo economizado e erros introduzidos. Uma taxa de aceitação subindo com erros estáveis pode significar que as pessoas pararam de conferir. Resultado: um conjunto pequeno de medidas com uma data de revisão.

Exemplo prático

Uma ferramenta interna de operações acrescenta extração por IA de campos de faturas digitalizadas. No primeiro teste, os operadores aceitam quase todas as sugestões, inclusive as erradas.

Sinal O que o time descobriu Mudança no design
Sugestões erradas no teste Os operadores aceitaram a maioria dos códigos aduaneiros errados plantados Campos de baixa confiança ficam destacados e precisam de confirmação explícita
Exibição da confiança Uma nota de "97%" em todo campo era ignorada Três níveis (alta, conferir, baixa) com o motivo num tooltip
Fontes Os operadores não viam de onde vinha um valor Clicar num campo mostra o ponto na fatura
Confiança de menos Um turno redigitava todos os campos "por segurança" Campos de alta confiança vêm pré-confirmados, com desfazer

Na segunda rodada, os operadores pegam a maioria dos erros plantados e ainda economizam tempo nos campos confiáveis.

Cuidado com

  • Precisão falsa. "97,3% de confiança" parece científico, mas os usuários não conseguem agir com base nisso. Use poucos níveis claros e diga o que fazer em cada um.
  • Testar só o caminho feliz. Se toda sugestão do seu teste está certa, você não aprende nada sobre excesso de confiança. Plante erros realistas.
  • Esconder falhas para parecer bem. Uma IA que nunca admite incerteza treina os usuários a confiar às cegas, até o primeiro erro caro.
  • Medir aceitação como sucesso. Uma taxa de aceitação alta pode significar que a IA é boa, ou que as pessoas pararam de conferir. Olhe também os erros introduzidos.

Modelo

Copie isto para a especificação de qualquer recurso de IA.

Recurso de IA:
Confiável para:                        Fraco para:

Confiança exibida como:   níveis (ex.: alta / conferir / baixa), não porcentagens
O que o usuário faz em cada nível:
  Alta:                 Conferir:              Baixa:
Fontes exibidas:          (de onde veio a resposta)
Falha e passagem:         (o que a IA diz quando está insegura ou travada)
Correção:                 (como corrigir, e se as correções voltam como aprendizado)

Teste de excesso de confiança
  Sugestões erradas plantadas (quantas, de que tipos):
  Taxa de detecção:
  Resultado da tarefa com IA / sem IA:

Medidas depois do lançamento:  aceitação · correção · tempo economizado · erros introduzidos
Revisar em:

Os links "Ver na Amazon" são de afiliado: como associado, recebo por compras qualificadas, sem custo a mais para você.

Salvo só neste dispositivo.

↑ ↓ para mover · Enter para abrir · Esc para fechar