Marcus Andrey Estudo
Read in English Biblioteca

IA para UX · Passo 5 · 7 min de leitura

Desenhando para a incerteza

A IA às vezes erra, e as pessoas precisam saber quando. Como mostrar confiança sem precisão falsa, por que explicações podem sair pela culatra, como escrever a incerteza, como desenhar erros e falhas elegantes, e como ajudar as pessoas a confiar na IA exatamente o quanto ela merece.

O software tradicional ou está certo ou está quebrado. A IA costuma acertar, às vezes erra, e sempre parece segura. Esse é um problema de design novo: as pessoas precisam saber o quanto confiar em cada resposta, como conferir e o que fazer quando ela está errada. Com pouca confiança, ninguém usa o recurso. Com confiança demais, as pessoas param de conferir. O objetivo fica no meio: uma confiança que combina com a realidade.

O que você vai conseguir fazer depois de ler:

  • Explicar a calibração de confiança e por que confiar demais e confiar de menos são duas falhas
  • Escolher um jeito de mostrar confiança: categorias, alternativas ou números
  • Escrever a incerteza de um jeito que faça as pessoas conferirem de verdade
  • Desenhar erros e falhas elegantes para recursos de IA
  • Saber quando as explicações ajudam, e quando pioram as coisas

1. O objetivo: confiança calibrada

O guia PAIR, do Google, diz sem rodeios: ajude os usuários a calibrar a confiança; "the user shouldn't trust the system completely" (o usuário não deve confiar completamente no sistema) (PAIR). As diretrizes da Microsoft começam do mesmo jeito: "Make clear how well the system can do what it can do" (deixe claro o quão bem o sistema faz o que sabe fazer) (Amershi et al., 2019).

De menosConfiança de menos

As pessoas ignoram boas sugestões e refazem o trabalho.

O recurso é desperdiçado
Na medidaConfiança calibrada

As pessoas contam com a IA onde ela é boa e conferem onde ela é fraca.

O objetivo
DemaisConfiança demais

As pessoas param de conferir e aceitam erros.

Viés de automação
Calibração de confiança: o objetivo é uma confiança que corresponda a quanto a IA é confiável de verdade. Diagrama: Marcus Andrey, CC BY 4.0.
Um barômetro redondo de jardim numa parede de tijolos, com o mostrador marcado Rain (chuva), Change (mudança) e Fair (bom tempo).
Um barômetro nunca diz "vai chover". Ele mostra uma tendência, com "Change" (mudança) no meio, e deixa a decisão com você. Recursos de IA precisam da mesma honestidade sobre o quanto têm certeza. Foto: , Wikimedia Commons, domínio público.

Veja calibração de confiança.


2. Mostrando a confiança

O PAIR descreve três jeitos de mostrar o quanto um sistema tem certeza (PAIR):

1Categorias

Alta · média · baixa, cada uma dizendo o que fazer.

Em geral a mais clara
2Alternativas

As melhores opções em vez de uma resposta só.

Melhor quando a confiança é baixa
3Números

Uma porcentagem ou nota.

Difícil de entender; teste
Três jeitos de mostrar o quanto a IA tem certeza, do capítulo Explainability + Trust do Google PAIR. Diagrama: Marcus Andrey, CC BY 4.0.

O PAIR também avisa que notas de confiança podem ser difíceis de entender, então teste a forma de mostrar cedo. Na prática, categorias que dizem o que fazer em seguida costumam funcionar melhor do que porcentagens cruas. Veja indicadores de confiança.


3. As palavras importam: incerteza em primeira pessoa

O jeito como a IA expressa dúvida muda o que as pessoas fazem. Num estudo pré-registrado com 404 participantes, respostas que diziam "I'm not sure, but…" (não tenho certeza, mas…) fizeram as pessoas concordarem menos com a IA e deixaram as respostas finais delas mais corretas, em comparação com frases impessoais como "It's not clear" (não está claro) (Kim, Liao & Vorvoreanu, 2024). O NN/g recomenda o mesmo para recursos com tendência a alucinar (NN/g).

Frases na prática:

  • "Não tenho certeza sobre o código fiscal desta nota. Confira a linha 4."
  • "Encontrei duas opções possíveis. Qual delas você quis dizer?"
  • Evite: "Código fiscal: 0471", no mesmo estilo de todo o resto.

4. Explicações: úteis, e arriscadas

Explicações ("por que sugeriu isso?") parecem uma coisa boa óbvia. As evidências são mistas:

  • Num estudo, as explicações aumentaram a frequência com que as pessoas aceitavam a recomendação da IA, estivesse ela certa ou não (Bansal et al., CHI 2021). Um motivo convincente pode deixar uma resposta errada mais persuasiva.
  • O NN/g avisa que as explicações que chatbots de IA dão sobre o próprio raciocínio muitas vezes não são precisas (NN/g).

Então: prefira explicações que apontam para evidências que dá para conferir (o documento de origem, os dados usados, a regra aplicada) a explicações que só parecem razoáveis. A diretriz da Microsoft: "Make clear why the system did what it did" (deixe claro por que o sistema fez o que fez), de um jeito que as pessoas consigam verificar. Veja explicabilidade.


5. Erros e falhas elegantes

O PAIR pede que os times decidam, antes de tudo, o que conta como erro: um recomendador que é útil 60% das vezes pode ser um fracasso ou um sucesso, dependendo da tarefa (PAIR). Depois, desenhe para isso:

Diretriz Na interface
Facilite a correção (Microsoft G9) Editar no lugar, desfazer, "não é este" ao lado de cada sugestão da IA
Reduza o escopo na dúvida (G10) Fazer uma pergunta para esclarecer, ou oferecer menos opções e mais seguras, em vez de chutar
Ofereça um caminho adiante (PAIR) Toda falha termina em algo que a pessoa pode fazer: tentar de novo, escolher manualmente, falar com uma pessoa
Explique o limite "Ainda não consigo ler notas fiscais escritas à mão. Envie uma cópia digitada ou preencha manualmente."

Veja estados de erro de IA.


6. Vocabulário

Termo Significado
Calibração de confiança Uma confiança que combina com o quanto o sistema é confiável de verdade
Confiar demais / confiar de menos (over-trust / under-trust) Contar com a IA mais, ou menos, do que ela merece
Indicadores de confiança Jeitos de mostrar o quanto a IA tem certeza
Alternativas N-best Mostrar as poucas melhores opções em vez de uma única resposta
Explicabilidade Deixar claro por que a IA chegou a um resultado
Falha elegante (graceful failure) Falhar de um jeito que ainda deixa um bom próximo passo para a pessoa

7. Experimente (sem código)

  1. Escolha um recurso de IA que você usa ou desenha.
  2. Encontre um caso em que ele provavelmente vai ficar em dúvida (um documento escaneado borrado, um pedido ambíguo).
  3. Desenhe três versões desse momento: uma categoria de confiança, duas alternativas e uma mensagem em primeira pessoa do tipo "não tenho certeza".
  4. Pergunte a dois colegas qual delas faz com que eles confiram o resultado. Anote por quê.

Perguntas para refletir: onde o seu produto hoje mostra uma resposta incerta como se fosse certa? Como seria "oferecer um caminho adiante" no erro de IA mais comum do seu produto?


8. Se você lidera um time

  • Acrescente confiança e correção à biblioteca de padrões de IA: selos, alternativas, desfazer.
  • Exija que todo recurso de IA defina o que conta como erro, e o caminho adiante para cada um.
  • Teste as explicações com resultados de IA errados de propósito, para ver se elas fazem as pessoas aceitarem erros.

Checklist

Para saber mais

Livros, cursos e vídeos para ir mais fundo (em inglês)

Relacionadas

Design agêntico · Interfaces conversacionais e generativas · Evals para designers · Calibração de confiança · Indicadores de confiança · Explicabilidade · Estados de erro de IA · Viés de automação

Salvo só neste dispositivo.

↑ ↓ para mover · Enter para abrir · Esc para fechar