Marcus Andrey Estudo
Read in English Biblioteca

Fotografia e imagem · Passo 4 · 5 min de leitura

Viés nos geradores de imagem

Peça a um gerador "a CEO" e "a nurse" e veja quem aparece. Por que os geradores repetem estereótipos, o que a pesquisa encontrou em grande escala, por que prompts melhores não resolvem tudo, e como conferir as suas imagens antes de colocá-las no ar.

Um gerador mostra a média do que ele já viu, e a média não é neutra. Ele aprendeu com milhões de imagens feitas por pessoas, com todos os hábitos delas sobre quem faz o quê. Peça uma profissão, uma característica ou um objeto, e ele entrega a versão mais familiar disso. Para uma padaria, isso é útil. Para pessoas, é um problema.

O que você vai conseguir fazer depois de ler:

  • Explicar por que os geradores de imagem repetem estereótipos
  • Contar o que os pesquisadores encontraram quando mediram isso
  • Saber por que acrescentar "diverse" a um prompt não resolve
  • Conferir o viés de um conjunto de imagens geradas antes de usá-lo

1. Quem aparece

Imagem gerada por IA: um homem de cabelo escuro, de uns quarenta anos, de terno escuro e gravata, diante de um notebook num escritório claro.Gerada por IA“A CEO”, seed 7
Imagem gerada por IA: um homem branco de cabelo grisalho, de uns cinquenta anos, de terno escuro e gravata, digitando num notebook.Gerada por IA“A CEO”, seed 21
Imagem gerada por IA: uma mulher de óculos, com uniforme hospitalar azul-marinho e estetoscópio, escrevendo num balcão de hospital.Gerada por IA“A nurse”, seed 7
Imagem gerada por IA: uma mulher loira mais velha, com uniforme hospitalar azul-claro, máscara e estetoscópio, segurando um celular.Gerada por IA“A nurse”, seed 21
Quatro imagens geradas para este curso, com FLUX 3 Image Klein num notebook, a partir de dois prompts que não dizem nada sobre gênero, idade ou origem: "a photo of a CEO at work in an office" e "a photo of a nurse at work in a hospital", duas seeds para cada. Os dois CEOs saíram como homens de terno; as duas enfermeiras, como mulheres. Quatro imagens de um modelo são uma demonstração, não um estudo, mas batem com o que a pesquisa encontrou em grande escala. Nenhuma dessas pessoas existe.

Os prompts não falavam de gênero, idade nem origem. Os dois "CEOs" saíram como homens de terno; as duas "nurses" (enfermeiras), como mulheres. São quatro imagens de um modelo numa tarde, então sozinhas elas não provam nada, e outros modelos ou outras seeds vão variar. Mas é exatamente o padrão que a pesquisa descreve, e levou dez minutos para reproduzir.


2. O que a pesquisa encontrou

  • Estereótipos, ampliados. Prompts comuns, sobre características pessoais, profissões e objetos do dia a dia, produziram imagens que reforçavam a branquitude como ideal, ampliavam estereótipos raciais e de gênero sobre profissões e tratavam as normas americanas como o padrão. Acrescentar instruções contrárias no prompt não fez os estereótipos sumirem (Bianchi et al., FAccT, 2023).
  • Pessoas deixadas de fora. Quando pesquisadores fizeram três geradores populares (DALL-E 2 e duas versões do Stable Diffusion) produzirem pessoas para uma longa lista de profissões, as imagens sub-representaram de forma consistente as identidades marginalizadas (Luccioni et al., NeurIPS, 2023).

A mesma coisa acontece com fotos de banco de imagens (veja Pessoas nas imagens). A diferença é a velocidade: um gerador consegue produzir mil imagens estereotipadas numa tarde, e elas parecem fotos.


3. Por que um prompt melhor não basta

Dá vontade de acrescentar "diverse" ou descrever a pessoa que você quer. Isso ajuda a imagem que está na sua frente, e vale a pena fazer. Mas:

  • A decisão passa para você, imagem por imagem. Cada prompt vira uma escolha sobre quem mostrar, que é o lugar certo para essa escolha, mas ninguém consegue fazer isso sem querer.
  • Não corrige o padrão. O estudo de Bianchi viu os estereótipos continuarem mesmo com instruções contrárias no prompt.
  • Pode virar tokenismo: uma imagem que "cobre a diversidade" enquanto todo o resto continua igual.

Então a solução é a mesma de Pessoas nas imagens: olhe o conjunto inteiro, e conte.


4. Conferir um conjunto gerado

Antes de usar imagens geradas de pessoas, mesmo só para criar clima:

  1. Coloque todas juntas, todas as imagens que o produto vai usar.
  2. Conte quem aparece em quais papéis: quem lidera, quem ajuda, quem atende, quem aparece como especialista.
  3. Compare com quem de fato usa o produto, ou com quem você quer que use.
  4. Corrija o brief, não só a imagem: escreva quem você quer ver no prompt e na diretriz.
  5. Peça para outra pessoa olhar. Quem é afetado por uma exclusão repara nela mais rápido do que quem não é.

E lembre da regra maior de O que muda quando a imagem é gerada: uma pessoa gerada nunca é um cliente, um funcionário ou um depoimento reais.

A trilha de IA para UX tem uma lição inteira sobre Ética, viés e inclusão no design com IA, para além das imagens.


5. Erros comuns

  • Usar o primeiro resultado e chamar de neutro porque o prompt era neutro.
  • Acrescentar "diverse" a um prompt e considerar o conjunto resolvido.
  • Conferir as imagens uma a uma em vez de como conjunto.
  • Usar pessoas geradas para representar um grupo que o time nunca consultou.

6. Vocabulário

Termo Significado
Viés (num modelo) (bias) Uma tendência sistemática nos resultados, aprendida com os dados de treinamento
Padrão (default) O que um modelo produz quando o prompt não especifica
Dados de treinamento (training data) As imagens e os textos com que um modelo aprendeu
Seed (semente) Um número que define o ponto de partida aleatório de um gerador; o mesmo prompt com outra seed dá outra imagem
Tokenismo (tokenism) Incluir uma pessoa de um grupo para parecer inclusivo, sem mudar mais nada

7. Experimente (sem ferramentas, ou com um gerador gratuito)

  1. Escreva três prompts neutros para pessoas trabalhando: "a photo of a pilot", "a photo of a cleaner", "a photo of a software engineer". Escreva em inglês, como no exemplo acima: em português, o artigo "um" ou "uma" já escolhe o gênero por você.
  2. Se você tem um gerador, faça duas imagens de cada; se não, busque as mesmas palavras num banco de imagens.
  3. Conte quem aparece, em quais papéis.

Perguntas para refletir: qual resultado surpreendeu você? Qual você teria usado sem pensar, se não estivesse contando?


8. Se você já pratica

  • Inclua uma checagem de representação na revisão de qualquer conjunto de imagens geradas, com as contagens anotadas.
  • Escreva quem você quer ver na sua diretriz de imagem e nos seus prompts, como uma decisão do time, não de uma pessoa só.
  • Guarde os prompts junto das imagens. Quando alguém perguntar "por que todos os nossos médicos gerados são iguais?", você vai conseguir mostrar o que foi pedido.

Checklist

Para saber mais

Livros, cursos e vídeos para ir mais fundo

Os links dos livros são de afiliado da Amazon: como associado, recebo por compras qualificadas, sem custo a mais para você.

Relacionadas

Pessoas nas imagens · O que muda quando a imagem é gerada · Rótulos e procedência · Ética, viés e inclusão no design com IA · Auditoria de representação

Salvo só neste dispositivo.

↑ ↓ para mover · Enter para abrir · Esc para fechar