O que é viés algorítmico?

É o erro sistemático de um modelo que prejudica determinados grupos de forma consistente. Ele surge quando os dados de treinamento refletem desigualdades históricas, quando certos grupos estão sub-representados nesses dados ou quando a variável escolhida para otimização mede outra coisa que não a que se pretendia medir.

Como identificar viés em uma ferramenta de IA?

Pergunte ao fornecedor em que população o modelo foi validado, se existe avaliação de desempenho por subgrupo e se há documentação pública sobre limitações. Ausência total de resposta a essas perguntas já é um sinal relevante.

Viés algorítmico em saúde mental: por que a IA erra mais com quem já é minoria

Um sistema treinado com dados do passado aprende o passado — inclusive as partes dele que ninguém gostaria de repetir. Quando essa lógica entra em saúde mental, o efeito deixa de ser abstrato: ele decide quem é visto como doente, quem recebe atenção e quem passa despercebido.

Como o viés se instala

Dados que refletem desigualdade

Se historicamente um grupo teve menos acesso a diagnóstico e tratamento, ele aparece pouco nos registros. O modelo lê essa ausência como "baixa prevalência" — e não como "baixo acesso". A conclusão estatística é oposta à realidade clínica.

Sub-representação no treinamento

Boa parte dos dados usados para treinar modelos de saúde vem de populações específicas — geralmente de países de renda alta, em inglês, com determinado perfil socioeconômico. O desempenho cai quando o sistema encontra alguém fora desse perfil, e cai justamente para quem já tem menos acesso.

Escolha errada do que otimizar

Este é o mecanismo mais sutil e o mais bem documentado. Um caso clássico na literatura: um algoritmo de saúde usado nos Estados Unidos passou a priorizar pacientes com base em gasto em saúde, tomando custo como aproximação de gravidade. Como pacientes negros historicamente acessavam menos serviços, geravam menos custo — e o sistema concluía que estavam mais saudáveis. O algoritmo não tinha nenhuma variável racial; a discriminação entrou pela variável escolhida como proxy.

Nenhum desses sistemas foi programado para discriminar. Eles apenas aprenderam padrões existentes com muita eficiência — e é exatamente isso que os torna perigosos.

Linguagem e cultura

Sofrimento psíquico se expressa de formas diferentes conforme cultura, idade, escolaridade e região. Muitas populações relatam sofrimento predominantemente por queixas somáticas. Um modelo calibrado para vocabulário psicológico de um perfil específico simplesmente não reconhece o que está diante dele.

Onde isso aparece na prática

Rastreio. Escalas validadas em uma população e aplicadas em outra produzem prevalências distorcidas — para mais ou para menos.
Priorização de fila. Sistemas que ordenam atendimento por "risco calculado" podem empurrar para o fim quem menos apareceu no histórico.
Chatbots de apoio. Respostas culturalmente inadequadas, ou incapacidade de reconhecer expressões regionais de sofrimento.
Análise de linguagem. Modelos que interpretam texto tendem a performar pior em variantes linguísticas menos representadas no treino.
Reconhecimento de fala. Transcrição com taxa de erro maior para determinados sotaques compromete o registro — e ninguém percebe, porque o texto sai fluente.

Por que é mais grave em saúde mental

Três razões se somam. Primeiro, não há exame objetivo de confirmação: em cardiologia um marcador corrige a impressão; aqui, o dado é a própria interpretação. Segundo, o estigma amplifica o erro — pessoas de grupos historicamente patologizados carregam consequências desproporcionais de uma classificação equivocada. Terceiro, o efeito é invisível: um viés que reduz a detecção em determinado grupo não gera reclamação, gera silêncio.

O que o profissional pode fazer

Ao escolher ferramentas

Pergunte pela população de validação. "Em quem isso foi testado?" é a pergunta que separa produto sério de marketing.
Peça desempenho por subgrupo. Acurácia média esconde exatamente o problema que interessa.
Verifique se há documentação de limitações. Fornecedor que afirma não ter limitações não as mediu.
Prefira instrumentos com normas brasileiras. Validação local não é detalhe.

No uso diário

Trate qualquer resultado automatizado como hipótese, especialmente quando ele confirma um estereótipo.
Desconfie do "normal" tanto quanto do "alterado": falso negativo em população vulnerável é o erro mais caro e o mais silencioso.
Confira transcrições de pacientes com sotaque ou vocabulário fora do padrão do modelo.
Registre discordâncias entre a ferramenta e a sua leitura clínica — é assim que o padrão de erro aparece.

O uso que praticamente não tem esse risco

Vale a distinção final. Automação administrativa — agenda, cobrança, recibo, conciliação financeira, lembrete de sessão — não classifica pessoas nem infere estados mentais. O risco de viés clínico ali é essencialmente nulo, e é justamente onde está a maior parte do tempo que se perde no consultório.

É uma boa régua para decidir onde adotar tecnologia primeiro: quanto mais perto da rotina operacional, mais seguro; quanto mais perto do julgamento sobre uma pessoa, mais cuidado. A IA é excelente para tirar burocracia do caminho. Ela ainda não é confiável para dizer quem alguém é.