Armas de Destruição Matemática

Uma professora perde o emprego, um candidato não consegue entrevista e uma família recebe uma oferta de crédito ruim. As decisões parecem diferentes, mas podem compartilhar uma origem: sistemas que transformam pessoas em pontuações. Cathy O'Neil pergunta quem escolheu os critérios e quem responde quando esses critérios prejudicam alguém injustamente.

A autora chama de armas de destruição matemática certos sistemas que combinam opacidade, escala e dano. Eles escondem seu funcionamento, afetam muita gente e produzem consequências negativas importantes. Não se trata de condenar qualquer conta ou computador, mas de investigar decisões automatizadas apresentadas como verdades técnicas, acima da discussão pública.

No Brasil, imagine um trabalhador recusado por uma plataforma sem entender a justificativa. Ele pode ter enviado todos os documentos e cumprido as exigências visíveis. Mesmo assim, uma classificação interna fecha a porta. O problema começa quando a aparência de precisão substitui a obrigação de explicar uma decisão sobre alguém.

Um modelo matemático é uma representação simplificada da realidade. Para construí-lo, alguém seleciona informações, estabelece relações e define um objetivo. Essa seleção deixa coisas de fora. Assim como um mapa de ônibus não mostra todas as árvores da cidade, uma pontuação profissional não consegue representar toda a capacidade de uma pessoa.

O'Neil apresenta modelos como opiniões incorporadas em procedimentos formais. Isso não significa que todos tenham o mesmo valor ou sejam apenas palpites. Significa que suas escolhas precisam aparecer. Avaliar uma escola somente pela nota dos alunos, por exemplo, privilegia um resultado mensurável e reduz a atenção dedicada a outras contribuições.

Pense em uma família organizando o orçamento pelo menor preço de cada compra. O cálculo parece excelente até ignorar passagem, tempo de deslocamento e desgaste. A simplificação pode ser útil, mas depende da finalidade. Antes de confiar numa classificação, pergunte o que ela mede e o que precisou deixar invisível.

Muitos sistemas não observam diretamente aquilo que desejam avaliar. Por isso, recorrem a uma variável substituta: um indicador disponível usado no lugar de uma característica difícil de medir. O endereço pode funcionar como aproximação da renda. O histórico de compras pode ser tratado como sinal de confiabilidade ou estabilidade pessoal.

Essa troca merece cuidado porque correlação não estabelece causalidade. Duas características podem aparecer juntas sem que uma produza a outra. Morar longe dos centros de emprego pode estar associado a trajetórias profissionais interrompidas, mas isso não demonstra falta de compromisso. Transporte precário, jornadas extensas e oportunidades desiguais também precisam entrar.

Imagine alguém que pega dois ônibus para trabalhar. Um sistema pode interpretar mudanças frequentes de emprego como instabilidade individual, ignorando empresas que fecharam ou contratos temporários. A pontuação converte circunstâncias em traços pessoais. A crítica do livro é especialmente forte quando essa redução acontece sem revisão e sem explicação acessível.