Joy Buolamwini revela como IA invisibiliza negros e gera riscos

Inteligência Artificial

Especialistas destacam como algoritmos discriminatórios afetam a população negra e ampliam desigualdades sociais.

Leia também: Relatório UK alerta: IA pode causar ataques em infra até 2028

A cientista da computação Joy Buolamwini transformou em denúncia global um episódio vivido em um laboratório do MIT: diante de um sistema de rastreamento facial, sua pele negra a tornava invisível, e só uma máscara branca fazia o software reconhecer seu rosto. A experiência, relatada no livro “Desmascarando a IA”, ganha novo peso neste Novembro Negro ao se encontrar com críticas ao modelo econômico das grandes plataformas digitais.

Como o racismo está presente na inteligência artificial?

O racismo aparece na inteligência artificial quando sistemas usados em larga escala funcionam bem para pessoas brancas e falham com pessoas negras, produzindo mais erros justamente contra quem já enfrenta discriminação fora das telas. Foi o que Joy Buolamwini constatou ao investigar por que um programa de reconhecimento facial não enxergava seu rosto, mas funcionava quando ela colocava uma máscara clara.

A partir dessa vivência, Joy decidiu examinar de forma sistemática três serviços comerciais de classificação de gênero por imagem de rosto, em parceria com a pesquisadora Timnit Gebru. O estudo, batizado de Gender Shades, mostrou que a precisão dos algoritmos variava drasticamente conforme tom de pele e gênero. Para mulheres de pele mais escura, as taxas de erro chegavam a 34,7%. Entre homens de pele mais clara, a maior taxa encontrada foi de 0,8%.

Os números se referem àqueles sistemas, naquele momento específico, mas escancaram um padrão: bancos de dados que quase não incluem rostos negros, equipes pouco diversas e metas de negócio definidas sem considerar impactos sociais fazem com que tecnologias vendidas como neutras reproduzam desigualdades históricas. “É difícil imaginar uma apresentação mais honesta de um futuro vendido como universal”, escreve Joy ao descrever a cena da máscara diante da câmera.

Esses vieses não ficam restritos ao laboratório. Ferramentas de reconhecimento facial alimentam projetos de segurança pública, controle de acesso e até análises de risco em serviços financeiros. Quando erram mais com pessoas negras, ampliam a chance de abordagens policiais equivocadas, recusas indevidas e constrangimentos em situações corriqueiras — tudo sob a aparência de decisão “técnica”.

Entenda o contexto

No prefácio brasileiro de “Desmascarando a IA”, o pesquisador Tarcízio Silva destaca a necessidade de avaliação e auditoria dos algoritmos usados por governos e empresas. Ele resume a inquietação central em uma pergunta incômoda: “Como corporações com tantos recursos puderam colocar em circulação tecnologias com falhas dessa dimensão?”.

Para especialistas, parte da resposta está em quem define o que é “erro aceitável” em um sistema. As decisões sobre quais dados coletar, quais métricas otimizar e em que contextos implantar a tecnologia costumam ser tomadas longe dos grupos mais afetados pelas falhas. Na prática, a desigualdade vira um resultado de planilha, e a tela parece encerrar o debate, como se não houvesse escolhas humanas por trás do código.

Joy Buolamwini batizou de Liga da Justiça Algorítmica a iniciativa que fundou para pressionar por transparência, testes independentes e limites ao uso de tecnologias de alto risco, como o reconhecimento facial em massa. A proposta é simples e ambiciosa: exigir que sistemas que impactam direitos fundamentais sejam auditáveis e possam ser contestados antes de causar danos irreversíveis.

O que especialistas dizem sobre o racismo embutido em tecnologias de IA?

Pesquisadores e ativistas como Joy Buolamwini e Timnit Gebru formam hoje uma frente internacional que contesta a narrativa de neutralidade da inteligência artificial e cobra responsabilidade das big techs. Para eles, não basta “melhorar” a precisão de um algoritmo se o uso previsto continua a ampliar vigilância e controle sobre populações já vulneráveis.

No Brasil, Tarcízio Silva aponta que a discussão não pode se limitar a corrigir bugs. Ele defende que o combate ao racismo algorítmico passe por três frentes: diversidade real nas equipes de tecnologia, transparência sobre como os sistemas são treinados e avaliados, e possibilidade de revisão de decisões automatizadas por instâncias humanas, especialmente quando há risco para direitos civis e acesso a serviços essenciais.

As críticas ao viés racial nos sistemas de IA se conectam a outro debate que ganha força nesta semana: o poder concentrado das grandes plataformas que organizam a vida conectada. No livro “A internet não precisa ser assim”, Fernanda Campagnucci e Marcelo Soares descrevem como o modelo de negócios baseado em vigilância e captura da atenção transforma a rede em um ambiente de consumo contínuo, em que tudo é monitorado e medido.

Em texto sobre a obra, o jornalista Pedro S. Teixeira compara os mecanismos das plataformas aos dos cassinos, desenhados para manter o usuário preso. “É uma imagem que reconhecemos antes mesmo de terminar a frase. A gente entra para encontrar uma pessoa e sai com uma compra, uma irritação e a sensação de ter perdido alguma coisa que não sabe nomear. Talvez fosse tarde”, escreve.

Ao aproximar “Desmascarando a IA” e “A internet não precisa ser assim” neste Novembro Negro, especialistas chamam atenção para a estrutura que sustenta as discriminações digitais: tecnologias que enxergam menos quem já é marginalizado fora da tela se combinam com plataformas que lucram com a vigilância de todos, mas impactam com mais força quem tem menos recursos para escapar de decisões automatizadas e opacas.

Para organizações da sociedade civil e pesquisadores, os próximos passos passam por regulamentações que imponham transparência, limites de uso e mecanismos de reparação, além de fortalecer iniciativas de auditoria algorítmica independente. O objetivo é garantir que a pressão por inovação não continue servindo de desculpa para empurrar, para depois, responsabilidades que já cobram seu preço hoje — sobretudo da população negra.