Falha em controle parental libera apps de nudez com IA

Inteligência Artificial

Adolescentes driblam controles parentais em iOS e Android para acessar apps de nudez gerados por IA, revelando falhas graves.

Leia também: Debate sobre impacto e autorregulação judicial ganha força

Adolescentes nos Estados Unidos estão conseguindo baixar aplicativos de nudez gerados por inteligência artificial nas lojas oficiais da Apple e do Google, mesmo com controles parentais ativados e contas configuradas para menores de 13 anos, aponta um estudo divulgado nesta segunda-feira (19) pelo Tech Transparency Project (TTP). A pesquisa revela que parte desses apps promete até despir digitalmente pessoas e inserir rostos em imagens pornográficas.

Como menores têm acesso a apps de ‘deep nude’ nas lojas oficiais?

Segundo o TTP, os pesquisadores criaram contas de teste em iOS e Android e passaram a buscar termos como “IA para adultos” e “gerador de vídeo com IA”. Metade dessas contas foi configurada para baixar apenas aplicativos apropriados para menores de 13 anos, sempre com autorização prévia dos pais. Na prática, porém, as barreiras falharam, e os apps com conteúdo adulto foram instalados sem bloqueio efetivo.

Em um dos casos, o grupo encontrou um aplicativo que oferecia um recurso explícito de despir digitalmente qualquer pessoa. “O aplicativo tinha uma função que prometia despir digitalmente qualquer pessoa e, para demonstrar isso, mostrava imagens de celebridades femininas nuas”, descreveu o TTP. Outro programa, de troca de rostos, estava classificado como adequado para crianças a partir de 4 anos, mas, ao ser aberto, liberava ferramentas para inserir rostos em imagens de mulheres seminuas ou em cenas pornográficas.

Na Play Store, os problemas se repetiram. A loja chegou a bloquear a conta de teste sem controles parentais ativados três vezes, mas, mesmo assim, os pesquisadores conseguiram seguir baixando aplicativos com conteúdo adulto em dispositivos configurados como pertencentes a menores, contrariando as promessas de filtragem etária.

Entenda o contexto

Os sistemas de controle parental de Apple e Google permitem que responsáveis limitem downloads, definam faixas etárias e exijam autorização para novas instalações. A lógica é dar às famílias uma camada extra de segurança ao entregar um celular a crianças e adolescentes. O estudo do TTP mostra, porém, que a checagem inicial das lojas e os filtros por idade não estão acompanhando a velocidade com que desenvolvedores adicionam funções de nudez e pornografia baseadas em IA a apps que, no papel, parecem inofensivos.

Essas falhas abrem espaço para que ferramentas de “deep nude” — que usam algoritmos para simular corpos nus e manipular rostos em imagens íntimas — circulem nas principais vitrines de aplicativos do mercado, alcançando diretamente usuários menores de idade.

Quais medidas a Apple e o Google estão tomando para restringir apps de ‘deep nude’ para menores?

A Apple afirma que já proíbe aplicativos de nudismo em sua loja e que endurece a resposta quando identifica abusos após a aprovação inicial. “Proibimos apps de nudismo na App Store e removemos desenvolvedores que adicionam recursos desse tipo após o processo de revisão”, disse Adam Dema, porta-voz da empresa. Segundo ele, a companhia busca detectar apps que tentam burlar as regras incluindo funcionalidades proibidas só depois de entrar na loja.

O Google declara adotar linha semelhante na Play Store. De acordo com o porta-voz Dan Jackson, a empresa reage com “suspensão de apps infratores e a restrição de termos de pesquisa relacionados” quando identifica violações. A ideia é tanto remover programas problemáticos quanto dificultar que usuários encontrem esse tipo de conteúdo por meio de buscas.

As duas gigantes dizem também que estão investindo em mecanismos adicionais de detecção automática e em revisões mais rigorosas para identificar mudanças suspeitas em apps já publicados, especialmente naqueles que se vendem como ferramentas genéricas de edição de fotos ou vídeo, mas adicionam, ao longo do tempo, funções de criação de nudez com IA.

Quais riscos o acesso a apps de ‘deep nude’ representa para menores?

Para especialistas em proteção infantil digital ouvidos por organizações como o TTP, a exposição de adolescentes a aplicativos que sexualizam imagens com ajuda de inteligência artificial traz riscos que vão além do contato precoce com pornografia. Essas ferramentas podem ser usadas para bullying, chantagem, extorsão e produção de conteúdo sexual falso envolvendo colegas de escola, professores e familiares.

Ao normalizar a ideia de que qualquer foto pode ser manipulada para gerar nudez, os apps de “deep nude” também dificultam a responsabilização em casos de abuso, criam insegurança sobre a veracidade de imagens íntimas e alimentam a cultura de compartilhamento não consentido. No limite, alertam as entidades, o vácuo de proteção em lojas oficiais de apps mina a confiança de pais e responsáveis nos próprios sistemas de controle parental, pressionando reguladores a exigir padrões mais rígidos de segurança.

O TTP defende que Apple e Google tornem mais transparentes seus processos de revisão, reforcem a checagem de idade dos usuários e criem barreiras adicionais específicas para recursos de nudez gerados por IA, sob risco de manter adolescentes expostos a um tipo de tecnologia que multiplica, em escala e velocidade, o impacto de conteúdos sexualizados.

Fonte: matéria original