Google, Microsoft e OpenAI lançam padrão único para bloquear IA

Tecnologia

Empresas líderes criam padrão para impedir que IA utilize dados sem autorização, simplificando o controle sobre crawlers.

Leia também: Bose reduz QuietComfort 2 para US$199 com menor preço já visto

Google, Microsoft, Anthropic e OpenAI anunciaram nesta semana um novo padrão unificado para o arquivo robots.txt que permite a qualquer site bloquear, com uma única linha de comando, todos os crawlers usados para coletar dados de treinamento de modelos de inteligência artificial generativa, sem afetar sistemas de IA voltados a tarefas não generativas.

Como vai funcionar o novo padrão no robots.txt

O novo mecanismo será incorporado à estrutura já conhecida do Robots Exclusion Protocol, usada há anos para dizer a robôs de busca e outros rastreadores o que podem ou não acessar em um site. Hoje, quem quer impedir o uso de seu conteúdo em treinos de IA precisa listar, manualmente, cada provedor e até cada scraper específico no robots.txt.

Com o padrão anunciado, bastará uma instrução unificada para barrar todos os rastreadores dedicados à coleta de dados para modelos generativos. Segundo as empresas, essa configuração não será aplicada a modelos que “desempenham exclusivamente tarefas não generativas”, abrindo espaço para manter ferramentas de análise, monitoramento e outros usos técnicos que não envolvem criação de texto, imagem ou código a partir dos dados coletados.

Em comunicado conjunto, Google, Microsoft, Anthropic e OpenAI afirmam que “a estrutura de robots.txt seguirá o formato padronizado do Robots Exclusion Protocol, e planejamos incorporar nosso padrão de rastreamento a ele”. Um rascunho técnico da proposta já foi submetido ao organismo responsável por manter o protocolo.

Entenda o contexto

O arquivo robots.txt, colocado na raiz de praticamente qualquer site, é hoje a principal ferramenta para que donos de páginas orientem a atuação de robôs automatizados na web. Foi criado para lidar com mecanismos de busca, mas se tornou peça central também na disputa em torno do uso de conteúdo público para treinar inteligências artificiais.

Sem um padrão único, editores de sites precisavam caçar a identificação de cada crawler de IA e criar regras específicas, tarefa difícil até mesmo para grandes portais. Com novos robôs surgindo com frequência, manter o bloqueio atualizado virava um jogo de gato e rato.

Ao criar uma sinalização única, reconhecida desde o início pelos maiores desenvolvedores de modelos generativos do mercado, o novo padrão promete reduzir a complexidade técnica e dar um comando mais claro sobre o que pode ou não ser usado em bases de treinamento.

Microsoft e OpenAI vão além do treinamento

Além de apoiar o novo padrão em robots.txt, a Microsoft anunciou um controle adicional batizado de AI Grounding. O recurso mira situações em que um modelo de IA acessa páginas não para treinar, mas para buscar informações em tempo real e responder perguntas de usuários.

Segundo a companhia, “o AI Grounding permitirá que operadores de sites impeçam que nossos serviços enviem requisições para responder perguntas, não para coletar dados de treinamento”. Na prática, isso cria uma segunda camada de decisão para donos de sites: eles poderão restringir também esse tipo de acesso, usado em produtos como assistentes virtuais e mecanismos de busca com IA integrada.

O controle se aplicará tanto a serviços da própria Microsoft quanto a ferramentas de terceiros que utilizam tecnologia da empresa para processar comandos em linguagem natural. A OpenAI informou que “planeja oferecer controles similares para o uso responsável de dados”, alinhando sua atuação à mesma lógica de diferenciação entre treinamento e uso em tempo real.

Quando o novo padrão chega aos sites

Microsoft e OpenAI pretendem implementar o suporte ao novo padrão de rastreamento nos próximos meses, permitindo que operadores de sites ajustem seus robots.txt assim que as empresas liberarem a compatibilidade em seus crawlers.

O Google deve seguir na sequência, com adoção planejada para o ano que vem. A Meta Platforms Inc. manifestou apoio conceitual à iniciativa, mas ainda não definiu um cronograma para implementação em seus próprios sistemas de rastreamento e de IA.

Na prática, quanto mais empresas de tecnologia aderirem ao padrão, mais eficaz será uma única entrada de bloqueio no robots.txt. A movimentação coordenada de algumas das maiores desenvolvedoras de modelos generativos tende a pressionar outros provedores a seguir a mesma convenção.

Impacto para privacidade, direitos autorais e mercado de IA

A adoção do padrão unificado muda o equilíbrio de forças na disputa pelo uso de dados públicos na internet. Para criadores de conteúdo, empresas de mídia, plataformas de serviços digitais e até órgãos públicos, a nova regra reduz barreiras técnicas e oferece um caminho mais claro para proteger direitos autorais, segredos de negócio e informações sensíveis que, embora publicadas, não deveriam alimentar bases de treino de IA sem autorização.

O movimento também dialoga com leis e debates em curso sobre privacidade e uso ético de dados. Ao explicitar, em um lugar único e verificável, que determinado conteúdo não pode ser usado em treinamento ou mesmo em respostas em tempo real, operadores de sites ganham argumento adicional em eventuais disputas regulatórias e jurídicas.

Para as empresas de IA, o custo será a necessidade de adaptar rapidamente seus crawlers para respeitar a sinalização e, possivelmente, operar com menos dados disponíveis na web aberta. A tendência é que ganhem importância fontes de informação licenciadas, parcerias diretas com produtores de conteúdo e bases internas, o que pode redesenhar acordos comerciais no setor.

Enquanto isso, o ecossistema mais amplo de tecnologia continua se expandindo: investidores seguem injetando capital em novas empresas de engenharia de IA — uma delas levantou recentemente US$ 130 milhões —, ataques digitais de grande porte como um roubo de US$ 6,3 bilhões em criptomoedas expõem riscos crescentes, e marcas de mídia especializadas em tecnologia já alcançam mais de 15 milhões de profissionais do setor. Nesse cenário de expansão e tensão, o padrão unificado em robots.txt surge como uma das primeiras tentativas coordenadas de colocar freios claros no apetite por dados da nova geração de modelos generativos.