Nova regra robots.txt bloqueia uso de conteúdo por IA em sites

Tech Desk

Principais empresas de tecnologia adotam nova diretiva para proteger conteúdos online contra uso não autorizado por IA.

Leia também: Vercel Labs lança agent-desktop que reduz 96% tokens em IA

Google, Anthropic, OpenAI e Microsoft passaram a apoiar uma nova diretiva no arquivo robots.txt que permite a qualquer site bloquear, com um único comando, o uso de seu conteúdo para treinamento de inteligência artificial generativa, sem afetar a presença em resultados de busca.

Como funciona a nova diretiva no robots.txt

A mudança nasce de uma proposta do engenheiro Kevin Kelley, líder técnico de padrões da Anthropic, em discussão em um grupo de padronização da internet. A ideia é simples: em vez de cada editor ter de descobrir e bloquear individualmente os robôs de cada empresa de IA, passa a existir um sinal único, entendido por todos.

Esse sinal é um novo user-agent, voltado só para treinamento de IA. No arquivo robots.txt, a instrução sugerida é: “User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/”. Assim, o site proíbe que o conteúdo seja coletado para treinar modelos de IA, mas ainda pode liberar trechos específicos, como uma pasta de press kit.

Na prática, os crawlers dedicados ao treinamento passam a ter de respeitar esse comando, enquanto os robôs tradicionais de busca seguem funcionando normalmente. A nova seção não impede a indexação para SEO nem tira páginas dos mecanismos de busca; ela mira apenas o reuso dos dados em modelos generativos.

Entenda o contexto

Até agora, quem queria impedir o uso de seu conteúdo por sistemas de IA precisava listar, no robots.txt, cada robô de cada empresa — uma tarefa difícil num cenário em que novos modelos e crawlers surgem o tempo todo. Muitas redações, editoras e plataformas menores simplesmente não conseguiam acompanhar.

A nova diretiva cria um padrão comum, aceito de forma coordenada pelos principais grupos de IA. “Google interpretará essa diretiva como um sinal para o user-agent Google-Extended”, que é o robô usado para coletar dados que alimentam modelos como o Gemini. Outras empresas prometem fazer o mesmo com seus próprios crawlers voltados a treinamento.

Segundo a especificação anunciada, “essa diretiva não é retroativa, não impede dados já coletados anteriormente”. Se uma página já foi copiada no passado, a instrução nova só vale daqui para frente, o que deve alimentar discussões futuras sobre ética e regulação do uso de acervos antigos.

Quem ganha controle com a mudança

A principal consequência é dar mais poder de decisão a quem produz conteúdo original na internet. Veículos de mídia, editoras, e-commerces e plataformas que vivem de texto, imagem e dados passam a ter um botão claro de liga e desliga para o uso de seus materiais no treinamento de IA.

Como o comando é granular, cada organização pode calibrar sua estratégia: bloquear tudo, liberar só áreas específicas ou manter aberto o acesso a partes do site em que interessar aparecer em resultados gerativos, como seções institucionais e de divulgação.

Do lado das empresas de IA, a adoção do padrão significa adaptar sistemas para checar e respeitar o novo user-agent antes de varrer páginas. Isso tende a reduzir o volume total de dados disponíveis para treinamento, o que pode afetar a diversidade e a atualização dos modelos, e empurrar o setor para mais acordos de licenciamento e parcerias formais com detentores de direitos.

Cronograma de implementação pelas big techs

A Anthropic já começou a respeitar o novo comando em seus sistemas de coleta de dados. Em um compromisso conjunto, as empresas detalharam que “Anthropic já iniciou o suporte; Microsoft começará em 1º de fevereiro de 2027; Google no início de 2027; OpenAI nos próximos meses”.

No caso do Google, o user-agent Google-Extended passará a tratar a diretiva específica para IA como um sinal oficial de bloqueio ou permissão. A Microsoft deve seguir lógica semelhante para os robôs que alimentam seus modelos, enquanto a OpenAI se compromete a incorporar o padrão ainda antes da virada para 2027.

A coordenação entre as quatro gigantes indica um movimento de autorregulação: o setor tenta se antecipar a leis mais duras criando mecanismos de transparência e consentimento para uso de dados. A expectativa é que outros provedores de IA adotem o mesmo comportamento para não ficarem fora de um padrão que pode se tornar global.

Impactos jurídicos e próximos passos

Para donos de sites, a diretiva tende a reduzir conflitos e incertezas em torno de direitos autorais e de uso de dados. Um simples ajuste no robots.txt passa a valer como recado claro para uma parte relevante do mercado de IA, o que pode ser usado em negociações comerciais e, em último caso, em disputas judiciais.

Ao mesmo tempo, o fato de o comando não valer para o passado deixa aberto um flanco de debate: até que ponto é aceitável seguir usando, em modelos atuais, conteúdo coletado antes de existir um padrão explícito de opt-out? Regulações sobre direitos digitais e proteção de dados devem mirar cada vez mais esse tipo de detalhe técnico.

No médio prazo, a nova regra pode estimular modelos de negócio baseados em licenças específicas para treinamento de IA, além de empurrar empresas interessadas em grandes acervos para acordos diretos com editoras, jornais e plataformas. Para os administradores de sites, o próximo passo é decidir, página a página ou diretório a diretório, o quanto querem participar desse novo ecossistema de dados para inteligência artificial.