Anthropic alerta risco da IA que se autoaperfeiçoa rápido sozinho

Inteligência Artificial

Empresa revela preocupações sobre segurança ao desenvolver IA com capacidade de autoaperfeiçoamento acelerado.

Leia também: STJ alerta: evite erros de IA e consulte só a página oficial hoje

A Anthropic, dona do modelo de inteligência artificial Claude, informou à Comissão de Valores Mobiliários dos Estados Unidos (SEC) que está perto de desenvolver um sistema com autoaperfeiçoamento recursivo, capaz de criar versões sucessivamente mais avançadas de si mesmo, e admitiu que a tecnologia traz “risco considerável à segurança” caso o progresso acelere além da capacidade humana de controle.

O que diz o documento enviado à SEC

No formulário apresentado à SEC nesta segunda-feira (2), parte do processo de abertura de capital previsto para este mês, a startup descreve o uso recorrente da própria IA em atividades de pesquisa e desenvolvimento como motor central desse avanço. A empresa afirma que essa prática pode “acelerar consideravelmente” a evolução dos modelos, mas alerta que isso também pode superar a capacidade dos especialistas de criar, validar e implementar salvaguardas técnicas.

Segundo o texto, esse cenário representa um “risco considerável à segurança, principalmente se acelerar drasticamente o ritmo do progresso”. O ponto crítico é justamente a capacidade de um sistema de autoaperfeiçoamento recursivo (RSI, na sigla em inglês) iterar sobre o próprio design, criando gerações mais complexas em velocidade difícil de acompanhar por equipes humanas.

A Anthropic apresenta o tema no mesmo documento em que detalha sua estratégia de negócios e o IPO previsto para novembro, indicando que a aposta em IA de fronteira e no uso da própria tecnologia para acelerar P&D é parte central da narrativa que pretende levar ao mercado financeiro.

Como a Anthropic pretende mitigar os riscos

Para tentar conter os perigos associados a esse tipo de sistema, a companhia diz ter adotado uma “Política de Escalonamento Responsável”. Na prática, isso significa impor etapas e limites ao uso da IA na própria pesquisa, incluindo a exigência de que decisões críticas passem por revisão humana e que modelos mais potentes só sejam liberados após testes adicionais de segurança.

A startup também se compromete explicitamente a manter pesquisadores humanos no centro do processo de desenvolvimento. Em um dos trechos do documento, a empresa afirma: “Não prevemos ser capazes de usar o Claude com segurança para projetar e construir de forma totalmente autônoma gerações sucessivas de modelos de ponta sem supervisão ou compreensão humana significativa, se e quando isso se tornar tecnicamente possível”.

Com isso, a Anthropic tenta marcar posição num debate sensível do setor: até que ponto é aceitável deixar que sistemas avancem sem que seus criadores entendam em detalhes como eles funcionam e quais consequências práticas podem gerar, especialmente em aplicações críticas, como segurança cibernética, infraestrutura e finanças.

Entenda o contexto

Modelos com autoaperfeiçoamento recursivo são uma das linhas mais ambiciosas da pesquisa em inteligência artificial. Em vez de depender apenas de ciclos tradicionais de atualização conduzidos por engenheiros, esses sistemas usariam a própria capacidade de análise e programação para propor, testar e incorporar melhorias, encurtando etapas e potencialmente descobrindo arquiteturas que humanos não imaginariam sozinhos.

Na prática, isso poderia acelerar inovações em áreas como descoberta de medicamentos, automação de tarefas complexas, otimização de cadeias produtivas e criação de novos algoritmos. Ao mesmo tempo, aumenta a preocupação com perda de controle: quanto mais rápido e opaco for o processo de melhoria, mais difícil é garantir que o modelo permaneça alinhado aos objetivos originais e respeite limites de segurança definidos por seus criadores.

Esse tipo de risco interessa não só à comunidade científica, mas também a reguladores, órgãos de segurança cibernética e formuladores de políticas públicas. A perspectiva de modelos que evoluem em ritmo muito superior ao da revisão humana alimenta discussões sobre necessidade de novas regras, auditorias independentes e mecanismos obrigatórios de interrupção (“botões de desligar”) para sistemas de alto impacto.

Impacto para o mercado e próximos passos

Ao tornar público, em um documento regulatório, que está perto de atingir esse patamar tecnológico, a Anthropic sinaliza aos investidores que aposta em estar na linha de frente da próxima geração de IA. O IPO previsto para novembro deve ser diretamente influenciado pela percepção de mercado sobre a capacidade da empresa de transformar esse avanço em produtos e serviços rentáveis — sem que riscos de segurança se tornem um passivo regulatório ou reputacional.

A revelação deve alimentar, nas próximas semanas, o debate entre especialistas em ética tecnológica, governos e concorrentes sobre quão rápido o setor deve avançar em direções como o autoaperfeiçoamento recursivo e que tipo de freios e contrapesos precisam ser exigidos de empresas que perseguem esses marcos.