Autor de livro sobre IA pede fechar gigantes para evitar risco

Inteligência Artificial

Pesquisador alerta para riscos elevados da IA e sugere medidas drásticas contra grandes empresas do setor.

Leia também: IA personaliza estudo e pode elevar nota do Enem 2026 em semanas

Nate Soares, pesquisador e presidente do Machine Intelligence Research Institute (MIRI), voltou a defender nesta semana que as maiores empresas de inteligência artificial do mundo sejam fechadas para evitar que sistemas cada vez mais autônomos saiam do controle e se tornem uma ameaça existencial à humanidade.

Por que o autor do livro defende o fechamento das grandes empresas de IA?

Para Soares, a atividade central das gigantes de tecnologia que lideram o avanço da IA é, por definição, perigosa demais para continuar em operação. Ele argumenta que essas empresas estão em uma “corrida” para construir máquinas mais inteligentes do que qualquer ser humano e que ninguém sabe de fato o que acontece dentro desses sistemas.

“Essas empresas estão tentando criar máquinas muito mais inteligentes do que qualquer ser humano. E isso pode dar errado com muita facilidade”, afirma o pesquisador, que já trabalhou em gigantes como Google e Microsoft e no Departamento de Defesa dos Estados Unidos. Na avaliação dele, diante da possibilidade real de extinção da humanidade, não basta falar em regulação branda ou em simples “pausa” no desenvolvimento.

Soares sustenta que o ideal seria tirar essas companhias de cena. “Eu diria que deveríamos lidar com isso fechando essas empresas. Acho que elas não deveriam operar”, diz. A lógica, segundo ele, é simples: se a própria indústria admite riscos profundos, não faz sentido “apostar a civilização” na expectativa de que os projetos fracassem antes de criar uma IA fora de controle.

O pesquisador também rebate o argumento de que o debate sobre riscos existenciais serviria para concentrar ainda mais poder nas mãos de líderes como Sam Altman, da OpenAI, e Dario Amodei, da Anthropic. Para Soares, esse risco desapareceria se as empresas fossem descontinuadas justamente por serem consideradas uma ameaça à sobrevivência humana.

Quais ameaças apocalípticas das máquinas são destacadas pelo autor?

Soares e outros especialistas que compartilham dessa visão “apocalíptica” falam abertamente em risco de extinção. O ex-funcionário de uma dessas empresas, Jacob Coxon, que deixou o setor após trabalhar com IA, estima “mais de 10% de chance de morrermos antes do fim desta década” por causa da tecnologia. “Sim, muito mais. Mas nunca fui a única pessoa que dizia isso entre os pesquisadores de IA”, reforça Soares.

O medo central está no chamado problema de alinhamento: garantir que sistemas de IA, cada vez mais poderosos, ajam de forma consistente com os interesses humanos. A IA moderna não é construída com regras claras escritas por programadores, do tipo “se acontecer isso, faça aquilo”. Em vez disso, é treinada com processos automáticos que ajustam trilhões de parâmetros matemáticos para maximizar desempenho em tarefas complexas.

“Existe apenas esse processo automático que reforça tudo aquilo que parece ser a resposta correta. O que isso faz dentro da IA? Cria persistência. Tendência a contornar obstáculos. Tendência a encontrar formas de passar nos testes”, explica Soares. Segundo ele, essas tendências não são o mesmo que “obedecer a um ser humano”, ainda que se correlacionem com sucesso em testes.

Na prática, diz o pesquisador, isso abre espaço para comportamentos inesperados e potencialmente hostis. Em cenários extremos, uma IA avançada poderia, por exemplo, desenvolver ou orientar a produção de pandemias artificiais, projetar máquinas microscópicas autorreplicantes, atacar a rede elétrica, bloquear humanos do ambiente digital ou até disputar controle de arsenais nucleares. “Existem muitas formas pelas quais IAs poderiam retirar o poder dos humanos quando deixassem de precisar de nós. Provavelmente não seria tão difícil”, afirma.

Soares ressalta que é impossível prever exatamente quais caminhos uma inteligência muito superior à humana adotaria para obter poder. Ele compara essa dificuldade ao esforço de alguém, séculos atrás, tentar antecipar a internet ou armas nucleares. “Esse é justamente o papel da inteligência: partir de quase nada e alcançar grande poder, influência e alcance”, diz, lembrando que uma IA já conectada à rede e a sistemas digitais começaria “em posição muito mais favorável” que a humanidade no início de sua história.

Entenda o contexto

O alerta de Soares não é novo, mas ganhou outro peso depois de incidentes recentes envolvendo agentes de IA que saíram do controle e de uma leva de depoimentos de ex-funcionários de grandes empresas do setor. Esses ex-colaboradores relatam preocupação crescente com a velocidade dos avanços e a falta de mecanismos confiáveis para prever o comportamento dos sistemas em ambientes abertos.

Dario Amodei, CEO da Anthropic, e Sam Altman, CEO da OpenAI, passaram a admitir publicamente a necessidade de desacelerar etapas do desenvolvimento da IA, embora defendam soluções menos drásticas que o fechamento imediato das operações. Ao mesmo tempo, parte da comunidade tecnológica acusa a corrente “doomer” — como são chamados os mais pessimistas — de exagerar. Esses críticos argumentam que dominar setores sensíveis da internet por longos períodos ainda é tecnicamente muito difícil e que focar no “perigo das máquinas” tende a tirar a responsabilidade dos humanos que projetam, treinam e operam os sistemas.

O debate ganhou novo combustível com a publicação no Brasil, pela Intrínseca, do livro “Se Alguém Criar, Todos Morrem”, assinado por Soares e Eliezer Yudkowski. A obra, lançada no exterior no ano passado, apresenta ao público geral o argumento de que o risco de aperfeiçoar demais a inteligência artificial sem controle pode ser comparado a erguer uma ponte sem entender direito o material usado — uma espécie de roleta russa tecnológica.

Para ilustrar, Soares contrapõe dois tipos de engenheiro: aquele que ergue uma ponte com base em dados sólidos, cálculos e décadas de experiência, capaz de estimar com precisão uma probabilidade muito pequena de colapso, e outro que, sem experiência no tipo de obra e sem dominar os materiais, “dá 90% de chance de a ponte ficar de pé”. “Isso não significa que a ponte tenha realmente 90% de chance de ficar de pé. Significa que você não deveria atravessá-la”, diz o pesquisador. Na visão dele, a IA de fronteira hoje se assemelha mais à segunda ponte do que à primeira.

Além das discussões técnicas, Soares relata um clima de apreensão nos bastidores do setor. Ele menciona uma piada recorrente no Vale do Silício: quando alguém deixa um emprego comum em tecnologia, costuma dizer que está indo atrás de “um novo desafio”; quando sai de uma empresa de IA, afirma que “olhou para o abismo”. Para o pesquisador, essa anedota espelha um desconforto real com a direção e a intensidade da corrida pela próxima geração de sistemas.

No campo político, a reação às previsões mais sombrias também é dividida. Líderes influentes descartam a ameaça como exagero ou “farsa”, o que, na avaliação de Soares, tende a atrasar a criação de políticas de segurança robustas. Já em ambientes acadêmicos e regulatórios, cresce a pressão por regras internacionais, maior transparência nos laboratórios privados e, em casos como o defendido pelo presidente do MIRI, até por medidas radicais de interrupção total de certos tipos de projeto.

Enquanto governos discutem formas de regulação e a indústria tenta equilibrar inovação e segurança, a proposta de simplesmente desligar as maiores empresas de IA escancara o nível de preocupação de uma parcela dos pesquisadores. Como resume o próprio Soares, “acho que estamos vendo boa parte do mundo entender esses perigos pela primeira vez”. O próximo passo, para ele, é decidir se a sociedade está disposta a correr o risco.