CloudOpsBench revela falhas da IA em 45 tarefas de DevOps na AWS

Tecnologia

Benchmark open-source avalia desempenho de IA em tarefas práticas de DevOps na AWS, destacando limitações atuais.

Leia também: Documentário acende pressão por investigações sobre Elon Musk

Um grupo liderado por Ang Chen, da Universidade de Michigan, lançou o CloudOpsBench, um benchmark open-source que coloca agentes de inteligência artificial para executar 45 tarefas reais de DevOps na nuvem AWS e expõe, com números, onde eles ainda falham em operações críticas.

No primeiro conjunto de testes, modelos de ponta como Claude Fable 5.1 e GPT-6 Astra não conseguiram concluir todas as atividades: o primeiro resolveu 60% das tarefas, enquanto o segundo ficou em 53%. A maior parte dos erros não está ligada a desconhecimento técnico, mas à forma como os agentes raciocinam sobre os passos necessários.

IA tropeça em raciocínio, não em conhecimento

As tarefas do CloudOpsBench vão da correção de serviços e remoção de recursos à restrição de acessos, aplicação de atualizações e descomissionamento de projetos inteiros. Tudo é executado em ambiente real da AWS e no mesmo cenário emulado, o que permite reproduzir resultados com segurança.

Ao analisar as execuções, a equipe identificou que cerca de 80% das falhas vêm de problemas de raciocínio: os agentes subestimam o escopo da tarefa, deixam de verificar todos os serviços envolvidos ou encerram a operação antes da hora. Os 20% restantes são ações tecnicamente incorretas, algumas com potencial de causar danos irreversíveis à infraestrutura, como remoção errada de recursos.

“O principal problema não é a falta de conhecimento, mas o raciocínio”, resume a equipe liderada por Ang Chen. Na prática, os agentes sabem quais comandos existem e compreendem a documentação, mas se perdem ao planejar e sequenciar as ações em ambientes complexos e interdependentes.

Impacto para equipes de DevOps e setores críticos

O CloudOpsBench mira diretamente o dia a dia de times de operações em nuvem que testam IA para automatizar respostas a incidentes, manutenções e mudanças em escala. Ao mostrar com precisão onde os modelos erram, o benchmark ajuda empresas a definir até onde vale delegar decisões e quando a supervisão humana continua indispensável.

Setores que dependem fortemente da confiabilidade da nuvem — como financeiro, saúde e comércio eletrônico — aparecem entre os mais interessados. Nesses ambientes, um erro de raciocínio em uma rotina aparentemente simples, como restringir um acesso ou desligar um serviço obsoleto, pode derrubar aplicações essenciais ou expor dados sensíveis.

Para fornecedores de soluções em nuvem e desenvolvedores de IA, os resultados funcionam como mapa de prioridades: é preciso investir menos em ampliar o repertório de comandos e mais em capacidades de planejamento, checagens sistemáticas e tomada de decisão sob incerteza.

Entenda o contexto

A versão 1.0 do CloudOpsBench foi criada por engenheiros experientes em DevOps junto com o grupo de pesquisa de Ang Chen e já está disponível no GitHub sob licença Apache 2.0, incluindo a definição das 45 tarefas e uma análise detalhada de cada falha observada nos testes com os modelos avaliados.

O benchmark foi desenhado para que todas as tarefas sejam executadas de forma idêntica tanto na AWS real quanto em um emulador, o que reduz custos de teste e riscos de danos acidentais em ambientes de produção. Isso permite que equipes internas e pesquisadores repliquem, comparem e ampliem os experimentos com diferentes agentes de IA.

A iniciativa surge em um momento em que empresas testam assistentes autônomos para gerenciar infraestrutura, de ajustes finos de performance a limpezas periódicas de recursos. Os resultados do CloudOpsBench indicam que a automação pode ganhar eficiência e velocidade, mas ainda está longe de tornar dispensável o olhar de especialistas em operações, especialmente em mudanças que não admitem erro.

Expansão para múltiplas nuvens e próximos passos

Depois dos primeiros testes focados em AWS, a equipe planeja estender o CloudOpsBench para outras grandes plataformas, como Google Cloud (GCP), Microsoft Azure e Oracle Cloud (OCI). A ideia é que o benchmark cubra cenários multicloud, refletindo a realidade de muitas empresas que distribuem cargas entre diferentes provedores.

No médio prazo, a expectativa é que provedores de modelos de IA usem as métricas do CloudOpsBench para calibrar novas versões de agentes autônomos e que empresas de tecnologia adotem o conjunto de testes como etapa padrão de validação antes de colocar esses agentes para operar em produção.

Ao combinar código aberto, ambiente de teste controlado e análise minuciosa das falhas, o projeto tende a acelerar a evolução da automação em nuvem — ao mesmo tempo em que reforça um alerta: sem monitoramento humano e limites bem definidos, um erro de raciocínio de um agente pode custar caro demais para a infraestrutura que ele deveria proteger.