Teste revela IA conclui só 26,4% das tarefas reais de programação

Inteligência Artificial

Análise mostra limitações atuais da IA em completar tarefas reais de programação em aplicativos web.

Leia também: Fitbit app: como reiniciar sem perder dados e evitar reset total

Pesquisadores da Alibaba e de universidades asiáticas criaram o Co-Design Bench, um novo benchmark para agentes de IA de codificação que simula modificações reais em aplicativos web e mostra um cenário bem menos automatizado do que prometem os testes tradicionais: mesmo o melhor modelo avaliado consegue concluir integralmente apenas 26,4% das tarefas.

O que é o Co-Design Bench e como ele funciona

O Co-Design Bench foi desenvolvido a partir de pedidos reais de mudança feitos por usuários em sessões de programação de aplicativos web. Em vez de exercícios sintéticos, os agentes precisam alterar apps existentes com base em instruções que podem incluir imagens, áudios, vídeos e documentos.

Os pesquisadores priorizaram casos em que a IA teve dificuldade na prática, como situações que exigiram reformulação do pedido ou rollback de alterações. As tarefas vão de ajustes pontuais, como extrair valores de um recibo e atualizar todos os totais dependentes, a reformulações completas de projetos.

A correção também é mais rígida que em benchmarks tradicionais. Um juiz de IA testa o aplicativo final em um navegador, e um segundo juiz revisa cada veredito positivo, checando se não há telas apenas mockadas ou resultados hardcoded. Só ganham pontos as funcionalidades que realmente funcionam no app.

Entenda o contexto

Benchmarks de programação amplamente usados hoje estão saturados: com capacidade de rodar, testar e corrigir o próprio código, modelos de ponta já ultrapassam 99% de acerto nesses testes, o que torna difícil diferenciar o desempenho entre eles e cria uma impressão de competência quase perfeita.

Na prática, estudos anteriores mostram que a aceitação real do código gerado por IA por líderes de projeto fica cerca de 24 pontos percentuais abaixo das pontuações desses benchmarks, evidenciando uma distância relevante entre laboratório e uso diário.

O que o novo teste revela sobre os agentes de IA

No Co-Design Bench, o melhor modelo avaliado, o GPT-6 Astra, consegue atender em média 70% dos requisitos de cada tarefa, mas entrega solução totalmente correta em apenas 26,4% dos casos. “O melhor modelo, GPT-6 Astra, atende cerca de 70% dos requisitos de uma tarefa, mas completa integralmente apenas 26,4% delas”, resumiu a equipe de pesquisadores.

Na prática, isso significa que a IA faz a maior parte do trabalho, porém quase sempre deixa detalhes incompletos ou quebrados, o que obriga uma rodada de ajustes manuais por desenvolvedores humanos antes da entrega.

Logo atrás do GPT-6 Astra aparecem modelos como Claude Opus 5 e Qwen3.8-Max, enquanto o Grok 4.6 teve o pior desempenho entre os avaliados. Em tarefas de grande porte, o Qwen3.8-27B chegou a subir para o segundo lugar, mas os autores evitam apontar uma vantagem geral a partir desse recorte específico.

Um dos achados centrais é que todos os modelos sofrem quando precisam combinar vários tipos de mudança ao mesmo tempo — por exemplo, layout, design, interação e conteúdo. “O desempenho cai conforme a tarefa combina mais tipos de mudanças, o que é a norma em projetos reais”, destacam os autores do estudo.

Mais poder de computação não garante resultado

O trabalho também desafia a ideia de que basta escalar recursos computacionais para obter ganhos consistentes. O modelo GLM-5.2, por exemplo, consome quase seis vezes mais tokens que o GPT-6 Astra em mudanças menores e mesmo assim apresenta desempenho inferior.

Esse dado pesa em decisões de empresas sobre quais agentes escolher e quanta infraestrutura dedicar a eles: modelos mais caros de rodar nem sempre entregam melhorias proporcionais na qualidade do código.

Desempenho muda com o ambiente de execução

Os pesquisadores ainda mostraram que o ambiente em que o agente de IA roda — o harness, responsável por ler, escrever e executar o código — influencia bastante os resultados. No caso do Qwen3.8-27B, o desempenho em grandes reformulações variou de 75% a 56% dependendo do ambiente de execução.

Em alguns cenários, até a ordem entre modelos no ranking muda conforme o harness utilizado. Por isso, os autores alertam que tabelas de desempenho que listam apenas o modelo contam só parte da história. “Recomenda-se sempre reportar o modelo e o ambiente de execução juntos para avaliação correta”, afirmam os pesquisadores.

Para empresas e líderes de projeto, a implicação é direta: antes de adotar um agente de codificação, é prudente testá-lo no mesmo ambiente e com a mesma infraestrutura em que ele será usado de fato, em vez de confiar cegamente em resultados de benchmarks genéricos.

Limites do teste e próximos passos

Os próprios autores reconhecem limitações no Co-Design Bench. Cada tarefa considera um único pedido fixo, sem rodadas de acompanhamento, perguntas adicionais ou correções durante a execução — algo comum em times ágeis. Os juízes de IA também podem cometer erros pontuais na avaliação.

Ainda assim, o estudo reforça que agentes de IA de codificação estão longe de substituir equipes humanas em projetos reais, sobretudo em modificações complexas de aplicativos web. Hoje, o padrão é de colaboração: a máquina adianta boa parte do serviço, mas a revisão, o refinamento e a integração final seguem nas mãos de desenvolvedores experientes.

Para os pesquisadores, os próximos avanços devem mirar justamente na capacidade dos modelos de lidar melhor com múltiplas mudanças simultâneas, em diferentes ambientes de execução, e em fluxos de trabalho iterativos. Até lá, empresas que esperam automação total no desenvolvimento de software vão precisar recalibrar expectativas e manter investimentos em equipes qualificadas.