Novo teste GDPx expõe limites de agentes de IA em “trabalho real”

Inteligência Artificial

Benchmark revela desempenho limitado de agentes de IA em múltiplas tarefas profissionais simuladas.

Leia também: Meta compra startup de IA Conductor e encerra serviço em 20/11

A SemiAnalysis lançou o GDPx, um novo benchmark que avalia agentes de inteligência artificial em tarefas de trabalho simulado usando softwares profissionais e bases de dados empresariais, e nenhum dos modelos testados conseguiu cumprir mais de 12% dos requisitos exigidos, mesmo em rotinas consideradas altamente promissoras para geração de receita com IA.

IA em jornada de “até oito horas” de trabalho simulado

Diferente de testes tradicionais baseados apenas em prompts, o GDPx coloca os agentes para operar por até oito horas em 206 tarefas distribuídas por 11 domínios, entre eles design de chips, biologia, trading quantitativo, cibersegurança e direito. As atividades usam ferramentas de mercado, como o software de engenharia Siemens NX, acesso a grandes salas de dados com milhares de arquivos e sistemas corporativos simulados.

A medição não é feita por acerto de resposta única, mas pelo percentual de requisitos atendidos em cada tarefa. Em áreas como finanças e jurídico, um único valor errado em uma planilha torna o resultado inutilizável na prática, o que levou a SemiAnalysis a contabilizar frações de objetivos cumpridos em vez de classificar tudo como falha total.

No ranking inicial, Claude Opus 5.5 aparece na frente com 12% de requisitos cumpridos. O Gemini 4 Carbon vem em seguida com 10,9%, mas se destaca pelo custo, de 16,29 dólares por tarefa, cerca de um terço do preço dos concorrentes de topo. O GPT-6 Astra registra 9,6%. Nenhum agente conseguiu completar integralmente as tarefas de finanças e de direito.

Falhas graves em cibersegurança, medicina e finanças

Os resultados detalhados chamam atenção pela quantidade de erros em domínios sensíveis. Segundo a SemiAnalysis, 98% das 200 execuções em cibersegurança “violaram pelo menos uma regra comportamental”. Em um cenário de consultório médico simulado, “um modelo assinou uma nota clínica em nome do médico”, relata a equipe do benchmark.

No trading quantitativo, 70 de 111 execuções ficaram abaixo da estratégia de referência fornecida, sinalizando que, nessas condições de teste, os agentes não apenas falham em gerar vantagem financeira como podem piorar a performance esperada.

A influência dos mecanismos de segurança de cada provedor aparece com força. Em uma análise filtrada, que exclui cibersegurança, biologia e testes de alinhamento, o GPT-6 Astra ultrapassa o Opus 5.5 e chega a 11,8% de requisitos cumpridos. Já no domínio de cibersegurança, GPT-6 Astra e GPT 6.1 Sol zeram, enquanto o Muse Wonder Full, da Meta, atinge 35,2% nesse conjunto específico de tarefas.

Entenda o contexto

O GDPx nasce com a proposta de ser um contraponto a benchmarks que concentram todo o contexto no enunciado do prompt e não simulam um ambiente de trabalho real, como acontece em outros testes amplamente usados pela indústria. A SemiAnalysis mira justamente setores onde, na avaliação da empresa, está a maior fatia potencial da primeira grande onda de receitas da IA — áreas de alta complexidade técnica e impacto econômico direto.

Para montar o conjunto de tarefas, a companhia recorreu a 14 parceiros especializados, que também comercializam dados de treinamento e avaliação para laboratórios de IA. Apenas uma pequena parcela dos desafios é pública; a maioria permanece confidencial. Em segmentos como direito e projeto de hardware, a correção dos resultados é feita por modelos de linguagem seguindo rubricas pré-definidas, e não por especialistas humanos, o que limita a verificação externa da qualidade tanto das tarefas quanto da avaliação.

Essa confidencialidade, porém, é apresentada como vantagem metodológica: como os detalhes das tarefas não são conhecidos, os laboratórios não conseguem ajustar seus modelos especificamente para “gabaritar” o teste, o que, na visão da SemiAnalysis, torna o GDPx um termômetro mais realista da capacidade bruta dos agentes.

Críticas à metodologia e disputa entre provedores

O lançamento do GDPx também provoca reação crítica na comunidade técnica. O desenvolvedor Josh Purtell classificou o benchmark como “mais ruído do que sinal”, argumentando que cada modelo é avaliado dentro do seu próprio software de agente — por exemplo, o Opus 5.5 rodando no ambiente Claude Code —, o que colocaria em desvantagem provedores com ferramentas auxiliares menos maduras.

Purtell também aponta que muitos subdomínios contam com algo em torno de dez tarefas, o que, na avaliação dele, torna os resultados voláteis e dificulta extrapolações sólidas sobre a capacidade geral dos sistemas. A combinação de tarefas sigilosas, avaliação parcial automatizada e forte dependência do ecossistema de cada provedor alimenta questionamentos sobre quão comparáveis são, de fato, os números do ranking.

Apesar das críticas, o balanço inicial do GDPx já cria um mapa de riscos e limitações para empresas interessadas em automatizar funções de alta responsabilidade com IA. Setores como finanças, jurídico, saúde e cibersegurança aparecem como especialmente vulneráveis a erros que, mesmo raros, têm potencial de anular todo o valor gerado por uma tarefa ou até gerar danos concretos.

Pressão por segurança, custo-benefício e transparência

Ao mostrar que nenhum agente passa de 12% de requisitos atendidos em um conjunto amplo de 206 tarefas distribuídas em 11 domínios, o GDPx reforça a distância entre o discurso de “agentes generalistas” prontos para o escritório e a performance em rotinas complexas e reguladas. Modelos mais baratos, como o Gemini 4 Carbon, entregam menos desempenho, evidenciando o dilema de custo-benefício na adoção dessas soluções em escala.

As falhas em cibersegurança — com 98% das execuções descumprindo regras — e episódios como a assinatura indevida de notas clínicas tendem a alimentar pressões por mecanismos mais rígidos de segurança, governança e alinhamento ético nos agentes, além de critérios mais exigentes para uso em ambientes de produção.

A SemiAnalysis pretende atualizar o GDPx regularmente, em ciclos de três a seis meses, acompanhando a evolução dos modelos. As novas rodadas devem manter o sigilo sobre a maior parte das tarefas, o que, ao mesmo tempo em que protege a validade técnica do benchmark, deve sustentar o debate sobre transparência e confiabilidade desses testes em um mercado de IA cada vez mais competitivo.