AI harness benchmark triplica custos sem ganhos em codificação

Inteligência Artificial

Estudo revela que ferramentas avançadas para agentes de codificação elevam custos sem melhorar resultados em testes.

Leia também: TechCrunch Founder Summit 2026 mira escala sustentável em Boston

Um estudo conduzido nesta semana pelos pesquisadores Liu e Han, da Universidade de Shandong, indica que harnesses sofisticados usados em agentes de codificação praticamente não melhoram o desempenho em tarefas de programação, mas podem fazer o custo computacional por tarefa disparar até três vezes nos principais AI harness benchmark.

Harness sofisticado traz mais custo do que resultado

Os autores compararam três harnesses de uso corrente — Claude Code, OpenCode e o mini-SWE-agent — mantendo o modelo constante, para medir quanto da performance vem de fato do harness e quanto é apenas ruído estatístico nos benchmarks. Foram avaliados cinco modelos (Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flash e HY4-Preview) em 45 tarefas consideradas mais difíceis do SWE-bench Verified e em um conjunto adicional de 447 tarefas, com múltiplas execuções offline para capturar a variabilidade natural.

Na prática, a troca de harness quase não altera o resultado em termos de tarefas resolvidas. Em muitos cenários, a diferença entre usar um harness mais pesado, como o Claude Code, e o mais simples, o mini-SWE-agent, é menor do que repetir o mesmo experimento duas vezes com a mesma configuração. “Entre duas execuções diferentes de um mesmo harness, a mediana das mudanças de resultado foi de 13%, igual à variação entre dois harnesses diferentes”, escrevem Liu e Han.

Ao mesmo tempo, o custo por tarefa muda drasticamente. “Com o mesmo modelo, tarefas e preço, uma única tarefa pode custar até três vezes mais dependendo do harness”, afirmam os pesquisadores. Eles resumem o achado em uma frase: “What does a harness buy? Mostly tokens.”

Entenda o contexto

Agentes de codificação combinam um modelo de linguagem com um “harness”: o conjunto de prompt de sistema, ferramentas disponíveis (como acesso ao repositório, terminal e busca em arquivos) e o gerenciamento de contexto, que controla quais partes do histórico de interação entram em cada chamada ao modelo. Fabricantes vêm divulgando novos harnesses com promessas de ganhos expressivos em benchmarks, alimentando disputas em rankings públicos.

Liu e Han decidiram isolar o efeito desse componente. Todos os testes foram rodados offline na Universidade de Shandong, para evitar que os agentes buscassem respostas prontas na internet. Em experimentos preliminares com acesso à web, 71% das tentativas de alguns modelos recuperavam diretamente o patch correto no GitHub, o que distorcia a avaliação da capacidade real de resolução de problemas.

Diferenças caem dentro do “ruído” do benchmark

No conjunto maior de 447 tarefas, Claude Code (o harness mais pesado) e mini-SWE-agent (o mais leve) ficaram separados por menos de dois pontos nos modelos testados, uma diferença considerada estatisticamente equivalente pelos autores. Nas 45 tarefas mais difíceis, a distância entre harnesses variou de duas a cinco tarefas resolvidas por modelo.

Ao repetir exatamente o mesmo setup — mesmo modelo, mesmo harness, mesmas tarefas — a contagem de acertos mudou em até seis pontos, o que revela um nível de ruído considerável nos resultados. A mediana de mudanças foi de 13% tanto entre reruns idênticos quanto entre harnesses diferentes, enquanto a troca de modelo elevou essa taxa para 22%, sugerindo que escolher um modelo faz mais diferença do que trocar de harness.

Essa análise põe em xeque vantagens modestas frequentemente usadas em campanhas de marketing. Os autores citam, por exemplo, um ganho anunciado de 2,4 pontos de um fabricante sobre o Claude Code: a diferença fica totalmente dentro da faixa de variação natural observada nos testes.

OpenCode é o único com efeito consistente — e para pior

O único efeito robusto detectado no estudo foi um déficit do OpenCode em relação aos demais harnesses. No conjunto de 447 tarefas, ele ficou até nove pontos atrás de Claude Code e mini-SWE-agent em alguns cenários.

Parte dessa desvantagem vem da forma como o OpenCode lida com o limite de saída de cada passo do agente. “OpenCode deixa o passo terminar quando o limite de saída é atingido, o que geralmente resulta em falha, enquanto Claude Code continua a execução”, explicam Liu e Han. Tentativas de emular a abordagem do Claude Code, adicionando prompts de continuação ao OpenCode, não resolveram o problema, já que o estouro de saída não ocorre sempre nas mesmas tarefas.

Outros fatores técnicos também prejudicaram o OpenCode em ambiente offline, como falhas ao tentar baixar arquivos binários pela ferramenta de busca de arquivos locais. Nos modelos executados localmente, o harness ainda impunha um limite de tempo por tarefa mais apertado que o do Claude Code, o que os pesquisadores destacam como variável difícil de controlar.

Custo explode por causa do prompt, não da ferramenta

Quando o foco passa do desempenho para o orçamento, as diferenças entre os três harnesses se tornam grandes. Com preços idênticos de modelo, tarefas e infraestrutura, o custo de resolver uma mesma tarefa variou até três vezes apenas pela troca do harness.

Os logs analisados mostram que o volume de texto gerado pelas ferramentas é parecido entre as três soluções. O que muda radicalmente é o tamanho do prompt de sistema e das descrições de ferramentas enviados a cada passo do agente. No Claude Code, esse pacote soma cerca de 16.600 tokens por passo; no OpenCode, cerca de 7.000; no mini-SWE-agent, menos de 1.000. Depois da primeira chamada, o histórico cresce em ritmo parecido nos três casos, mas o “piso” de tokens se mantém muito mais alto nos harnesses sofisticados.

Segundo Liu e Han, isso significa que o desenho do harness determina um custo fixo por passo que se multiplica pelo número de interações necessárias até concluir uma tarefa. Em alguns modelos, como o GLM-5.3-Flash, o Claude Code praticamente dobra o custo em relação ao mini-SWE-agent. Em outros, como o Deepseek-V4-Flash, o harness simples precisa de tantos passos extras para chegar à solução que o gasto acaba se igualando.

Impacto para empresas e desenvolvedores

Para empresas que dependem de agentes de codificação em desenvolvimento assistido, automação de tarefas ou pipelines de integração contínua, a conclusão central é direta: harnesses mais complexos podem não entregar ganhos reais de eficiência, apesar de custarem significativamente mais.

Setores com orçamento apertado — de startups a times internos de TI que pagam por token em nuvem — tendem a ser os mais afetados. O estudo sugere que optar por um harness simples, como o mini-SWE-agent, pode manter um nível de desempenho equivalente ao dos concorrentes mais sofisticados, com uma conta menor no fim do mês.

Os resultados também pressionam fabricantes de harnesses a rever a forma como promovem seus produtos. Se parte importante das supostas melhorias em benchmarks está dentro do ruído estatístico, é provável que a comunidade técnica passe a cobrar comparações mais transparentes, com repetição de testes e divulgação explícita de custos por tarefa.

Os pesquisadores recomendam que cada comparação de harnesses venha acompanhada de uma nova execução do mesmo setup, como referência de ruído. Nas palavras de Liu e Han, um harness compra “fewer ways to lose a task, and a bill, not pass rate” — menos maneiras de perder uma tarefa e uma conta a pagar, não um salto consistente na taxa de acerto.