Gemini 4 Argon benchmark mostra rapidez, mas falha no uso real

Tecnologia

Comparativo revela que Gemini 4 Argon é rápido, porém apresenta limitações em tarefas complexas de programação.

Leia também: Nova ferramenta com IA acelera engenharia reversa de binários

Em testes práticos de alto nível feitos via OpenRouter, o Gemini 4 Argon, modelo da Google, mostrou ser bem mais barato e rápido que o Claude Opus 5.5, da Anthropic, mas entregou menos precisão em tarefas complexas — um resultado que contrasta com os benchmarks oficiais que colocam o Argon à frente em 14 de 18 avaliações.

Gemini 4 Argon brilha nos benchmarks, mas tropeça no uso real

Anunciado com uma bateria de testes sintéticos favoráveis, o Gemini 4 Argon aparece na frente do Opus 5.5 em 14 de 18 benchmarks, incluindo o DeepSWE, voltado a engenharia de software (77,9% de acerto do Argon contra 74,2% do Opus), e o GraphWalks em janelas de 256 mil a 1 milhão de tokens (84,2% a 66,8%). O modelo da Anthropic, por sua vez, lidera em quatro provas, entre elas o Terminal-bench 4.0, focado em tarefas em linha de comando (66,4% para o Opus contra 57,4% do Argon).

Na prática, porém, o comportamento muda. Em um conjunto de três desafios difíceis — revisão de código com bugs escondidos, implementação de lógica de negócios com testes ocultos e análise de dependências entre serviços em textos longos — o Argon mostrou custo menor e respostas mais rápidas, mas derrapou justamente onde o raciocínio fino faz mais falta.

Revisão de código: empate técnico, vantagem no bolso para a Google

No primeiro teste, ambos os modelos receberam um código com 14 bugs, incluindo quatro que só aparecem ao seguir valores por três ou mais arquivos. Gemini 4 Argon e Claude Opus 5.5 encontraram todos os problemas, não caíram em armadilhas e, na etapa seguinte, corrigiram os 14 bugs sem quebrar nenhum dos 93 testes existentes do projeto.

A diferença veio na fatura. O Argon consumiu menos tokens e saiu bem mais barato. “Argon cost averaged 1 cent per bug found, compared to Opus’s 2.4 cents”, resumiu o avaliador dos testes, que calculou o valor a partir do custo por chamada. Mesmo com o reajuste de dezembro, quando o Argon passa a ter a mesma tabela do Opus, o uso menor de tokens ainda deixaria a opção da Google mais em conta nesse cenário específico.

Código complexo expõe fragilidade do Argon

O segundo desafio envolveu implementar uma especificação de código mais complexa, avaliada por testes ocultos. O Claude Opus 5.5 passou em todos os 80 testes iniciais e, depois de um ajuste de moeda na lógica, em todos os 100 casos adicionais.

O Gemini 4 Argon, em contraste, passou em apenas 11 de 80 testes na primeira rodada e 20 de 100 após o ajuste. O motivo não foi uma lógica completamente equivocada, mas um erro pequeno e crítico: o modelo passou um argumento extra para a função datetime.combine() em Python, o que gera falha e derruba a maior parte do módulo que depende daquele helper.

Quando o avaliador corrigiu manualmente essa única linha, o Argon atingiu a pontuação máxima (80/80 e 100/100). Ainda assim, a nota oficial ficou com os resultados brutos, refletindo o comportamento real da API sem intervenção humana. O episódio ilustra um risco para uso em produção: um deslize sutil, que passa sem revisão, pode condenar toda a tarefa.

Dependências de serviços: alerta vermelho na lógica

O terceiro teste mirou um cenário crítico para empresas: entender o “blast radius”, ou seja, todos os serviços afetados quando um componente central cai. Os modelos receberam documentos longos, entre 500 mil e cerca de 900 mil tokens, descrevendo a arquitetura e as dependências.

Ambos responderam bem a duas das três perguntas em todos os tamanhos de contexto. A diferença apareceu justamente no cálculo das dependências encadeadas, que tinha uma resposta correta de 33 serviços afetados.

O Claude Opus 5.5 acertou todos os 33 serviços com o documento de 500 mil tokens e 32 com o de 600 mil, sem incluir itens errados. Já o Gemini 4 Argon oscilou: com 500 mil tokens, acertou 20 serviços e incluiu 8 indevidos; com 600 mil, foram 19 corretos e 16 errados; e com 900 mil, 23 certos e 2 equivocados. Em dois tamanhos, o modelo tratou uma dependência como removida mesmo depois de o documento indicar que ela havia sido restabelecida.

Nesse caso, o problema não foi um detalhe de sintaxe, mas a linha de raciocínio como um todo. “Unlike the billing bug, this wasn’t a small slip. Argon got the reasoning wrong across the entire answer. This is a big red flag”, avaliou o responsável pelos testes.

Outro contraste apareceu no estilo de resposta. O Argon concluiu as análises rapidamente, sem exibir passos intermediários, e consumiu entre 243 e 425 tokens de saída. O Opus demorou mais, com uma cadeia de raciocínio detalhada, e ultrapassou 5.000 tokens de uso. A economia do modelo da Google veio acompanhada de um raciocínio mais raso — e de erros graves em um cenário de missão crítica.

Entenda o contexto

O confronto entre Gemini 4 Argon e Claude Opus 5.5 acontece num momento em que a Google tenta reduzir a distância em relação a rivais no segmento de modelos de linguagem avançados. O lançamento do Argon veio acompanhado de uma estratégia agressiva de preço: até 30 de novembro, o uso custa US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída, exatamente metade da tabela do Opus, cobrado a US$ 4 por milhão de tokens de entrada e US$ 20 por milhão de tokens de saída.

A partir de 1º de dezembro, a Google eleva o Argon para os mesmos valores do concorrente: US$ 4 por milhão de tokens de entrada e US$ 20 por milhão de tokens de saída. Na prática, desenvolvedores têm uma janela promocional para testar se o modelo é “melhor ou só mais barato” — e os resultados desses experimentos começam a pesar na decisão.

Nos números brutos dos benchmarks, o Argon aparece competitivo, superando o Opus em 14 de 18 testes e perdendo em quatro, entre eles o Terminal-bench 4.0, ligado a uso em linha de comando. Em um índice independente citado pelo avaliador, o Opus 5.5 aparece melhor ranqueado, com nota 58 contra 53 do Argon, o que reforça a percepção de que a Anthropic ainda lidera em qualidade geral.

Mercado deve segmentar usos entre custo e confiança

Os resultados dos testes sugerem uma divisão clara de papéis no curto prazo. Em tarefas como revisão de código com bugs conhecidos, o Gemini 4 Argon entrega a mesma qualidade do Claude Opus 5.5 a um custo menor, apoiado no uso mais econômico de tokens. Nesse tipo de cenário, com possibilidade de revisão humana e consequências controladas, a vantagem de preço pesa a favor da Google, especialmente durante a promoção até o fim de novembro.

Já em desafios que exigem raciocínio robusto, rastreio de efeitos em sistemas complexos ou alta confiabilidade sem supervisão, o Opus mantém vantagem. No teste de especificação de código, o Argon só iguala o desempenho do rival após uma correção manual crítica. Na análise de dependências, erra de forma sistemática a lista de serviços afetados, mesmo com contexto amplo à disposição.

Para equipes técnicas, isso tende a se traduzir em um uso híbrido: Argon para prototipagem, rotinas menos sensíveis e tarefas em que custo por chamada é determinante; Opus 5.5 para produção em sistemas críticos, automação de processos complexos e análises de dados em que um erro de raciocínio pode sair caro. Com o fim do desconto e a equiparação de preços em dezembro, a diferença de qualidade deve ganhar ainda mais peso na hora da escolha.

A pressão competitiva, por outro lado, incentiva a própria Google a corrigir as falhas de raciocínio vistas no Argon e aproximar o desempenho prático dos números de benchmark. Enquanto isso não acontece, o recado dos primeiros testes é direto: o novo modelo é atraente pelo custo e pela velocidade, mas ainda não inspira confiança total em cenários em que errar não é opção.

Fonte: matéria original