Teste revela limite da IA em decisões complexas de longo prazo

Inteligência Artificial

Novo teste evidencia as dificuldades da IA em manter precisão em decisões que envolvem múltiplas etapas ao longo do tempo.

Leia também: IA Claude reduz contratações juniores na Anthropic e muda rotina

Pesquisadores da Microsoft e da City University of Hong Kong apresentaram hoje o Taste-Bench, um novo benchmark que mede a capacidade de agentes de inteligência artificial de fazer boas escolhas em decisões de longo prazo, e mostraram que até os modelos mais avançados tropeçam ao prever consequências futuras em tarefas complexas.

O que é o Taste-Bench e o que ele mede

O Taste-Bench foi desenhado para avaliar a “taste”, como os autores chamam a habilidade de um agente de IA de escolher, ao longo de uma tarefa longa, o caminho que leva ao melhor resultado. Em vez de olhar só para o fim do trabalho — se o código roda ou se o artigo fica pronto — o teste foca nos momentos intermediários em que o sistema precisa decidir qual hipótese seguir, qual trecho de código estender ou qual experimento rodar.

Na prática, isso mira exatamente o tipo de uso em que agentes de IA já atuam: desenvolvimento de software em múltiplas etapas, investigação em pesquisa de IA e outros processos em que decisões ruins parecem aceitáveis no começo, mas cobram um preço alto depois que a maior parte do orçamento de tempo ou de processamento já foi consumida.

Segundo os pesquisadores, “a habilidade de fazer boas escolhas em decisões de longo prazo é chamada de ‘taste’” e não aparece bem nos benchmarks tradicionais, que só checam se a tarefa foi concluída.

Como o benchmark foi construído

Para montar o Taste-Bench, a equipe analisou milhares de execuções de agentes em tarefas reais de codificação e pesquisa em IA, com dados de conjuntos como SWE-bench Pro e o MALT, da organização METR. Cada execução registra passo a passo o que o agente fez, quais observações recebeu e qual foi o resultado final.

Com essas trajetórias em mãos, os pesquisadores buscaram pontos de bifurcação, batizados de “decision forks”: momentos em que diferentes tentativas da mesma tarefa seguem caminhos distintos, um que leva a um resultado melhor e outro que termina em fracasso ou em solução inferior. Usando um modelo gerador e filtros automáticos, eles descartaram casos triviais ou indecidíveis e, depois, validaram quase todos os rótulos com revisão humana.

O resultado é um conjunto de 502 perguntas. Cada uma traz a descrição original da tarefa, o histórico do que o agente fez até o fork e duas opções de continuação possíveis. O modelo testado precisa escolher qual das duas trajetórias é a melhor, sem ver o que aconteceu depois. Para evitar acertos por sorte, cada pergunta é feita duas vezes, com a ordem das opções invertida; só contam os casos em que o modelo acerta nas duas tentativas. Nesse formato, o acerto esperado por puro chute é de 25%.

Quais modelos foram testados e como eles se saíram

Ao todo, 14 modelos atuais foram avaliados, incluindo sistemas das famílias GPT, Claude, Grok, DeepSeek, GLM, MiniMax e Mistral. O destaque foi o modelo identificado como GPT-5.6 Sol, que obteve a melhor performance geral com 59,7% de acerto. Logo atrás aparece o GPT-5.5, com 59,5%.

Apesar da liderança relativa, o desempenho está longe de ser considerado satisfatório para tarefas críticas: “O melhor modelo testado, GPT-5.6 Sol, alcançou 59,7% de acerto”, registram os autores, lembrando que todas as questões são de escolha binária. Nenhum dos outros modelos se aproximou desse patamar, e todos ficaram muito aquém de “resolver” o benchmark.

Um ponto que chama atenção é a diferença entre situações em que a pista decisiva já está visível e aquelas em que ela só aparece bem mais tarde. Quando a informação-chave para escolher o caminho certo já está presente antes do fork, a acurácia média dos modelos chega a 62,3%. Mas “quando a pista chave só aparece após trabalho extenso, a acurácia cai para 21%, quase aleatório”, relatam os pesquisadores.

A equipe também testou o efeito de dar mais tempo de raciocínio aos modelos em parte das questões. A conclusão é dura: “Pensar mais não ajudou; os modelos gastaram mais tempo nos casos mais difíceis, mas não melhoraram”. Para os autores, isso indica que, nesses pontos de decisão, simplesmente não há pistas suficientes disponíveis e que o desafio é, de fato, prever o efeito de escolhas cujos resultados só aparecem muito depois.

Entenda o contexto

Agentes de IA vêm ganhando espaço em cenários em que trabalham sozinhos por longos períodos, automatizando desde correções complexas de código até partes de projetos de pesquisa. Nesse tipo de aplicação, benchmarks tradicionais tendem a olhar apenas para o resultado final: se os testes de software passam, se a tarefa é marcada como completa ou se a resposta bate com um gabarito.

Na prática, porém, estudos recentes já mostraram que esses testes de fim de tarefa podem superestimar o desempenho real. Soluções que passam nos testes automáticos ainda podem conter erros funcionais básicos, e decisões de arquitetura de código ou de estratégia de pesquisa que parecem equivalentes no curto prazo geram custos muito diferentes no longo prazo.

O Taste-Bench entra justamente nesse ponto cego, ao medir uma habilidade de julgamento de caminho — a tal “taste” — que não aparece quando se olha apenas para o sucesso ou fracasso no final.

O que muda com a ‘taste’ ensinável aos modelos

Além de diagnosticar o problema, a pesquisa traz uma proposta de solução parcial: treinar modelos especificamente para melhorar essa capacidade de julgamento. Os autores aplicaram uma técnica de distilação de conhecimento, em que um “professor” já sabe qual é o caminho correto em cada fork e ensina um “aluno” a replicar essas escolhas vendo apenas a pergunta, o histórico até ali e as duas opções.

O modelo base escolhido para o aluno foi o Qwen3.6-27B. Partindo de uma acurácia de 30% em tarefas inéditas, o sistema treinado subiu para 47,9% de acerto. “A ‘taste’ pode ser ensinada; o aluno melhorou de 30% para 47,9% de acerto”, resumem os pesquisadores.

O passo seguinte foi levar esse aprendizado para tarefas práticas. Em 41 tarefas do SWE-bench Pro, o julgamento do aluno foi incorporado como conselho explícito para o agente que realmente executava o trabalho, em cada ponto de decisão relevante. O efeito foi significativo: “Com o conselho do aluno, o sucesso em tarefas reais subiu de 14,6% para 33,7%”, apontam os autores. Nas simulações, um conselheiro perfeito poderia chegar a 39% de sucesso, o que indica que o modelo aluno capturou a maior parte do ganho possível.

Na avaliação da equipe, o resultado mostra que melhorar a taste não é apenas um ajuste de métrica, mas algo que se traduz em ganhos concretos em problemas de engenharia de software complexos. Isso reforça a ideia de que boa parte do limite atual dos agentes está menos em escrever código ou texto e mais em decidir, com antecedência, em que direção vale a pena investir esforço.

Impactos para a indústria e próximos passos

Os achados têm impacto direto para empresas e laboratórios que apostam em agentes de IA para automatizar fluxos de trabalho longos, como pipelines de desenvolvimento de software, manutenção de sistemas legados e apoio a pesquisa científica. Hoje, esses agentes podem desperdiçar grande parte do orçamento de tempo e computação em caminhos que pareciam razoáveis, mas se revelam becos sem saída horas ou dias depois.

Ao expor que mesmo os melhores modelos testados mal passam de 60% de acerto em escolhas com impacto de longo prazo e podem cair para desempenho quase aleatório quando precisam antecipar consequências distantes, o Taste-Bench escancara uma limitação estrutural da geração atual de agentes.

Ao mesmo tempo, a demonstração de que essa capacidade pode ser ensinada por meio de distilação de conhecimento abre uma nova frente de pesquisa e desenvolvimento: modelos especializados em fornecer conselhos de alto nível para outros agentes, sistemas de avaliação contínua de trajetórias e novos critérios de treinamento que valorizem não só o resultado final, mas a qualidade das decisões intermediárias.

A expectativa dos autores é que o Taste-Bench passe a ser usado como referência na comunidade de IA para avaliar e comparar agentes focados em planejamento de longo prazo. O benchmark e o código foram disponibilizados publicamente, o que deve acelerar a adoção de técnicas de distilação e de incorporação de “conselheiros” em agentes comerciais e acadêmicos nos próximos meses.

Fonte: matéria original