Pesquisadores abrem AKV que corta 27,7% do custo de LLMs em 2026

Tecnologia

Novo sistema open-source otimiza agentes LLM, reduzindo custos e latência sem comprometer o histórico.

Leia também: Grok AI Odyssey lança episódio 1 com imagens 100% criadas por IA

Pesquisadores da Universidade Tsinghua e da Universidade Chinesa de Hong Kong (CUHK) abriram o código do AKV, um sistema de serving para grandes modelos de linguagem (LLMs) que manipula diretamente o cache KV de agentes de IA e promete reduzir em média 27,7% o custo computacional, mantendo o histórico completo das interações.

O que é o AKV e o que muda para os agentes de IA

O AKV foi criado para resolver um gargalo das aplicações complexas de IA: como lidar com históricos longos de conversa ou execução sem explodir custo e tempo de resposta. Em vez de resumir ou cortar o texto — prática comum hoje e que invalida estados internos do modelo — o sistema atua só no cache KV, estrutura onde o modelo guarda representações intermediárias de tudo o que já foi processado.

Na prática, a trajetória textual continua intacta, mas o agente passa a decidir quais entradas do cache permanecem visíveis para a atenção do modelo e quais podem ser descartadas, o que evita recomputar estados ocultos. Em análise do próprio projeto, “KV cache reads made up 82,4% of total API cost”, o que ajuda a explicar por que mexer nesse ponto traz ganho direto de eficiência.

O código é distribuído sob licença Apache-2.0 e foi construído sobre a linguagem SGLang, com documentação e repositório já disponíveis para integração em projetos de pesquisa e produtos comerciais.

Como funciona: append, drop e reposição de cache

O AKV define três operações de cache. A primeira, append, é o comportamento padrão: novos tokens são acrescentados ao cache conforme o modelo gera respostas. A novidade está nas outras duas operações.

Com drop, o agente remove seletivamente entradas do cache de futuras atenções, sem alterar as posições das demais. Assim, blocos antigos ou pouco úteis deixam de pesar no custo, mas o histórico textual continua completo, o que evita inconsistências e re-prefill — a recarga cara de estados internos.

Já a operação de reposicionamento (repos) compacta as chaves que permanecem no cache para novas posições usando rotação RoPE, técnica ligada ao posicionamento relativo de tokens. Os valores associados a essas chaves não são recomputados, apenas “realinhados” no tempo interno do modelo. Segundo o estudo, “Adding Repos raised GPT-OSS-120B’s BrowseComp-Plus pass rate from 55% to 62%” em testes de ablação, mostrando que a reorganização do cache melhora não só custo, mas também a qualidade das respostas.

Para garantir segurança e correção, o AKV estende a radix tree usada no SGLang com nós específicos de drop e reposição. Entradas de cache descartadas só são de fato liberadas quando nenhuma requisição ativa ainda depende delas, o que evita reuso incorreto de estados. Em casos de necessidade, o sistema reconstrói estados em um único passe de prefill com atenção segmentada.

Interface compatível com OpenAI e políticas configuráveis

O sistema foi projetado para encaixar em fluxos já existentes. A interface é stateless e compatível com o padrão popularizado pelas APIs comerciais: o cliente envia o histórico completo de mensagens e pode ainda preencher dois campos opcionais. O primeiro, drop_message, indica a partir de qual mensagem determinadas partes devem ser descartadas do cache. O segundo, reposition, lista as posições que serão compactadas.

Por cima disso, o AKV oferece um módulo de políticas (CachePolicy), que automatiza essas decisões a partir de regras baseadas em turnos da conversa, número de tokens ou características do modelo. Uma ferramenta adicional, a CacheTool, permite que o próprio LLM invoque operações de drop como se estivesse chamando uma função externa, escolhendo de forma dinâmica o que manter ou liberar no cache.

Nos experimentos, a política principal usa um esquema rolling drop focado em respostas de ferramentas, preservando apenas as últimas 12 chamadas desse tipo. Com isso, o agente mantém perto do modelo as partes mais relevantes da interação recente, sem carregar todo o rastro de execuções ao longo de tarefas muito longas.

Entenda o contexto

Até agora, o caminho mais comum para lidar com contextos extensos em LLMs era a chamada engenharia de contexto: resumir blocos antigos de conversa ou simplesmente cortar o começo do histórico quando o limite de tokens se aproxima. Esse corte no texto obriga a refazer estados internos do modelo e, na prática, joga fora nuances que podem ser importantes para tarefas complexas, como depuração de código ou buscas profundas na web.

Como cada recomputação consome GPU e tempo, equipes de produto são forçadas a escolhas de compromisso: resumir demais e perder precisão, ou resumir pouco e enfrentar custo alto e latências crescentes. O AKV tenta quebrar esse impasse ao mover a lógica de otimização do nível do texto para o nível do cache.

Resultados: menos custo, mais acerto e menor latência

Nos testes divulgados pelos pesquisadores, o AKV foi avaliado com três modelos diferentes em quatro benchmarks de agentes: BrowseComp-Plus, GAIA-Text, SWE-bench Verified e xbench-DeepSearch-2510. Em média, o custo por tarefa caiu 27,7%, enquanto a pontuação média das tarefas subiu 1,7 ponto.

Comparado a técnicas de “engenharia de texto” que resumem o histórico, o AKV reduziu custos em 21,9% e se destacou especialmente em execuções longas. Em cenários do BrowseComp-Plus com 96 mil tokens, o modelo GPT-OSS-120B alcançou 37% de acerto usando AKV, contra 24% do método padrão e 32% da engenharia de texto baseada em resumo.

Nos testes de serving com 80 tarefas de longo contexto do SWE-bench Verified, o AKV entregou 1,18 vez mais throughput de saída e 1,53 vez mais throughput de entrada em relação ao padrão, com queda expressiva de latência: “At concurrency 16, Standard’s P95 latency hits 229.90 seconds versus 30.63 for AKV”, registram os autores. A pressão sobre o cache KV no método tradicional leva a refazer repetidamente o prefill, enquanto o AKV reaproveita estados.

Em outro experimento, com 100 tarefas do SWE-bench Verified sob um orçamento fixo de GPU, o AKV atingiu 47% de taxa de sucesso, frente a 40,7% do método padrão e 32,3% da engenharia de texto. Políticas refinadas com o modelo MiniMax-M2.7 reduziram o custo em 17,8% em relação ao baseline, mantendo a mesma acurácia.

A exposição do controle de cache como ferramenta também trouxe ganho de qualidade. Em um conjunto de 100 tarefas, “GPT-OSS-120B rose from 52.1 to 61.0 on a 100-task subset” ao poder decidir diretamente o que descartar do cache, ainda que com leve aumento de custo por tarefa.

Impacto para mercado e comunidade open-source

Os resultados chamam a atenção principalmente de empresas e equipes que operam assistentes virtuais, sistemas de busca avançada, copilotos de código e fluxos de automação longos, onde históricos extensos são regra. Menos custo por requisição e menor latência, sem abrir mão de precisão, podem tornar modelos grandes viáveis em escala maior, com impacto direto em gastos de infraestrutura.

Ao mesmo tempo, o AKV pressiona abordagens tradicionais baseadas em resumo agressivo do contexto, que tendem a perder espaço em cenários de produção exigentes. Como o projeto é open-source e usa uma licença permissiva, a expectativa é que outros grupos adotem e adaptem o sistema, incluindo suporte a mais modelos e plataformas além dos já testados.

Para os pesquisadores, o próximo passo é refinar políticas de cache mais inteligentes, capazes de equilibrar automaticamente custo, latência e qualidade, e explorar ainda mais a interação entre o modelo e o controle de cache exposto como ferramenta. A tendência é que o AKV se torne referência em engenharia de cache para LLMs e inspire novas arquiteturas voltadas a contextos longos e complexos.