ALTK-Evolve aumenta 10% eficiência do atendimento via prompt hoje

Tecnologia

ALTK-Evolve aprimora a confiabilidade dos agentes de atendimento sem necessidade de re-treinamento do modelo.

Leia também: iPadOS 27 vaza notas privadas em apresentações; saiba evitar hoje

A ALTK-Evolve apresentou nesta semana um sistema que ensina agentes virtuais de atendimento ao cliente a se comportar melhor apenas ajustando o texto do prompt, sem treinar de novo o modelo. Testado no τ²-bench, benchmark que simula atendimentos em varejo e aviação, o agente baseado em GPT-4.1 passou a resolver mais tarefas difíceis e irreversíveis, com ganho de até 10 pontos percentuais na métrica de confiabilidade Pass^4.

Como o ALTK-Evolve melhora o agente sem treinar o modelo

No experimento, o agente de atendimento roda sobre GPT-4.1 em um loop de raciocínio e ação (THINK → ACT), enquanto um modelo GPT-5.5 simula o cliente. Em vez de ajustar pesos, a ALTK-Evolve usa o próprio GPT-4.1 para revisar tentativas em tarefas de treinamento e destilar um conjunto de diretrizes curtas que resumem acertos e erros, como “como autenticar um cliente” ou “como confirmar uma transação”.

Essas regras formam um playbook comportamental que é colado diretamente no prompt do sistema. “As diretrizes aprendidas são adicionadas ao prompt do agente para conversas subsequentes, sem necessidade de atualização de pesos ou anotação humana”, descreve a equipe. O restante da configuração do τ²-bench — ferramentas, políticas e estrutura de conversa — permanece inalterado.

O benchmark τ²-bench, desenvolvido para medir agentes de atendimento, exige que o sistema siga políticas rígidas, entenda o pedido do cliente e execute a ação correta em banco de dados, como reembolsar um pedido ou remarcar um voo. Cada tarefa é tentada 4 vezes de forma independente, sempre com o cliente simulado por IA.

Quais foram os ganhos de desempenho no τ²-bench

Com o playbook aprendido, o agente com GPT-4.1 superou as melhores entradas de varejo do τ²-bench, usando apenas ajustes de prompt. Em números, a média de acerto (Mean Accuracy) no domínio de varejo subiu de 78,1% para 82,5%, um avanço de 4,4 pontos percentuais, enquanto em aviação saltou de 57,5% para 65,0%, ganho de 7,5 pontos.

Na métrica mais rígida, a Pass^4 — que considera resolvida só a tarefa em que as quatro tentativas independentes têm sucesso — o salto é de 10 pontos percentuais nos dois domínios. No varejo, o índice passa de 57,5% para 67,5%; na aviação, de 35,0% para 45,0%. Um agente básico de atendimento usando GPT-4.1 já chega a 67,5% Pass^4 no τ²-bench varejo, e a adição de diretrizes consolida e expande essa performance.

Os testes também mostram que o ganho não vem de conversas mais longas ou enroladas. “O aumento de desempenho não vem de conversas mais longas, mas de chamadas mais bem informadas”, explicam os pesquisadores. As interações tendem até a ficar ligeiramente mais curtas, o que reduz a latência percebida pelo cliente.

Entenda o contexto

O τ²-bench é um ambiente de avaliação que coloca o agente para lidar com clientes simulados e ferramentas de negócio, como consulta de pedidos, emissão de reembolsos e remarcação de voos. Cada cenário traz um documento de política que o agente precisa seguir ao pé da letra, sob pena de executar ações erradas e irreversíveis. O resultado é medido de forma binária: ou o estado final do banco de dados bate com o esperado, ou a tarefa é considerada fracassada.

Nos testes da ALTK-Evolve, três configurações de diretrizes foram avaliadas: um baseline, sem regras adicionais; um conjunto compacto sup3, formado apenas por diretrizes validadas em pelo menos três tarefas; e um pacote completo, chamado lossless, com todas as diretrizes com suporte igual ou maior que 1. Em aviação, por exemplo, o núcleo compacto sup3 com 14 diretrizes se mostrou o mais confiável para Pass^4, enquanto em varejo o conjunto completo trouxe os maiores ganhos gerais.

Impacto para empresas e para a indústria de IA

A proposta mexe diretamente com o custo de manter agentes de atendimento mais inteligentes. Em vez de ciclos caros de fine-tuning ou retraining a cada mudança de política ou domínio, o ALTK-Evolve mostra que é possível elevar precisão e confiabilidade ao encapsular o aprendizado em texto no prompt, a partir das próprias tentativas do agente.

Na prática, isso interessa especialmente a empresas de varejo e aviação que dependem de automação em operações sensíveis, como devoluções, reembolsos e remarcações. A melhoria de até 10 pontos percentuais na Pass^4 indica que mais tarefas críticas passam a ser resolvidas de forma consistente, com menos reprocessos e necessidade de intervenção humana.

Para fornecedores de soluções de IA, o modelo também é disruptivo. A redução da necessidade de treinos recorrentes pode pressionar serviços baseados em ajuste fino de modelos, ao mesmo tempo em que abre espaço para ofertas focadas em engenharia de prompt, gestão de diretrizes e governança de comportamento de agentes.

Como os custos extras aparecem sobretudo no tamanho maior do prompt de entrada, e não no número de turnos da conversa, a expectativa é que técnicas como cache de prompt compensem boa parte do gasto adicional em produção. Do lado do usuário final, o efeito tende a ser positivo: atendimentos mais rápidos, com menos idas e vindas e maior chance de solução na primeira interação.

Próximos passos e desafios

Os resultados nesta rodada de testes se concentram em varejo e aviação, dentro do ambiente controlado do τ²-bench. A tendência agora é levar a abordagem para outros domínios de atendimento, testar a escalabilidade em ambientes reais e ajustar o “doseamento” de diretrizes por setor, em função da complexidade das políticas e do tipo de ação exigida.

Outro ponto em aberto é a governança: à medida que o playbook de comportamento cresce e se adapta, será preciso mecanismos claros para revisar, versionar e auditar essas regras, garantindo aderência a normas regulatórias e às políticas internas de cada empresa. Mesmo assim, o recado da ALTK-Evolve para o mercado é direto: agentes de atendimento podem aprender com a própria experiência sem tocar nos pesos do modelo — e isso já começa a se refletir em ganhos concretos de desempenho.

Fonte: matéria original