Amazon lança Multi-Turn RL no SageMaker para IA otimizar tarefas

Inteligência Artificial

Amazon apresenta nova funcionalidade no SageMaker que aprimora o treinamento de agentes para processos sequenciais complexos.

Leia também: IA da Liquid AI usa GitHub e Hugging Face para ‘trapacear’ em treino

A Amazon estreou no SageMaker AI o Multi-Turn Reinforcement Learning (MTRL), um novo modo de treinamento que ensina modelos de inteligência artificial a executar tarefas sequenciais complexas, como triagem de tickets ou arquivamento de relatórios, otimizando o desempenho pelo sucesso da tarefa inteira e não por respostas isoladas.

Como funciona o novo treinamento por múltiplos turnos

No MTRL, o Amazon SageMaker AI coordena um trabalho de treinamento que conversa com um agente hospedado no Amazon Bedrock AgentCore ou em infraestrutura própria do cliente, como Amazon EKS, EC2 ou AWS Fargate, na nuvem da AWS. Esse agente interage com o ambiente de tarefa em vários passos seguidos, consulta o modelo de política (por exemplo, o GPT-OSS-20B) a cada decisão e devolve apenas uma recompensa final quando o episódio termina.

A lógica é diferente do ajuste fino supervisionado tradicional, que precisa de exemplos de entrada e saída em cada etapa. Aqui, o usuário só define como avaliar o resultado final. Nas palavras da própria Amazon, “You don’t specify the right trajectory, only how to score the result.”

O serviço é totalmente serverless: o cliente escolhe o modelo base, e o SageMaker AI provisiona automaticamente toda a infraestrutura de treinamento e amostragem. A cobrança é feita por milhão de tokens consumidos em três dimensões — prefill, sample e train — de acordo com o modelo escolhido, além do uso computacional do agente no runtime do AgentCore.

Wordle vira laboratório para o MTRL

Para demonstrar o sistema, a Amazon usa o jogo Wordle como ambiente de teste. No jogo, o modelo tem até 6 tentativas para adivinhar uma palavra secreta de cinco letras. A cada palpite, recebe um retorno visual sobre letras corretas, em posição errada ou ausentes. A sequência de palpites depende do feedback anterior, e o sucesso é fácil de medir: acertou ou não a palavra.

Nesse cenário, um agente hospedado no AgentCore chama o modelo GPT-OSS-20B exposto pelo SageMaker Job Runtime, faz até seis palpites por meio de uma ferramenta de ação, recebe o feedback letra a letra e, no fim do jogo, retorna uma recompensa única que resume o desempenho naquele episódio.

O algoritmo Group Relative Policy Optimization (GRPO) usa a variação de recompensas ao repetir a mesma palavra em múltiplos rollouts para atualizar um adaptador LoRA (Low-Rank Adaptation) acoplado ao modelo. Com isso, o modelo aprende estratégias melhores para resolver a tarefa em várias etapas.

Desempenho, custos e tempos de execução

No experimento divulgado, o GPT-OSS-20B é treinado com MTRL para jogar Wordle em condições controladas de esforço de raciocínio. O modelo sai de uma taxa de acerto de 61% para 84% em palavras não vistas quando opera no esforço padrão de raciocínio. No modo de esforço baixo — o mesmo usado no treino — a taxa de acerto sobe de 15% para 69%.

Esse ganho vem de um pipeline relativamente longo: o trabalho de treinamento roda por cerca de 12 horas e 40 minutos, com 105.486 rollouts executados. No total, o sistema consome 491,6 milhões de tokens de prefill, 159,7 milhões de tokens de sample e 643,3 milhões de tokens de treino, em um conjunto de aproximadamente 1,3 bilhão de tokens processados.

Pelos preços atuais do GPT-OSS-20B na região us-east-1, o custo aproximado do uso de tokens é de US$ 339. O runtime do AgentCore, que hospeda o agente e o ambiente Wordle, adiciona cerca de US$ 79 em cobrança por vCPU e memória. A própria Amazon resume a execução: “The 100-step run consumed 491.6 million prefill, 159.7 million sample, and 643.3 million train tokens across 105,486 rollouts in 12 hours 40 minutes.”

Segundo a companhia, o componente de treino domina a conta e escala com o comprimento da trajetória e a verbosidade do raciocínio do modelo. Tarefas com menos passos ou saídas mais enxutas tendem a baratear o uso.

Entenda o contexto

Em tarefas agentivas de negócio — como processos internos de compliance, classificação de chamados ou fluxos administrativos — não há um único caminho “correto” para seguir, e o retorno confiável costuma aparecer só ao final do fluxo, quando o caso foi resolvido ou não. Isso torna o aprendizado supervisionado clássico pouco adequado, porque é difícil rotular cada microdecisão ao longo da cadeia de ações.

O MTRL tenta preencher essa lacuna ao permitir que o desenvolvedor forneça apenas a função de recompensa final, sem precisar especificar a trajetória ideal. A partir de vários episódios, o agente aprende estratégias que maximizam a recompensa esperada. Na prática, isso abre espaço para treinar modelos menores e mais baratos, adaptados a fluxos internos específicos que modelos públicos generalistas não conhecem.

A escolha do GPT-OSS-20B segue essa lógica de custo-benefício. Nas palavras da equipe, “We chose GPT-OSS-20B because it has the lowest per-token price of the four and its reasoning effort is controllable per request.” A configuração permite ajustar o esforço de raciocínio por requisição, reduzindo o volume de tokens sample quando necessário.

Segurança, controle e monitoramento

Um ponto central para empresas é o controle sobre dados e modelos. A Amazon afirma que todo o pipeline roda dentro da conta do cliente na AWS e não alimenta os modelos base compartilhados. “Your datasets, agent, and trained model stay in your AWS account and are not used to train the base models.”

O trabalho de treinamento no SageMaker AI se conecta ao runtime do AgentCore via um encaminhador em AWS Lambda. O agente, por sua vez, usa o endpoint compatível com o protocolo de chat do Job Runtime para chamar o modelo, registrar recompensas e encerrar episódios. Métricas detalhadas de consumo de tokens ficam disponíveis em campos de faturamento da API DescribeJob, enquanto o uso do runtime é acompanhado por logs e métricas no Amazon CloudWatch.

Para observabilidade de ML, o pipeline de referência integra o MLflow, que acompanha a evolução de métricas como taxa de acerto, variação da recompensa e parâmetros de treinamento ao longo dos experimentos.

Impacto para empresas e próximos passos

A chegada do MTRL ao SageMaker AI mira principalmente clientes corporativos que já usam a nuvem da AWS e querem automatizar fluxos internos complexos sem montar times grandes de rotuladores de dados. Ao permitir treinar agentes que tomam decisões em múltiplas etapas dependentes, o recurso promete ganhos de eficiência em atendimento ao cliente, backoffice financeiro, jurídico, operações e qualquer área com processos estruturados, porém cheios de exceções.

Especialistas do ecossistema veem a abordagem serverless como um diferencial, especialmente pela combinação de escalabilidade automática com cobrança transparente por tokens e recursos. Ao mesmo tempo, o modelo de custo pode pesar para usuários menores que não consigam diluir despesas em grande volume de tarefas, o que torna o desenho cuidadoso de tarefas e recompensas ainda mais importante.

A Amazon já documenta erros comuns de design de recompensa e falhas de treinamento encontrados nos primeiros experimentos e disponibiliza todo o código de referência em um repositório público da família aws-samples. A expectativa é que, a partir dessa base, cresça o suporte a novos modelos, surjam padrões de projeto para agentes treinados por MTRL e se consolidem boas práticas para medição de sucesso em tarefas sequenciais.

Em paralelo, empresas interessadas podem começar com exemplos didáticos, como o próprio Wordle, e depois migrar para fluxos corporativos reais, aproveitando o fato de que dados, agentes e modelos ajustados permanecem isolados em suas contas na AWS.