Alibaba lança QwenGyre para aprendizado de reforço elástico
Novo sistema da Alibaba otimiza treinamento de agentes em tarefas de longa duração.
A equipe Qwen da Alibaba anunciou o QwenGyre, um novo sistema de aprendizado de reforço elástico voltado para o treinamento de agentes em tarefas de longa duração. O QwenGyre é projetado para executar rollouts que duram horas e processam até 1 milhão de tokens, utilizando clusters de GPU multinódo.
O QwenGyre foi testado no modelo Qwen 3.8 2.4T e é baseado em dois conceitos principais: a movimentação de GPUs ociosas entre rollout e treinamento, e a transformação de históricos de agentes em amostras de treinamento limitadas. Isso permite uma aceleração de até 1,85 vezes em comparação com o sistema Colocate.
Leia também: Meta lança Muse Wonder e Muse Wonder Full
Desempenho e Inovações
O sistema demonstrou melhorias significativas em benchmarks como o NL2RepoBench, onde a taxa de aprovação subiu de 52,5% para 58,5% em 48 etapas. O QwenGyre também se destacou por sua capacidade de alternar entre funções de rollout e treinamento sem interromper os agentes ativos.
O QwenGyre utiliza um processador de trajetória que registra IDs de tokens e probabilidades de comportamento, criando árvores de trajetória compartilhadas por prefixo. Isso reduz o custo de treinamento ao evitar a duplicação de caminhos compartilhados e ao aplicar uma amostragem limitada a cinco trajetórias por execução.
Comparação com Outros Sistemas
Em comparação com outros frameworks de aprendizado de reforço, o QwenGyre se destaca por seu sistema de células elásticas que permite a movimentação de GPUs durante o rollout. Embora o código público ainda não tenha sido divulgado, o sistema oferece uma aceleração significativa em relação a setups tradicionais.
O lançamento do QwenGyre representa um avanço no treinamento de agentes para tarefas complexas e de longa duração, otimizando o uso de recursos computacionais e melhorando a eficiência do processo de aprendizado.
Perguntas e respostas
O que é o QwenGyre da Alibaba?
O QwenGyre é um sistema de aprendizado de reforço elástico desenvolvido pela equipe Qwen da Alibaba. Ele é projetado para otimizar o treinamento de agentes em tarefas de longa duração, utilizando clusters de GPU multinódo para processar grandes volumes de dados.
Como o QwenGyre melhora o treinamento de agentes?
O QwenGyre melhora o treinamento de agentes movendo GPUs ociosas entre rollout e treinamento e transformando históricos de agentes em amostras de treinamento limitadas. Isso permite uma aceleração de até 1,85 vezes em comparação com sistemas tradicionais, como o Colocate.
Quais são os benefícios do QwenGyre em benchmarks?
O QwenGyre demonstrou melhorias significativas em benchmarks, como o NL2RepoBench, onde a taxa de aprovação aumentou de 52,5% para 58,5% em 48 etapas. Ele também oferece uma aceleração significativa em relação a setups tradicionais, otimizando o uso de recursos computacionais.
Com informações de MarkTechPost.
