7 estratégias que revolucionam o roteamento em modelos MoE hoje

Tecnologia

Descubra as principais táticas que otimizam o roteamento em modelos Mixture-of-Experts e seu impacto em desempenho e custos.

As sete principais estratégias de roteamento em modelos Mixture-of-Experts (MoE) estão redefinindo como gigantes da inteligência artificial, como Mixtral 8x7B, DeepSeek-V3 e V4, Qwen3 e GLM-4.5, escolhem quais especialistas processam cada token — uma decisão que impacta diretamente qualidade, balanceamento de carga e custo computacional em sistemas de pesquisa e produção.

Como funciona o roteamento em modelos MoE

Em um modelo MoE, cada token precisa ser enviado a um subconjunto de redes especializadas, os experts. Essa escolha cabe ao router, um componente que pontua todos os especialistas, seleciona alguns deles e combina as respostas. Só os escolhidos rodam, o que permite ter muitos parâmetros totais, mas poucos ativos por token.

Na prática, isso faz com que modelos como o Mixtral 8x7B deem a cada token acesso a dezenas de bilhões de parâmetros, usando apenas uma fração deles em cada passo. A forma como o router decide quais experts entram em ação é o que diferencia as sete estratégias hoje em uso.

Top-K tradicional com softmax

A estratégia Top-K é a base da maioria dos modelos MoE atuais. Nela, cada token gera uma pontuação para todos os especialistas por meio de uma camada linear. Segundo a formulação clássica, “cada token pontua todos os especialistas com uma camada linear e mantém os k maiores. Um softmax sobre esses k define os pesos de mistura”.

Modelos amplamente usados seguem esse desenho com diferentes proporções: o Mixtral 8x7B ativa 2 de 8 experts por token; o gpt-oss-120b usa 4 de 128; o Qwen3-235B-A22B recorre a 8 de 128. Um termo extra na função de perda costuma forçar que a carga seja distribuída de forma mais uniforme entre os especialistas.

O Top-K com softmax equilibra bem qualidade e custo, mas cobra um preço: o router precisa pontuar todos os experts a cada token, o que pesa em modelos com centenas de especialistas.

Switch: um expert por token

Para cortar esse custo, o Switch Transformer levou o conceito ao extremo. “Switch Transformer mostrou que roteamento cada token para 1 expert preserva qualidade e reduz custo computacional do router”, descreve o guia técnico. Nesse caso, cada token escolhe um único especialista roteado.

O modelo implementa ainda uma capacidade fixa por expert, calculada com base no número de tokens do lote e em um fator de capacidade. Quando um especialista atinge o limite, os tokens excedentes não são atendidos por ele: eles atravessam a camada pela conexão residual, sem passar pelo bloco de experts.

O Llama 4 Maverick adota uma variação desse desenho, em que cada token é enviado a um expert roteado e a um expert compartilhado, que funciona como um núcleo comum.

Shared experts: especialistas sempre ligados

Outro caminho foi adotado pela família DeepSeek. Em modelos como o DeepSeek-V3, cada camada MoE é dividida entre experts sempre ativos (shared) e experts esparsos, que só são acionados via roteamento. A lógica é que o expert compartilhado concentre o “saber comum” do modelo, liberando os demais para se especializar.

No DeepSeek-V3, a configuração inclui 1 shared expert e 256 routed experts, com 8 deles sendo ativados por token. O mesmo padrão aparece em modelos como Kimi K2, GLM-4.5 e Qwen3.6-35B-A3B. Já outra linha do Qwen seguiu na direção oposta e removeu completamente os experts compartilhados.

Por que o gating sigmoid virou padrão

O passo seguinte foi mudar a própria função de pontuação. Em vez do softmax tradicional, o DeepSeek-V3 popularizou o uso de sigmoid no router, combinado com um mecanismo de balanceamento dinâmico. Na formulação descrita pela equipe, “DeepSeek-V3 usa sigmoid em vez de softmax, com bias por expert que cai para experts sobrecarregados e sobe para os ociosos”.

Nessa abordagem, o bias por especialista é usado apenas na escolha dos Top-K: após cada passo, o sistema reduz o bias dos experts que receberam carga demais e aumenta o dos que ficaram ociosos. Os pesos finais de mistura continuam baseados nas pontuações “cruas” do router, sem o bias.

Modelos como GLM-4.5 adotam variações desse conceito, incluindo técnicas de balanceamento consideradas “loss-free”, que evitam penalizar demais a qualidade. DeepSeek-V4 refina a ideia trocando a função de pontuação para sqrtsoftplus, mas mantendo o ajuste por bias. O consenso entre equipes que treinam modelos abertos é que “o gating sigmoid com balanceamento por bias é o padrão aberto atual para novos treinamentos”.

Roteamento com limite de nós e agrupamento

Em infraestruturas distribuídas, o custo de comunicação pode superar o próprio custo de cálculo dos experts. Para atacar esse gargalo, o DeepSeek-V3 introduziu um limite no número de nós a que cada token pode ser enviado. Na prática, cada token é roteado para, no máximo, 4 nós, selecionados pelas maiores afinidades.

O modelo também agrupa especialistas em blocos antes da escolha final: suas configurações dividem os experts em 8 grupos, a partir dos quais são mantidos 4 na pré-seleção, antes de chegar ao conjunto definitivo de 8 experts ativos por token. A ideia é concentrar a computação em menos máquinas, permitindo que comunicação e cálculo se sobreponham quase totalmente.

O Kimi K2 simplifica esse desenho ao eliminar o agrupamento, configurando apenas um grupo (n_group = 1) e mantendo o limite de nós por token como principal controle de custo de comunicação.

Expert-Choice: experts escolhem os tokens

Entre as técnicas mais comentadas na comunidade de pesquisa está o Expert-Choice, proposto por pesquisadores do Google. Em vez de o router escolher os experts para cada token, o fluxo se inverte: cada expert seleciona seus tokens preferidos.

Essa mudança garante que todo especialista receba um “balde” de tamanho fixo, com seus top-k tokens. O número de experts atendendo a cada token, por outro lado, passa a ser variável. Em testes de treinamento, “a estratégia Expert Choice reporta mais de 2x mais rápida convergência no treinamento, mas tem problema de causalidade”.

O ponto crítico é que a escolha de expert para um token pode depender de tokens futuros na sequência, o que causa vazamento de informação temporal em cenários autorregressivos. Pesquisas recentes indicam quedas anormais de perda associadas a esse efeito. Por isso, apesar do ganho de velocidade, a técnica ainda não aparece em modelos comerciais de grande porte e tem sido usada em cenários de pesquisa ou em configurações não causais.

Hash routing e top-k dinâmico

Outra frente de experimentação é o roteamento por hash, que abre mão de um router aprendido. Em vez disso, o token é associado a experts com base em uma função de hash do seu identificador. O DeepSeek-V4 leva essa ideia às primeiras camadas MoE, aplicando hash routing em três delas para economizar computação onde a representação ainda é mais bruta.

Já o roteamento dinâmico Top-K busca adaptar, em tempo real, quantos experts cada token realmente precisa. Em vez de ativar sempre o mesmo número k, o sistema escolhe k de forma variável. Implementações de pesquisa em sistemas de serving mostram ganhos diretos de latência. No caso do SMIDT, que embutiu a técnica em sua pilha, houve melhoria de 1,21 a 1,26 vezes no tempo para o primeiro token em cenários de cauda (P99).

A flexibilidade vem com um alerta: “mudar top-k na inferência muda o modelo, então deve ser tratado como experimento de qualidade”. Em ambientes de produção, a recomendação é testar alterações de roteamento como se fossem versões diferentes do modelo, com validação rigorosa antes de qualquer migração.

Entenda o contexto

As estratégias de roteamento em modelos MoE deixaram de ser um detalhe de implementação para se tornar um dos principais campos de otimização na IA de grande escala. Ao decidir quais experts entram em ação a cada token, equipes conseguem equilibrar precisão, custo de hardware, consumo de energia e latência em aplicações que vão de assistentes de código a sistemas de busca e plataformas de machine learning.

Modelos recentes, como DeepSeek-V3 e V4, Kimi K2, GLM-4.5, Qwen3.6-35B-A3B e derivados de Mixtral, já incorporam combinações dessas sete estratégias — Top-K com softmax, Switch (1 expert), shared experts, gating sigmoid com bias dinâmico, limites de nós e agrupamento, Expert-Choice, roteamento por hash e Top-K dinâmico.

A disseminação rápida dessas técnicas passa também por veículos especializados. “Nossa plataforma tem mais de 2 milhões de visualizações mensais, mostrando sua popularidade”, afirma Asif Razzaq, CEO da Marktechpost AI Media Inc., que tem se destacado pela cobertura técnica acessível de avanços em modelos MoE e grandes modelos de linguagem.

Na comunidade, fóruns como o ML SubReddit, com mais de 150 mil membros, ajudam a acelerar a adoção e a crítica dessas estratégias. No curto e médio prazo, a expectativa é que o roteamento siga como uma das principais alavancas para treinar, servir e personalizar modelos de IA mais escaláveis, eficientes e alinhados a diferentes restrições de custo e infraestrutura.