HOPE reduz 95% da memória em modelos MoE sem perder desempenho

Inteligência Artificial

Nova técnica otimiza modelos MoE, reduzindo drasticamente o uso de memória sem comprometer a performance.

Leia também: Claude Fable 5.2 alcança 65 pontos, mas custa caro e é lento

Pesquisadores de inteligência artificial estão apresentando nesta semana o HOPE, um novo método de poda para modelos Mixture-of-Experts (MoE) que promete reduzir drasticamente o consumo de memória em grandes modelos de linguagem, como o Qwen3.5-122B, mantendo o desempenho mesmo com cortes agressivos de especialistas.

O que é o HOPE e por que isso importa

O HOPE, sigla para Higher-Order Pruning of Experts, foi criado para atacar um dos gargalos mais caros dos modelos MoE: a memória ocupada por especialistas que quase nunca são usados na prática. No Qwen3.5-122B, por exemplo, cada uma das 48 camadas MoE tem 256 especialistas, e cerca de 95% dos ~250 GB de parâmetros do modelo são dedicados a esses módulos. Ainda assim, para cada token processado, apenas 8 especialistas por camada entram em ação.

A poda de especialistas — remover de forma permanente os menos úteis — é a solução mais direta para esse desperdício. Ela não exige re-treinamento, evita a latência de carregar especialistas sob demanda e pode ser combinada com técnicas como quantização. O problema é decidir quem sai sem destruir a capacidade do modelo.

Até agora, os métodos mais usados avaliavam cada especialista isoladamente, com uma pontuação de importância. São as chamadas abordagens de primeira ordem: rápidas, simples e cegas para o fato de que especialistas costumam trabalhar em grupo. Em muitos casos, a rede ativa sempre subconjuntos parecidos de especialistas que cooperam entre si.

Os autores do HOPE resumem o risco dessa visão simplificada em uma frase: “Removing expert A might seem fine on its own, but if expert B — which frequently cooperates with and relies on A — is highly important, then removing A would dismantle a cooperative group just through a single deletion.”

Como o HOPE decide o que podar

O HOPE parte de um objetivo claro: minimizar o erro de poda, isto é, a diferença entre a saída de uma camada MoE original e a saída após remover um conjunto de especialistas, levando em conta que os removidos serão substituídos por outros com pesos de porta (gate) mais altos.

Na prática, calcular diretamente a melhor combinação de especialistas a serem cortados é intratável para modelos com centenas de módulos por camada. Para contornar isso, os pesquisadores definem um objetivo substituto, mais simples de otimizar, construído sobre uma matriz de interações entre especialistas obtida em um conjunto de calibração.

Nesse processo, o modelo passa por uma base de calibração e, para cada par de especialistas, o HOPE mede o quanto eles são ativados juntos e o quanto suas saídas, ponderadas pelos pesos de porta, contribuem em conjunto. O resultado é uma matriz F, em que cada entrada representa a força da cooperação entre dois especialistas.

Os termos da diagonal dessa matriz capturam a importância individual de cada especialista; os termos fora da diagonal revelam as interações de segunda ordem — justamente o que métodos tradicionais ignoram. A escolha de quais especialistas podar vira então um problema de otimização quadrática: encontrar o subconjunto cujo corte minimiza a métrica associada à matriz F.

Segundo os autores, o custo extra dessa etapa é pequeno: o método usa o mesmo passe de calibração exigido por outras técnicas de poda, somado à solução desse problema de otimização camada a camada, algo que, de acordo com os experimentos, pode ser resolvido em questão de segundos por camada com solucionadores padrão.

Resultados em grandes modelos de linguagem

Nos testes realizados com diferentes modelos MoE, incluindo o próprio Qwen3.5-122B, o HOPE apresentou o melhor desempenho médio entre os métodos de poda avaliados, principalmente em cenários considerados agressivos, como cortes de 50% dos especialistas.

Em tarefas de codificação com agentes, o método se destacou: “HOPE achieves the best average rank of any method, with gains of up to +6,1% on agentic coding tasks over the next-best pruning method”, afirmam os pesquisadores. Na prática, isso significa manter mais qualidade com metade dos especialistas, o que reduz fortemente a memória necessária em produção.

Para modelos em que 95% da memória de parâmetros está concentrada nos especialistas, como o Qwen3.5-122B, uma poda nessa ordem de grandeza pode representar dezenas ou até centenas de gigabytes a menos em requisitos de hardware, sem que o modelo precise ser re-treinado.

Entenda o contexto

Modelos Mixture-of-Experts se tornaram uma das principais estratégias para escalar grandes modelos de linguagem a centenas de bilhões de parâmetros sem multiplicar linearmente o custo de inferência. Em vez de ativar toda a rede para cada token, o roteador escolhe apenas um pequeno conjunto de especialistas relevantes em cada camada.

Essa arquitetura permite ter muitos parâmetros “em reserva”, mas cria um custo fixo de memória: todos os especialistas precisam estar carregados, mesmo que a maioria fique ociosa a cada passo. É esse descompasso entre parâmetros disponíveis e realmente usados que faz da poda de especialistas uma ferramenta tão atraente para times que querem levar grandes modelos para servidores menores ou para nuvem com custo mais baixo.

Até aqui, porém, o ganho de eficiência tinha um limite: quanto mais agressiva a poda, maior a chance de destruir grupos de especialistas cooperativos e degradar o modelo. O HOPE surge justamente para empurrar esse limite, preservando essas relações internas e permitindo cortes mais fundos sem penalidade proporcional em desempenho.

Próximos passos e impacto para o ecossistema

As primeiras reações na comunidade de pesquisa em modelos MoE são positivas, em grande parte pelo fato de o HOPE se integrar ao fluxo de trabalho já conhecido: ele usa um conjunto de calibração, como outros métodos, e adiciona apenas a camada de otimização de segunda ordem.

Pesquisadores e desenvolvedores de grandes modelos de linguagem tendem agora a testar o método em diferentes arquiteturas, incluindo variantes menores de MoE e modelos com centenas de especialistas por camada. A expectativa é que o HOPE seja incorporado a pipelines de produção, a ferramentas de compressão de modelos e a bibliotecas de deploy focadas em servidores com memória limitada.

Ao mesmo tempo, a própria sofisticação do método deve afastar, num primeiro momento, equipes que ainda dependem de soluções de poda mais simples, baseadas em escores individuais. Implementar o HOPE exige lidar com análise de interações de segunda ordem e com solucionadores de programas quadráticos, um nível de complexidade que não está presente em técnicas mais básicas.

No médio prazo, pesquisadores veem o HOPE como ponto de partida para novas linhas de trabalho em “poda colaborativa” — que tratam explicitamente as redes neurais como sistemas de componentes que interagem — e como um potencial fator de alívio na pressão por cada vez mais memória especializada em hardware de IA, ao extrair mais eficiência dos modelos já existentes.