Baidu lança ERNIE 5.5 Flash Base com 280 bi e alta eficiência

Tecnologia

Novo modelo de linguagem da Baidu traz avanços em eficiência e escala com suporte a contextos extensos.

Leia também: OpenAI lança GPT-6 Cyber, IA que acha falhas em Firefox e Linux

A Baidu lançou nesta semana o ERNIE 5.5 Flash Base, um modelo de linguagem esparso do tipo Mixture-of-Experts (MoE) com 280 bilhões de parâmetros totais e foco em eficiência computacional, cujos pesos foram disponibilizados publicamente para pesquisas e desenvolvimento em larga escala.

Modelo grande, uso de computação enxuta

O ERNIE 5.5 Flash Base é um modelo de texto com arquitetura MoE que ativa 14 bilhões de parâmetros por token, em vez de usar todos os 280 bilhões a cada chamada. Segundo a Baidu, “o modelo ativa 14 bilhões de parâmetros por token, com um orçamento unificado para cálculo ativado, cache KV e contexto longo”, o que permite equilibrar custo de processamento, memória e suporte a janelas de contexto extensas.

O modelo tem 43 camadas, tamanho oculto de 4096 e foi pré-treinado do zero com 33,5 trilhões de tokens, usando o otimizador Muon. O tokenizer conta com 201.216 entradas e aplica uma estratégia específica para números, agrupando dígitos da direita para a esquerda em blocos de até três, o que tende a reduzir o custo em tarefas com muito dado numérico e código.

Com esse desenho, o ERNIE 5.5 Flash Base foca especialmente em materiais de contexto longo e em código em escala de repositórios, tipos de dado que são difíceis de acrescentar de forma eficiente em fases posteriores de ajuste fino.

Pesos abertos para ajuste fino e pesquisa

A Baidu disponibilizou o ERNIE 5.5 Flash Base como checkpoint bruto ao fim do pré-treinamento, sem qualquer etapa posterior de instrução, alinhamento ou reforço. “Os pesos paramétricos param de ser treinados ao final do pré-treinamento, sem ajustes intermediários ou pós-treinamento”, afirma a companhia.

Na prática, o modelo é uma base comum e padronizada para que laboratórios, times de produto e pesquisadores comparem, em condições semelhantes, técnicas de fine-tuning, tuning de instruções e métodos de aprendizado por reforço. A proposta é reduzir ruídos de comparação entre modelos que, muitas vezes, passam por pipelines proprietários diferentes.

Os pesos podem ser baixados em formatos FP8 e BF16 nas plataformas Hugging Face e ModelScope. A Baidu também publicou documentação para servir o modelo em SGLang (com tensor parallel indicado com --tp 4) e em vLLM, que requer a versão 0.32.0 e o plug-in vLLM-ERNIE.

Desempenho e foco em contexto longo

O ERNIE 5.5 Flash Base suporta até 1.048.576 tokens por requisição, patamar que o posiciona entre os modelos com janelas de contexto mais extensas disponíveis hoje. Isso abre espaço para aplicações como leitura e análise de grandes bases de código, inspeção de documentos técnicos volumosos, relatórios corporativos ou coleções inteiras de artigos de pesquisa em uma única chamada.

Para viabilizar essa escala, o treinamento rodou sobre o kernel FlashMask-4, desenvolvido para GPUs de classes SM90 e SM100. De acordo com a Baidu, “o treinamento usou o kernel FlashMask-4, que no SM100 é até 175% mais rápido na inferência e 74% mais rápido na retropropagação que o FlashAttention-4 MaskMod”. O ganho de desempenho tende a influenciar decisões de infraestrutura de quem trabalha com modelos de grande porte em hardware moderno.

Em avaliações internas, a equipe comparou o ERNIE 5.5 Flash Base com outros modelos base usando um pipeline unificado de testes, prompts e few-shots. O modelo se destacou em tarefas como ChineseSimpleQA, INCLUDE-lite, HELMET-Rerank e InfiniteBench, enquanto rivais lideraram em benchmarks como BBH CoT e FullStackBench. Todos os números são auto-relatados pela Baidu, o que significa que podem diferir ligeiramente dos resultados oficiais divulgados por concorrentes.

Impacto para pesquisadores e mercado de IA

A abertura do ERNIE 5.5 Flash Base tende a ser bem recebida por universidades, laboratórios independentes e times de produto que precisam testar técnicas de alinhamento em modelos realmente grandes, mas não têm orçamento para pré-treinar um sistema desse porte do zero.

Ao oferecer uma “base limpa” e padronizada, a Baidu reduz barreiras de entrada e cria um ponto de comparação comum para experimentos de fine-tuning, instrução e reforço. Isso pode acelerar o desenvolvimento colaborativo em áreas como modelos esparsos, agentes que trabalham com contextos muito longos e ferramentas especializadas para código e documentos técnicos.

No cenário competitivo, o movimento aumenta a pressão sobre empresas que mantêm apenas modelos fechados: a existência de um MoE de 280 bilhões de parâmetros com pesos abertos amplia as possibilidades para novos entrantes e pode empurrar concorrentes a responder com mais transparência, abertura ou avanços técnicos próprios.

A Baidu ainda destaca tecnologias relacionadas como VHA, Multi-Router MoE e ECHO em materiais técnicos publicados em paralelo, e convida a comunidade de ciência de dados e machine learning a acompanhar atualizações em seus canais oficiais, indicando que versões ajustadas e especializadas do modelo devem aparecer nos próximos meses.