Microsoft revela modelo MAI-Base-2 com 2 trilhões de parâmetros

Inteligência Artificial

Microsoft apresenta avanço significativo em modelos de linguagem com eficiência e escala inéditas.

Leia também: Jev: modelo de IA atinge 35% adoção na Vercel em 2 semanas

A Microsoft revelou o MAI-Base-2, um modelo base de linguagem com 2 trilhões de parâmetros que, segundo a empresa, é até 12 vezes mais eficiente em hardware do que os principais concorrentes open-source, após um treinamento de 38 dias em uma mega-infraestrutura com 16.000 chips Nvidia GB200.

Modelo base para nova geração de LLMs

O MAI-Base-2 não é um modelo de linguagem completo para uso direto pelo público, mas um modelo base pensado como protótipo para dar origem a novos LLMs (modelos de linguagem de grande porte). Esses modelos derivados ainda vão passar por fases adicionais de treinamento, voltadas a reforçar capacidades de raciocínio e a inclusão de mecanismos de segurança.

De acordo com a Microsoft, o MAI-Base-2 supera o principal modelo base open-source disponível hoje em tarefas internas de ciência, programação e matemática. A empresa afirma que o novo sistema “é até 12 vezes mais eficiente em hardware por certas medidas”, o que, na prática, reduz o custo de computação para cada requisição de usuário.

Os planos imediatos incluem usar o MAI-Base-2 como base para uma nova família de modelos comerciais e licenciar seus pesos para parceiros considerados confiáveis por meio da nuvem Azure, criando um ecossistema controlado e com acesso restrito ao núcleo da tecnologia.

Como funciona a arquitetura MoE do MAI-Base-2

O avanço técnico central do MAI-Base-2 está na adoção radical da arquitetura Mixture of Experts (MoE). Em vez de ativar todo o conjunto de 2 trilhões de parâmetros a cada pergunta recebida, o modelo mobiliza apenas um subconjunto especializado de neurônios — 80 bilhões de parâmetros por prompt, segundo a empresa.

Nessa abordagem, o modelo é dividido em “especialistas”, cada um mais apto a lidar com determinados tipos de tarefa. Um roteador interno escolhe quais especialistas ativar a cada entrada, reduzindo o volume de cálculo necessário sem abrir mão de qualidade de resposta. Isso é o que sustenta o ganho de eficiência de hardware anunciado pela Microsoft.

A companhia destaca que o MAI-Base-2 “é composto inteiramente por camadas MoE, o que contribui para seu desempenho”. Diferentemente da geração anterior, que misturava camadas MoE com blocos FFN, considerados menos eficientes, o novo modelo leva o conceito de especialistas ao extremo em toda a pilha de camadas.

Visão computacional integrada ao modelo de linguagem

Outro diferencial do MAI-Base-2 é o módulo de visão computacional integrado. Do total de 50 trilhões de tokens usados no treinamento, cerca de 20% foram reservados para alimentar essa parte visual do sistema, voltada a interpretar imagens e, em especial, gráficos científicos.

Com isso, o modelo ganha capacidade de analisar simultaneamente texto e representações visuais, o que é particularmente relevante para pesquisa científica, finanças e qualquer área em que gráficos, tabelas e diagramas façam parte do dia a dia. A Microsoft aponta que esse componente torna o MAI-Base-2 mais apto do que seu antecessor a entender e explicar gráficos técnicos complexos.

Treinamento em 38 dias com 16 mil Nvidia GB200

Para tirar o projeto do papel, a Microsoft montou uma das infraestruturas de treinamento mais pesadas já detalhadas publicamente pela empresa. O MAI-Base-2 foi treinado ao longo de 38 dias contínuos, rodando em 16.000 chips Nvidia GB200, hardware de ponta projetado especificamente para cargas intensivas de inteligência artificial.

O conjunto de dados somou 50 trilhões de tokens, mesclando conteúdo voltado a linguagem natural, código de programação, matemática e dados visuais. O volume e a diversidade do material de treino ajudam a explicar o desempenho superior do modelo em benchmarks internos de ciência, programação e problemas numéricos.

Para manter a estabilidade do processo de treinamento, a equipe de pesquisa da Microsoft recorreu a técnicas avançadas de otimização. Entre elas está o chamado gradient clipping, usado para impedir que alterações extremas nos gradientes — os sinais matemáticos que ajustam os parâmetros do modelo — gerem bugs capazes de interromper o aprendizado em arquiteturas grandes e profundas.

A empresa também empregou o Muon, ferramenta open-source focada em acelerar o treinamento de modelos de inteligência artificial em larga escala. Esses recursos foram combinados para garantir que o sistema chegasse ao fim dos 38 dias de treino com qualidade estável e sem falhas catastróficas no processo.

Entenda o contexto

Modelos base como o MAI-Base-2 são o “esqueleto” dos grandes modelos de linguagem atuais. Eles concentram o grosso da capacidade de compressão e previsão de texto, mas ainda não passaram por etapas de refinamento que ensinam o sistema a seguir instruções humanas, respeitar regras de segurança ou dialogar em linguagem mais natural.

É sobre essa base que empresas constroem produtos finais como assistentes virtuais, copilotos de programação ou ferramentas especializadas para ciência e negócios. Quanto mais eficiente e poderosa é a base, maior tende a ser o potencial dos modelos derivados, especialmente quando o custo de operação por usuário cai, como a Microsoft afirma ter alcançado aqui.

Impacto para mercado, open-source e pesquisa científica

O MAI-Base-2 chega com a ambição de redefinir a linha de base de eficiência em modelos de linguagem de grande porte. Ao combinar 2 trilhões de parâmetros com uma arquitetura totalmente MoE e ativação seletiva de 80 bilhões de parâmetros por tarefa, a Microsoft sinaliza um caminho em que mais poder computacional não significa, necessariamente, custos proibitivos de operação.

Na prática, isso pode favorecer empresas e instituições que dependem de processamento intenso de linguagem em áreas como pesquisa científica, desenvolvimento de software e análise matemática. A capacidade de interpretar gráficos científicos e outros elementos visuais amplia ainda mais o alcance do modelo em laboratórios, universidades e setores industriais de alta tecnologia.

Ao mesmo tempo, o lançamento expõe uma barreira relevante para concorrentes menores e a comunidade open-source: treinar um modelo desse porte exige acesso a milhares de chips de última geração e a um orçamento elevado de infraestrutura. Isso tende a concentrar o desenvolvimento de modelos base de topo nas mãos de poucas empresas com capacidade financeira e acesso privilegiado a fornecedores como a Nvidia.

A decisão da Microsoft de licenciar os pesos do MAI-Base-2 apenas para “parceiros confiáveis” via Azure reforça essa tendência de centralização. Ao controlar quem pode usar diretamente o núcleo do modelo, a empresa cria novas oportunidades comerciais em torno da nuvem, ao mesmo tempo em que limita a reprodução ampla do sistema fora de seu ecossistema.

Os próximos passos anunciados passam pela criação de uma linha de LLMs completos derivados do MAI-Base-2, com foco em raciocínio avançado e reforço de salvaguardas de segurança. A expectativa no setor é que esses modelos detalhados sejam apresentados em breve, aprofundando a disputa de Microsoft com rivais na corrida por liderança em inteligência artificial de ponta.

Fonte: matéria original