IBM lança llm-d 1.0 e corta custo de IA em até 10 vezes hoje

Inteligência Artificial

Novo framework da IBM permite executar grandes modelos de linguagem com menor custo e maior controle operacional.

Leia também: BSC AI Factory impulsiona startups com supercomputação em 2026

A IBM e parceiros de peso do ecossistema de nuvem e semicondutores anunciaram em San Jose a versão 1.0 do llm-d, framework distribuído de inferência de inteligência artificial criado para rodar grandes modelos de linguagem em infraestrutura própria, com controles operacionais para lidar com cargas concorrentes, manter serviços durante atualizações e reduzir de cinco a dez vezes o custo em relação a ofertas hospedadas equivalentes.

Framework mira controle de custos e independência

Anunciado durante a PyTorch Conference North America, o llm-d foi desenvolvido para Kubernetes e coordena o serviço de modelos em todo o parque computacional da empresa. O projeto é mantido principalmente por IBM, Red Hat e Google, com participação de CoreWeave, Nvidia, AMD, Cisco, Hugging Face, Intel e Mistral AI, e hoje está hospedado como projeto sandbox na Cloud Native Computing Foundation.

A proposta é dar às organizações mais controle sobre custos de inferência e sobre as escolhas de infraestrutura, reduzindo dependência de um único provedor de modelo, nuvem ou hardware. Em um cenário de explosão no uso de agentes de IA, que disparam grandes volumes de requisições, a IBM aposta que o llm-d torna viável trazer parte dessa operação para dentro de data centers próprios ou nuvens híbridas.

Ruchir Puri, cientista-chefe da IBM Research, afirma que a combinação de modelos de linguagem abertos com o llm-d já mostra ganhos expressivos em projetos internos. “At IBM Research, we are seeing that open large language models and llm-d can greatly lower the costs of inference in computationally demanding problems such as designing hardware for quantum error correction, helping achieve a 11.8X efficiency advantage”, disse.

Entenda o contexto

Empresas que adotaram assistentes de programação, copilotos internos e agentes de IA para automação de processos passaram a conviver com picos de tráfego, competição por recursos de GPU e contas crescentes de serviços na nuvem. Ao mesmo tempo, organizações de setores regulados ou com dados sensíveis pressionam por mais controle sobre onde e como a inferência acontece.

Nesse ambiente, frameworks de orquestração e roteamento de modelos ganham relevância. O llm-d atua justamente nessa camada, trabalhando com motores de inferência como vLLM e SGLang e adicionando um “cinturão” de capacidades operacionais ao redor dos servidores de modelos, do balanceamento de carga à priorização de requisições.

Como o llm-d 1.0 funciona na prática

A versão 1.0 do llm-d introduz suporte explícito a qualidade de serviço entre múltiplos inquilinos (multi-tenant), operações sem tempo de inatividade e padrões de serviço adaptados ao comportamento de agentes de IA. O sistema implementa controle de fluxo e mecanismos de prioridade para evitar que rajadas de atividade de alguns agentes derrubem serviços que exigem respostas rápidas, como assistentes de programação usados por desenvolvedores.

Carlos Costa, engenheiro distinto da IBM Research e cofundador do projeto, resume o salto de maturidade da nova versão. “The release adds the maturity to run it like any other critical service: a stable [application programming interface], multiple tenants with competing priorities sharing the same infrastructure and upgrades that don’t interrupt operations”, afirmou.

O llm-d é projetado para acompanhar o ciclo completo de um agente, que costuma emitir múltiplas requisições, pausar para usar ferramentas externas e voltar ao modelo várias vezes. O framework mantém o roteamento consistente para réplicas que já possuem partes relevantes do contexto em cache, ampliando a reutilização de informação já processada e evitando recomputações desnecessárias.

Segundo a IBM, em testes recentes de um cenário de agentes de codificação, o roteador do llm-d conseguiu capturar 97% da reutilização de cache disponível. O framework também movimenta dados em cache entre memória de GPU, memória de CPU e armazenamento, preservando o que pode ser reaproveitado quando a capacidade das GPUs fica pressionada.

Além do roteamento inteligente, a versão 1.0 integra técnicas que separam o processamento de prompts da geração de respostas, otimizam o empacotamento de requisições em lotes e distribuem modelos complexos, como arquiteturas mixture-of-experts, entre múltiplos aceleradores.

Testes mostram economia de 5 a 10 vezes

Em uma demonstração recente, IBM e Red Hat relataram ter executado 3.000 agentes de engenharia de software simultaneamente em infraestrutura própria usando o llm-d, a um custo entre cinco e dez vezes menor do que o de servir o mesmo modelo aberto por meio de um serviço hospedado equivalente.

Esse tipo de cenário, comum em times de desenvolvimento de grande porte, ilustra a lógica econômica em jogo. Agentes de engenharia e de automação tendem a realizar diversas rodadas de raciocínio, chamadas de ferramentas e revisões de código para uma única tarefa. Sem reaproveitamento de contexto, cada rodada reprocessa trechos idênticos de código, documentação e histórico de conversa, elevando o consumo computacional e a conta de inferência.

Para a IBM, ganhos como o fator de 11,8 vezes em eficiência observados em problemas computacionais complexos indicam que há espaço para reescrever a matemática de custo de projetos de IA corporativa, sobretudo em ambientes com muitos agentes trabalhando em paralelo.

Parcerias e próximos passos

O envolvimento de empresas como Google, CoreWeave, Nvidia, AMD, Cisco, Hugging Face, Intel e Mistral AI reforça o caráter multicloud e multiplataforma do llm-d, algo visto como estratégico para clientes que desejam evitar novo lock-in tecnológico. Hospedado na Cloud Native Computing Foundation como projeto sandbox, o framework tende a receber contribuições da comunidade de software livre voltada a Kubernetes e workloads nativos em nuvem.

Na visão da Red Hat, o llm-d conversa diretamente com a forma como grandes organizações já administram aplicações críticas em clusters Kubernetes. “It delivers high-performance, distributed inference with the reliability and scale enterprises need within an operational model they already know”, disse Stephen Watt, vice-presidente no escritório do CTO da empresa.

A expectativa é que, a partir do anúncio em San Jose, empresas de tecnologia, finanças, saúde e pesquisa científica iniciem pilotos para testar o framework em cenários de alto volume de requisições e exigência de baixa latência. A adoção gradual deve caminhar junto com o amadurecimento de agentes de IA mais sofisticados, integrados a fluxos de trabalho internos.

Para provedores tradicionais de serviços de inferência em nuvem, o movimento representa uma pressão competitiva adicional: à medida que clientes passam a ter uma alternativa aberta e orquestrada para rodar modelos em casa, a disputa tende a se concentrar em preço, especialização e serviços de valor agregado ao redor da infraestrutura de IA.

Fonte: matéria original