AWS libera particionamento de GPU no SageMaker e reduz custos 7x

Tecnologia

Amazon SageMaker agora utiliza NVIDIA MIG para otimizar uso de GPUs, aumentando eficiência e diminuindo gastos.

Leia também: Aviator lança sistema que redefine revisão de código

O Amazon SageMaker Inference, serviço de inferência de modelos de IA da AWS, passa a oferecer suporte a particionamento de GPU com a tecnologia NVIDIA Multi-Instance GPU (MIG), permitindo dividir uma placa física em até sete instâncias isoladas para hospedar múltiplos modelos no mesmo endpoint, com promessa de redução de custos e melhor aproveitamento de hardware.

Como funciona o particionamento de GPU no SageMaker

Até agora, quem implantava modelos em GPU no SageMaker precisava reservar sempre uma placa inteira para cada modelo. Em uma instância ml.p4d.24xlarge, por exemplo, com oito GPUs A100, isso significava no máximo oito modelos por instância, mesmo que cada um usasse bem menos memória e capacidade de computação do que o disponível em uma GPU completa.

Com o novo suporte à tecnologia NVIDIA MIG, cada GPU física pode ser cortada em até sete partições independentes, cada uma com fatia fixa de capacidade de processamento e um bloco próprio de memória de vídeo, com isolamento garantido em hardware. Na prática, isso permite colocar um modelo diferente em cada partição e aumentar a densidade de modelos por instância, indo além do número de GPUs físicas.

O particionamento é configurado sobre o recurso de componentes de inferência, usado para implantar vários modelos em um mesmo endpoint e definir o quanto de CPU e memória cada um recebe. Agora, além desses recursos, cada componente pode pedir também um tipo de partição de GPU. Endpoints de modelo único, serverless e pools heterogêneos seguem sem suporte a essa divisão.

O layout de partições é escolhido na criação do endpoint. O SageMaker reparte cada GPU de forma uniforme, aplica o mesmo desenho a todos os aceleradores daquela instância e passa a gerenciar sozinho a configuração, a alocação e o escalonamento das partições. Modelos que exigem mais de uma GPU continuam precisando de dispositivos inteiros, sem possibilidade de fatiar várias placas em um único modelo.

Entenda o contexto

Sem MIG gerenciado, empresas com mais modelos do que GPUs tinham três caminhos, todos com limitações. Aumentar o batch e rodar menos endpoints ajudava apenas quando os modelos eram intercambiáveis. Endpoints multi-modelo permitiam compartilhar GPU, mas sem isolamento: uma requisição pesada de um modelo afetava os demais, e havia atraso na primeira carga de modelos inativos. A alternativa mais avançada era montar e operar um cluster próprio de Kubernetes para ativar o MIG, assumindo a complexidade de drivers, plugins, agendamento e consistência de configuração em toda a frota.

Ao trazer o particionamento nativamente para o SageMaker Inference, a AWS elimina essa barreira de entrada. As aplicações continuam chamando o endpoint como antes; o nivelamento entre partições e a distribuição dos modelos ficam escondidos na camada gerenciada. Segundo testes internos da plataforma, o processo de “esculpir” as GPUs em partições acrescenta apenas alguns segundos ao tempo de provisionamento do endpoint.

Salesforce aposta em corte de custo e escala de IA

A Salesforce participou desde o início da definição de requisitos e da validação da funcionalidade, tratando o suporte a MIG como peça-chave para escalar suas cargas de inferência de IA. Para a companhia, boa parte dos modelos não precisa de uma GPU inteira, o que tornava inevitável o desperdício de capacidade ou a necessidade de uma arquitetura mais complexa.

“NVIDIA MIG partitions a single GPU into multiple isolated instances, each with dedicated compute and memory resources. Salesforce sees this as an important capability because many inference workloads do not require an entire GPU. MIG would allow us to consolidate workloads safely, significantly improve GPU utilization, reduce inference costs, and maintain predictable performance and strong isolation. This capability would help us scale AI Inference more efficiently across different use cases,” afirma Richard Chang, Software Engineering Architect da Salesforce.

O executivo acrescenta que a empresa ajudou a definir requisitos, validou a solução inicial e agora se prepara para testá-la com cargas representativas de produção, com o objetivo de demonstrar demanda forte de clientes junto à AWS. “We believe MIG support would deliver meaningful technical and business value for enterprise customers”, diz Chang.

Impacto para empresas e limites da novidade

Para grandes usuários de GPU em nuvem, como empresas de tecnologia, bancos e varejistas digitais, o ganho direto está na possibilidade de consolidar mais modelos em menos instâncias — por exemplo, dividindo cada A100 em várias partições menores e ajustando o tamanho conforme a necessidade de cada modelo. Isso reduz o número de GPUs ociosas, ajuda a escolher frações de aceleradores mais novos em vez de placas inteiras menos eficientes e melhora o isolamento entre cargas críticas.

Nem todos os cenários, porém, se beneficiam de imediato. Equipes que usam endpoints de modelo único, arquiteturas serverless de inferência ou pools heterogêneos continuam sem acesso ao particionamento. Modelos muito pesados, que demandam múltiplas GPUs, seguem presos ao modelo tradicional de reservar placas inteiras, o que mantém parte das limitações anteriores para workloads extremos.

O passo agora é levar o recurso a ambientes de produção em escala e medir, na prática, os ganhos em desempenho e economia. A expectativa no setor é que a adoção ampla dessa abordagem pressione outros provedores de nuvem a oferecerem alternativas semelhantes, ajudando a baratear e tornar mais previsíveis os custos de inferência de IA — sobretudo para empresas que precisam servir muitos modelos diferentes, mas não gigantes, ao mesmo tempo.