NVIDIA libera 4 novos modelos Cosmos 3 para simulação

Simulação Virtual

NVIDIA apresenta novos checkpoints para aprimorar a criação de mundos virtuais e cenários multi-sensor interativos.

Leia também: EUA alertam para ataques hacker a sistemas de refrigeração

A NVIDIA lançou quatro novos checkpoints abertos da família Cosmos 3 Nano, todos com 16 bilhões de parâmetros treináveis, para simulação interativa de mundos virtuais e cenas de direção multi-sensor, ampliando a base disponível para pesquisadores e desenvolvedores em robótica e direção autônoma.

Os novos modelos, com pesos abertos sob a licença OpenMDW1.1, estão disponíveis para download imediato na plataforma Cosmos e foram projetados para gerar vídeos sincronizados de múltiplas câmeras e LiDAR, controlar cenários e sinais de trânsito e operar em regime de streaming para simulações longas e interativas.

O que é o NVIDIA Cosmos 3 e como ele funciona?

O Cosmos 3 é uma plataforma de world model da NVIDIA voltada a simulação de mundos virtuais que reagem em tempo real às ações de um agente, seja um robô, um veículo autônomo ou um sistema de controle em teste. Em vez de só reproduzir dados gravados, os modelos geram, quadro a quadro, o que os sensores “veriam” em um ambiente virtual.

Na prática, o Cosmos 3 usa uma arquitetura de Mixture-of-Transformers que conecta redes especializadas em texto e em geração visual. A cada pequeno segmento de tempo, o modelo combina o histórico já gerado, os comandos de controle (como direção, aceleração ou movimento de braços robóticos) e descrições de cena para produzir novos trechos de vídeo e nuvens de pontos de LiDAR.

Segundo a NVIDIA, “appearance and geometry must agree. Synchronized camera and LiDAR generation connects visual observations with 3D sensing”, ou seja, aparência e geometria precisam bater: a geração sincronizada de câmeras e LiDAR alinha o que se vê em 2D com a percepção tridimensional do ambiente.

Quais são as principais novidades do NVIDIA Cosmos 3 para simulação interativa?

As novidades concentram-se em quatro checkpoints pós-treinados de Cosmos 3 Nano, todos com 16 bilhões de parâmetros, pensados para cenários de direção autônoma e robótica:

O Cosmos3-Nano-Transfer-Auto é um modelo bidirecional voltado à geração offline de dados sintéticos de direção. Ele cria vídeos sincronizados de até 11 câmeras simultâneas, incluindo lentes olho de peixe, e gera de forma conjunta imagens RGB e LiDAR. Pesquisadores podem controlar mapas de cenário, tráfego e estados de sinais, além de variar as condições ambientais para ampliar o leque de situações usadas em treinamento e avaliação.

Esse checkpoint serve de base para adaptação a diferentes configurações de sensores e domínios de direção. Ao pós-treinar o modelo com dados locais, equipes conseguem acomodar layouts específicos de câmeras, tipos de LiDAR e características das vias e cidades em que atuam.

Já o Cosmos3-Nano-Sim-Auto é a versão destilada para streaming causal do Transfer-Auto. Ele gera pequenos blocos sucessivos de vídeo e LiDAR em poucos passos de denoising, usando o próprio histórico gerado e controles de direção atualizados, o que permite simulações longas e interativas, em que cada observação influencia a próxima ação do agente.

Para outras áreas além da direção, o Cosmos3-Nano-Sim-Transfer conecta simuladores físicos a imagens geradas: a simulação calcula o estado físico (posição de objetos, contatos, colisões), e o modelo transforma esses estados em observações visuais que uma política de IA consegue consumir. A cadeia de interação segue o ciclo ação → atualização do simulador → controles espaciais → geração de RGB → próxima ação da política.

No campo da robótica, o Cosmos3-Nano-Sim-Bimanual é focado em robôs com dois braços, suportando tanto políticas automatizadas quanto controle por joysticks humanos. Um único comando pode alternar entre mudança de ponto de vista e manipulação de objetos, em um esquema complexo de 59 valores de controle, que incluem calibração dos grippers, referências de coordenadas e limites de movimento.

Entenda o contexto

World models, ou modelos de mundo, são uma das apostas mais fortes da comunidade de inteligência artificial para aproximar treinamento de máquinas da experiência em ambientes reais. Em vez de depender de cenários pré-programados ou de bases estáticas de dados, esses modelos tentam prever como o ambiente se altera a cada ação, permitindo que algoritmos de controle aprendam por interação simulada.

No caso da direção autônoma, isso significa poder testar políticas de condução em milhares de variações de cruzamentos, pistas, climas e densidades de tráfego, sem colocar um carro de verdade na rua. Para robótica, abre-se a possibilidade de treinar braços e manipuladores em tarefas complexas de montagem, organização de objetos ou assistência, com segurança e a custo reduzido.

A NVIDIA resume essa necessidade ao afirmar que “Robotics needs environments that can answer this across changing scenes and viewpoints”. Ou seja, a robótica precisa de ambientes que respondam de forma consistente mesmo quando a cena e o ponto de vista mudam.

Quais modelos estão disponíveis no NVIDIA Cosmos 3?

Os quatro novos checkpoints Cosmos 3 Nano abertos hoje são voltados a cenários específicos, mas compartilham a mesma fundação de 16 bilhões de parâmetros e o mesmo modelo de licença.

O Cosmos3-Nano-Transfer-Auto atende principalmente à geração de dados sintéticos para direção, bidirecional, com até 11 câmeras e suporte conjunto a RGB e LiDAR. Ele funciona como ponto de partida para adaptar o sistema a qualquer “rig” de sensores automotivos, via pós-treinamento com dados próprios.

O Cosmos3-Nano-Sim-Auto é o derivado causal e otimizado para streaming, pensado para simulações longas em que um agente interage em loop fechado com o ambiente. Já o Cosmos3-Nano-Sim-Transfer conecta um simulador físico aos frames de imagem gerados, convertendo estados físicos em observações visuais consistentes.

Por fim, o Cosmos3-Nano-Sim-Bimanual é voltado a robótica bimanual, permitindo simular como o ambiente responde a movimentos coordenados de dois braços robóticos, com controle de múltiplos graus de liberdade e calibração fina.

Como o NVIDIA Cosmos 3 pode ser usado para simulação de mundos virtuais?

Os modelos Cosmos 3 Nano foram desenhados para servir de base aberta na criação de mundos virtuais mais ricos e responsivos. Isso vale tanto para direção autônoma quanto para robótica, jogos, treinamento industrial e pesquisa acadêmica.

Na direção, o uso típico é adaptar o Cosmos3-Nano-Transfer-Auto aos próprios sensores, gerar grandes volumes de dados sintéticos para treinar e validar políticas, e depois destilar o modelo para Cosmos3-Nano-Sim-Auto, capaz de rodar simulações interativas de longa duração. O pesquisador controla cenários, mapas, estados de semáforos e condições de iluminação, avaliando como a IA responde a diferentes situações de risco.

Em ambientes gerais de física, o Cosmos3-Nano-Sim-Transfer recebe controles espaciais de um simulador que calcula movimentos e colisões. A partir desses estados, o modelo gera imagens com profundidade, segmentação e aparência urbana ou industrial guiada por texto, enquanto o núcleo físico — forças, fricção, gravidade — permanece no simulador.

Na robótica bimanual, o Cosmos3-Nano-Sim-Bimanual parte de uma imagem inicial e, a cada comando, prevê o próximo estado visual, permitindo que tanto um humano ao controle quanto uma política de IA testem movimentos complexos com continuidade temporal. De acordo com a NVIDIA, esse tipo de ambiente exige um esquema preciso de controle, em que “mixed-action” usa 59 valores de comando, posteriormente acolchoados a 64 durante o treinamento.

Qual a importância do NVIDIA Cosmos 3 para o desenvolvimento de inteligência artificial?

A liberação de quatro checkpoints abertos de grande porte, com 16 bilhões de parâmetros cada, reforça a aposta da NVIDIA em um ecossistema colaborativo em torno de world models. Para quem desenvolve IA, a principal consequência é ter uma base compartilhada, robusta e adaptável para simulações de alta complexidade, algo que antes costumava ficar restrito a soluções proprietárias.

A própria empresa destaca que “open weights and post-training recipes provide a shared starting point for adapting models, comparing methods, and contributing improvements”. Pesos abertos e receitas de pós-treinamento dão um ponto de partida comum para que diferentes grupos comparem abordagens e alimentem melhorias de volta ao ecossistema.

Ao mesmo tempo, a NVIDIA reconhece que ainda há desafios importantes: “The work ahead is to measure where the models faithfully support policy learning and evaluation, understand their limits, and improve where they fall short”. O próximo passo é medir em quais situações os modelos de fato sustentam o aprendizado e a avaliação de políticas, identificar limites e trabalhar onde eles falham.

Na prática, isso significa que universidades, laboratórios corporativos e startups podem acelerar ciclos de desenvolvimento de algoritmos de controle, testando rapidamente em mundos virtuais que simulam cidades, fábricas, armazéns ou ambientes domésticos, com custo menor e mais segurança.

Como acessar e utilizar os modelos do NVIDIA Cosmos 3 na HuggingFace?

Os quatro checkpoints Cosmos 3 Nano estão publicados com pesos abertos na infraestrutura de distribuição da NVIDIA em parceria com plataformas de modelo, incluindo a HuggingFace. O processo típico envolve baixar os pesos, rodar um servidor compatível e interagir por meio de scripts ou notebooks de exemplo.

A NVIDIA indica requisitos básicos: sistema Linux, GPU da própria marca, Docker e NVIDIA Container Toolkit. Em configuração de referência, o setup com vLLM-Omni foi testado em uma única GPU GB200, embora isso não represente a exigência mínima de memória.

Para uso prático, o fluxo sugerido é apontar o agente de código para o respectivo “skill” aberto (por exemplo, Cosmos3-Nano-Transfer-Auto ou Cosmos3-Nano-Sim-Bimanual) e informar o caminho do conjunto de dados, seguindo checagens de ambiente e testes curtos antes de executar treinamentos longos. A partir daí, pesquisadores podem realizar inferência, pós-treinamento, adaptação a novos sensores e domínios e, por fim, integrar os modelos em pipelines de simulação interativa usados em veículos autônomos ou robôs industriais.