NVIDIA lança Cosmos3-H-Dreams para simulação cirúrgica em tempo real

Tecnologia Médica

NVIDIA revela simulador avançado para treinamento em cirurgias robóticas com alta precisão e interatividade.

Leia também: Eric Schmidt pode ganhar US$ 20 bi com 1% da Anthropic avaliada

A NVIDIA apresentou hoje o Cosmos3-H-Dreams, um Cosmos-H-Surgical-Simulator generativo interativo focado em cirurgias clínicas como colecistectomias robóticas, capaz de gerar em tempo real imagens internas realistas do corpo humano que respondem imediatamente aos comandos do robô cirúrgico.

Simulador usa dados reais e roda em uma única GPU

O Cosmos3-H-Dreams foi treinado com vídeos de cirurgias reais sincronizados com dados de controle do robô da plataforma CMR Surgical Versius, especializada em cirurgia minimamente invasiva. Segundo a NVIDIA, “Cosmos3-H-Dreams é o primeiro simulador cirúrgico generativo em tempo real treinado em gravações clínicas de colecistectomia para suporte a controle cinemático ao vivo”.

O sistema se apoia no modelo Cosmos3-H-Embodied-Nano, com 16 bilhões de parâmetros, e aprende diretamente a dinâmica visual da cirurgia a partir de vídeos e dados cinemáticos, em vez de depender de simulações numéricas que modelam cada tecido e interação física. Com isso, consegue simular deformações de órgãos, oclusões de instrumentos e efeitos visuais como fumaça quando o cirurgião movimenta o robô.

Todo o processamento roda de forma interativa em uma única GPU NVIDIA RTX PRO 6000, requisito que, por um lado, viabiliza uso em laboratórios avançados e centros de pesquisa, e por outro pode ser um obstáculo inicial para instituições com orçamento mais apertado.

Como funciona o Cosmos3-H-Dreams

O simulador recebe uma imagem inicial da cavidade abdominal e, a cada novo comando de controle do robô — movimentos, rotações e abertura ou fechamento das pinças — gera blocos de vídeo que atualizam a cena cirúrgica com baixa latência. “Manter a fidelidade e a responsividade em um loop de controle ao vivo requer geração com baixa latência”, afirma a NVIDIA.

O modelo trabalha com 28 dimensões de ação, cobrindo pose e informações de pinça para os dois braços robóticos, além de controles de energia e eixos e botões de joystick. “O modelo usa 28 dimensões de ação, incluindo pose e informações de pinça para ambos os braços, além de controles de energia e joystick”, detalha a empresa.

Os dados de treino são vídeos em resolução de 832 x 480 pixels, capturados a 10 Hz (10 quadros por segundo), alinhados com os comandos do robô. O sistema consegue fazer rollouts de até 72 frames — o equivalente a 7,2 segundos de simulação contínua — preservando a anatomia e a geometria dos instrumentos ao longo do tempo.

Para dar conta dessa consistência temporal em um ambiente tão dinâmico quanto o interior do corpo humano, a NVIDIA adotou uma arquitetura em duas etapas. Um modelo “professor” bidirecional é especializado em sequências longas das cirurgias, e depois seu conhecimento é destilado em um modelo “aluno” causal, voltado especificamente para geração sequencial em tempo real.

Esse aluno é liberado em dois checkpoints: um com quatro passos de denoising e outro com dois passos. Menos passos significam inferência mais rápida e menor custo computacional, com algum sacrifício de qualidade visual. A geração em tempo real é acelerada pela biblioteca FlashDreams da NVIDIA, que fornece inferência por streaming. “A aceleração da geração em tempo real é feita pela biblioteca FlashDreams da NVIDIA, permitindo inferência por streaming acelerada”, diz a empresa.

Impacto para treinamento e indústria de robótica

O Cosmos3-H-Dreams mira diretamente a formação de cirurgiões e equipes em procedimentos robóticos complexos, com destaque para a retirada da vesícula biliar (colecistectomia). Em vez de treinar apenas em simuladores numéricos ou manequins físicos, alunos podem praticar em um ambiente virtual que reage de forma crível a cada gesto, inclusive em trajetórias de movimento não vistas durante o treinamento do modelo.

Na prática, isso pode elevar o padrão de segurança e preparo antes de o profissional chegar à sala de cirurgia real, reduzindo riscos para pacientes. Instituições de ensino médico, hospitais com programas de cirurgia robótica e fabricantes de robôs cirúrgicos aparecem como os principais candidatos a testar a tecnologia em primeira mão.

Para a indústria de dispositivos médicos, o simulador abre espaço para testar novos robôs e interfaces de controle em cenários mais próximos da realidade, incluindo situações inesperadas, sem necessidade de montar laboratórios físicos complexos. Também favorece pesquisa em planejamento de movimentos, assistência por IA e avaliação de desempenho de cirurgiões em tarefas específicas.

Entenda o contexto

A NVIDIA já havia mostrado um primeiro Cosmos-H-Dreams voltado a tarefas de sutura em bancada, em ambiente controlado, como prova de conceito para simulação generativa em robótica cirúrgica. O novo Cosmos3-H-Dreams leva essa abordagem para cenas clínicas internas, bem mais complexas: pequenos deslocamentos dos instrumentos podem deformar tecidos, mudar reflexos de luz, ocultar estruturas e gerar fumaça, o que torna o controle da simulação muito mais desafiador.

Nessa nova fase, a empresa enfatiza que se trata de um simulador de pesquisa, não de um sistema validado para uso direto em pacientes. A ferramenta foi desenhada para ser adaptável: centros interessados podem treinar modelos próprios sobre seus dados, desde que tenham vídeos sincronizados com ações do robô e sigam as mesmas convenções de controle usadas no treinamento original.

Os próximos passos devem incluir a expansão do Cosmos3-H-Dreams para outros tipos de cirurgias, a otimização do modelo para rodar em hardware mais acessível e parcerias com universidades e hospitais para validar o impacto do simulador em currículos acadêmicos e programas de certificação em cirurgia robótica.

Fonte: matéria original