Microduck treina em NVIDIA Isaac Lab e anda no robô real hoje

Robótica

Microduck aprimora sua locomoção com treinamento avançado em simuladores e execução direta em hardware real.

Leia também: IBM lança novos modelos Granite Speech para empresas

O robô bípedo open-source Microduck, criado pela Pollen Robotics em parceria com a Hugging Face, passa a caminhar com políticas de controle treinadas em simulação no NVIDIA Isaac Lab 3.0 e levadas diretamente para o hardware real em formato ONNX. O fluxo inclui desde o treino massivamente paralelo em GPU até o compartilhamento dos modelos em plataformas colaborativas e competições especializadas.

Treino acelerado em GPU com terreno plano e acidentado

No novo workflow, desenvolvedores e pesquisadores usam estações Linux equipadas com GPUs NVIDIA para treinar políticas de locomoção do Microduck em milhares de ambientes virtuais rodando em paralelo. “Isaac Lab accelerates Microduck locomotion training by running simulated environments in parallel on the GPU”, descreve o time responsável pelo projeto.

O framework já traz tarefas prontas para o robô, com modelo, cenas, observações, ações, recompensas e randomização de domínio configurados. Há presets para caminhada em terreno plano e para um cenário mais desafiador, com escadas, rampas, desníveis e folgas mecânicas nos servos. Nessa configuração mais pesada, o sistema chega a processar até 1,25 milhão de passos por segundo em 16 GPUs, combinando terreno irregular e backlash ativado.

A política de controle observa 61 valores — que incluem estados do robô e dados do ambiente — e devolve 14 comandos de posição para as articulações. A equipe reforça que a ordem das observações, a normalização e a escala das ações precisam ser mantidas do treino até a implantação, para garantir que o comportamento visto em simulação se repita no robô físico.

Entenda o contexto

O Microduck foi concebido como uma plataforma bípedo acessível e aberta, pensada para ensino, pesquisa e prototipagem rápida. Já o Isaac Lab 3.0 é um framework open-source voltado a aprendizado por reforço com robôs, permitindo simulações em grande escala na GPU. O simulador Newton entra para refinar a física dos atuadores, aproximando o comportamento dos servos reais, com modelos avançados de resposta, limites elétricos, atrito e atrasos.

A integração entre os três componentes mira um dos principais gargalos da robótica moderna: fazer com que políticas treinadas em simulação se comportem bem no mundo real, sem exigir meses de ajuste fino direto no robô e sem desgaste excessivo de hardware.

Como funciona o uso do Newton e da domain randomization

Na etapa de simulação, o fluxo usa o Newton com o solver MJWarp e modelos de atuador avançados para transformar alvos de posição em torques realistas de servo. O preset de backlash representa a folga mecânica típica de engrenagens e transmissões, em que a junta se move um pouco sem tracionar o mecanismo ao inverter o sentido.

Para que a política treinada seja robusta a variações entre unidades de Microduck e a efeitos de desgaste, o sistema aplica técnicas intensivas de domain randomization. Em cada robô virtual, parâmetros como massa, posição do centro de massa, atrito do solo, inércia das juntas, offset dos encoders, voltagem da bateria e latência de comando são sorteados dentro de faixas realistas. O terreno também varia, com empurrões aplicados ao robô e diferenças de backlash por junta para simular uso desigual.

“A walking policy trained in simulation must also handle the friction, delays, and mechanical play of real robot servos”, resume a equipe, ao explicar por que a modelagem fina dos atuadores e a variação massiva de cenários são decisivas para que o Microduck ande de forma confiável fora do ambiente virtual.

Da simulação ao hardware com ONNX

Depois de treinada e avaliada no Isaac Lab, a política de locomoção é exportada automaticamente pelo fluxo de playback do RSL-RL, gerando dois arquivos: um TorchScript (policy.pt) e um modelo em ONNX (policy.onnx). É esse último que faz a ponte com o robô físico.

“Microduck’s onboard runtime loads ONNX policies. Use policy.onnx for the hardware handoff”, explica a documentação do projeto. O runtime embarcado do Microduck é compatível com o formato padrão e espera exatamente 61 valores de observação e 14 ações, respeitando a mesma normalização e escala usadas no treino.

Na prática, o processo para quem já tem um Microduck configurado inclui instalar as dependências em Linux com GPU suportada, clonar o repositório do Isaac Lab, habilitar as tarefas específicas do robô, escolher o preset (plano ou terreno acidentado), rodar o treinamento e, em seguida, usar o fluxo de exportação. O arquivo policy.onnx é então carregado no robô, que pode ser controlado por interfaces como um gamepad pareado.

Os desenvolvedores relatam que a política treinada em terreno acidentado é a utilizada por padrão na implantação, mas destacam a flexibilidade: “We used the rough terrain for deployment but alternatively you can train the flat terrain environment”.

Compartilhamento, competição e impacto para a comunidade

Com o modelo em ONNX pronto, a política pode ser compartilhada na Hugging Face Hub, com um cartão de modelo explicando como usar e reproduzir os resultados. Também é possível enviar a política para a Microduck Arena, um ambiente online que aceita modelos com 61 observações, 14 ações e até 64 MiB de tamanho, permitindo comparar desempenho em desafios padronizados.

A proposta é estimular uma comunidade ativa em torno do robô, em que times acadêmicos, laboratórios de inovação e startups de robótica possam publicar, testar e evoluir políticas de locomoção de forma aberta. Em paralelo, a mesma infraestrutura do Isaac Lab 3.0 usada com o Microduck já aponta para tarefas mais avançadas, como locomoção em terrenos progressivamente mais difíceis, navegação com visão por câmera e manipulação com braços robóticos.

Para o ecossistema de robótica, a combinação de hardware open-source, simulação em larga escala e implantação direta no robô via ONNX tende a reduzir custos de experimentação, acelerar pesquisas em aprendizado por reforço e pressionar fabricantes de soluções fechadas a reverem estratégias. O próprio time envolvido no projeto indica que o fluxo atual ainda exige refinamentos para diminuir ainda mais o descompasso entre simulação e mundo real, mas a metodologia já se consolida como referência para quem busca colocar robôs bípedes em aplicações práticas, da pesquisa à educação.

Fonte: matéria original