Nvidia lança Flora, motor barato para rotular vídeos de robôs

Tecnologia

Sistema open-source da Nvidia oferece rotulagem de vídeos de robôs com custo reduzido e alta eficiência.

Leia também: Letta ganha copilot de engenharia com memória persistente

A Nvidia apresentou o Flora, um motor de dados open-source para rotulagem automática de vídeos de robôs que promete derrubar o custo da anotação para cerca de US$ 0,72 por hora de vídeo, contra os aproximadamente US$ 88,50 cobrados por modelos como o GPT-6 Astra, da OpenAI, mantendo desempenho competitivo em precisão.

Flora combina três modelos para ler vídeos de robôs

Desenvolvido pelo laboratório de pesquisa GEAR da Nvidia, o Flora reúne três modelos Qwen3.5 ajustados especificamente para robótica. Um modelo de 9 bilhões de parâmetros segmenta o vídeo em ações ao longo do tempo; outro, de 27 bilhões, descreve essas ações levando em conta o que veio antes e depois; e um terceiro, também de 27 bilhões e batizado de Flora-Rewarder, avalia se o robô está indo bem na tarefa.

Esse último modelo assume três funções, dependendo do comando recebido: atribui uma nota de 1 a 5 para o sucesso da tarefa, classifica cada meio segundo de execução como normal, subótimo ou falha e ainda distribui pontuações conforme rubricas definidas pelos pesquisadores. Na prática, ele funciona como um “árbitro” que transforma o vídeo em sinais de recompensa, usados em aprendizado por reforço e monitoramento em tempo real.

A Nvidia afirma que os modelos Flora já estão rodando em larga escala no treinamento de sua família de robôs GR00T, em um cluster de 512 GPUs Nvidia GB300 capaz de anotar até 200 mil horas de vídeo por dia. Os modelos foram disponibilizados publicamente na plataforma Hugging Face.

Entenda o contexto

Robôs modernos precisam assistir a enormes quantidades de vídeo para aprender movimentos complexos, mas esses vídeos só viram dado útil quando recebem rótulos detalhados: que ação acontece em cada momento, quanto o robô progrediu em cada passo e se a tarefa foi concluída com sucesso. Ferramentas tradicionais costumam oferecer apenas um tipo de anotação, e o uso de grandes modelos de linguagem, como GPT-6 Astra, para cobrir tudo isso encarece o processo a ponto de travar muitos projetos.

Flora tenta preencher essa lacuna oferecendo, em um único pacote open-source, os três tipos de rótulos considerados essenciais pela Nvidia: segmentação temporal das ações, avaliação passo a passo para aprendizado por tentativa e erro e julgamento de sucesso da tarefa para monitoramento em produção. Ao fazer isso de forma automatizada e em grande escala, a empresa busca destravar novos volumes de dados para pesquisa em robótica e fortalecer, ao mesmo tempo, a demanda por seu próprio hardware.

Quanto custa rotular vídeo com Flora?

Rotular uma hora de vídeo robótico com Flora custa, pela conta da Nvidia, cerca de US$ 0,72, ante aproximadamente US$ 88,50 com o GPT-6 Astra e algo em torno de US$ 42 com o Claude Opus 5. “Labeling one hour of robot video for 72 cents instead of $88 is what Nvidia promises with Flora”, diz a empresa em seu material técnico.

Os valores são projeções baseadas em um preço de referência de US$ 10 por hora de GPU, mas dão a dimensão da diferença de ordem de grandeza em relação a serviços comerciais. Segundo a Nvidia, essa barreira de custo é um dos principais gargalos para ampliar bases de dados de robótica com a riqueza de detalhes exigida para treinar modelos avançados.

Desempenho frente a GPT-6 Astra, Claude e Gemini

Em um teste interno com 50 vídeos, “Flora scored slightly better than GPT-6 Astra according to Nvidia”, mesmo quando o modelo da OpenAI pôde usar toda sua capacidade de raciocínio, afirma a companhia. Claude Opus 5 teria tido desempenho significativamente inferior e ainda assim mantido custo por hora de vídeo muito mais alto.

Nos benchmarks públicos, o quadro é mais misto. Em um conjunto focado em detectar o início e o fim de ações em vídeos (WGO-Bench), o Flora aparece como o melhor na identificação de limites de ações, mas perde pontos em descrição geral, ficando atrás tanto do GPT-6 Astra quanto de concorrentes como o Gemini 3.8 Flash, do Google, quando a métrica é apenas a qualidade textual da legenda.

Em outro conjunto de testes da própria Nvidia, o DenseCaptionBench, o Flora lidera todas as métricas em vídeos com humanos, mas fica em segundo lugar, atrás do GPT-6 Astra, quando se trata de vídeos de robôs. A empresa reconhece um viés metodológico: em alguns casos, o próprio Astra é usado como avaliador das descrições, ao mesmo tempo em que é um dos modelos comparados.

Flora-Rewarder detecta mais falhas, com custo em falsos alertas

Na avaliação de recompensas e erros, voltada a aprendizado por reforço, o Flora mostra ganhos mais claros. Em um benchmark batizado de RoboRewardBench, a Nvidia afirma que a taxa de erro do sistema é “27,8% menor” do que a do GPT-6 Astra. O motivo principal estaria na forma como o Flora lida com tarefas parcialmente concluídas.

“When a robot only tips a bottle over instead of knocking it off the table, Flora assigns 3 out of 5 points to match the human reference, while Astra gives just one”, diz um exemplo divulgado pela empresa. A capacidade de graduar melhor o sucesso parcial aproximaria mais o modelo do julgamento humano.

Já o Flora-Rewarder, responsável por identificar passos falhos, “catches 53.3 percent of failed steps within an episode, while no competitor gets above 11.7 percent and Astra doesn’t catch a single one”, segundo a Nvidia. A contrapartida é que o sistema gera cerca de 11% de falsos positivos, isto é, classifica como erro passos que seriam considerados normais por um avaliador humano.

Em um vídeo com muitos movimentos rápidos de mãos, “Flora identifies 34 of 37 individual actions, while Astra catches only four”, de acordo com outro exemplo apresentado. Em contrapartida, há casos em que o Flora supersegmenta ações longas em muitos pequenos trechos ou erra a descrição: em uma gravação, a mão do robô limpa um prato com um pano, mas o sistema descreve a ação como se estivesse dobrando um guardanapo.

Impacto na indústria de dados para robótica

Ao posicionar o Flora como alternativa aberta de alto desempenho, a Nvidia coloca pressão sobre serviços comerciais de anotação automática, como o Physical AI Data Engine, da Scale AI, e soluções baseadas em grandes modelos de linguagem, entre eles o GPT-6 Astra da OpenAI e ofertas do Google voltadas a robótica, como o recém-anunciado Gemini 4 Argon.

Ferramentas desse tipo são a infraestrutura invisível por trás de robôs em fábricas, centros de distribuição e aplicações de assistência. Até aqui, o custo elevado por hora anotada limitava tanto o tamanho dos conjuntos de dados quanto a diversidade de rótulos possíveis, o que afeta diretamente a capacidade dos robôs de lidar com variações e erros no mundo real.

Com Flora, pesquisadores e desenvolvedores passam a ter um sistema open-source integrado ao ecossistema Nvidia, que pode ser plugado em pipelines de dados já existentes para automatizar preparação, rotulagem e pontuação de vídeos. Isso abre espaço para experimentos em larga escala com transferência de demonstrações humanas para robôs, melhorias em monitoramento de segurança e ajustes finos em políticas de controle.

Para a Nvidia, o projeto também é peça de uma estratégia mais ampla: oferecer um pacote completo para robótica que inclui chips, simulação, motores de dados e modelos de IA como a linha GR00T. Ao mostrar que consegue rotular 200 mil horas de vídeo por dia com 512 GPUs GB300, a empresa sinaliza ao mercado que tem fôlego para escalar tanto a infraestrutura quanto os dados necessários para treinar robôs mais autônomos.

No médio prazo, a aposta é que a redução drástica de custos e a melhoria na qualidade das anotações acelerem a adoção de robôs em setores como manufatura, logística e serviços, ao mesmo tempo em que redesenha o mercado de soluções comerciais de anotação automática, agora confrontadas com uma referência aberta e agressiva em preço e escala.