Neura lança IA que faz robôs sentir toque e som em 11 minutos

Robótica

Neura Robotics revela tecnologia inovadora que integra múltiplos sentidos para aumentar a autonomia dos robôs.

Leia também: Town fatura US$ 108 mi e vira unicórnio com IA em 4 meses

A alemã Neura Robotics apresentou nesta semana, na conferência GTC da Nvidia em Berlim, o Neuron AI, modelo de inteligência artificial que combina visão 3D, toque, força, áudio, estado do robô e linguagem para tornar robôs mais autônomos e precisos em tarefas físicas complexas. A empresa exibirá a tecnologia com o humanoide 4NE1, programado para executar uma sequência contínua de 11 minutos de manipulação de roupas.

Como a empresa de robótica está usando toque e som para melhorar os robôs?

A Neura está usando sensores de toque, força e som como entradas centrais do Neuron AI, em conjunto com visão 3D e linguagem, para que o robô confirme o que está acontecendo mesmo quando só a câmera não basta. Na prática, o modelo cruza o que o robô vê com o que ele sente e ouve para decidir o próximo movimento.

Segundo a própria companhia, há situações em que o olho da máquina engana. “When a robot opens a lock, only sound and touch confirm that it is really open”, afirma a Neura Robotics, ao explicar por que depender apenas de imagens não é suficiente em tarefas como abrir fechaduras ou operar mecanismos internos.

O Neuron AI é treinado com três tipos de dados: interações reais de robôs com o ambiente, simulações de tarefas e cenários virtuais, e demonstrações humanas feitas com trajes equipados com sensores, que registram movimentos e forças aplicadas. Todo esse material é coletado nos chamados Neura Gyms, centros próprios da empresa que funcionam como academias de treinamento para robôs.

Além de juntar vários sentidos, o modelo inclui uma função de memória. Isso permite que o robô continue levando em conta objetos e ações que saíram do campo de visão, mantendo o contexto de uma tarefa longa — como uma sequência de dobras e transferências de peças de roupa — sem “esquecer” o que já foi feito.

Por que toque e som podem dar vantagem aos robôs em relação à visão artificial?

Toque e som podem dar uma vantagem decisiva porque resolvem situações em que a visão falha ou é ambígua. Um robô pode “ver” uma porta fechada ou uma peça encaixada, mas apenas a resistência sentida na mão mecânica ou o clique ouvido ao travar um mecanismo garantem que a ação foi concluída corretamente.

É esse tipo de lacuna que a Neura tenta preencher ao ir além dos modelos tradicionais de visão-linguagem-ação, que se baseiam quase só no que a câmera captura. “Most physical AI stacks are focused on VLA models, which learn from ‘seeing’ — What Neura is betting on is that models that can be trained on different sensory inputs will perform better”, diz Rueben Scriven, gerente sênior de pesquisa da consultoria Interact Analysis.

Ao integrar os sensores que ela mesma fabrica com uma IA multimodal, a empresa busca um pacote em que hardware e software evoluem juntos. A aposta é que robôs capazes de “sentir” a textura de um cabo, a pressão certa sobre uma peça delicada ou o ruído de uma máquina desregulada consigam operar com mais segurança, precisão e autonomia em fábricas, armazéns e ambientes domésticos.

Entenda o contexto

A corrida por robôs mais inteligentes tem concentrado esforços em modelos que aprendem principalmente observando vídeos e imagens, associando comandos em linguagem natural ao que veem. Essa abordagem elevou o nível de coordenação motora e planejamento de movimentos, mas ainda esbarra no fato de que o mundo físico não é totalmente visível.

Portas emperram sem que a câmera note, líquidos vazam fora do campo de visão e superfícies aparentemente iguais exigem forças diferentes para serem manipuladas. Ao adicionar toque, força e som ao pacote, a Neura tenta aproximar a percepção dos robôs da experiência humana, em que a visão é só uma parte da leitura do ambiente.

Quais desafios a empresa enfrenta ao integrar toque e som nos robôs?

O principal desafio é reunir dados suficientes, variados e bem anotados para treinar um modelo que dependa de tantos tipos de sensores ao mesmo tempo. Se já há escassez de vídeos adequados para treinar IA física baseada apenas em imagens, o problema se agrava quando é preciso sincronizar visão 3D, sinais táteis, força aplicada, áudio e estado interno do robô.

“There’s already a limit on well-annotated video data, let alone multi-modal input data. Therefore, the real question is whether data collection across its robotic gyms will be enough to train the models”, avalia Rueben Scriven. A Neura aposta que seus Neura Gyms, com robôs operando tarefas reais e simuladas em larga escala, serão suficientes para contornar essa barreira.

Por enquanto, a empresa não divulgou números concretos sobre quanto os sensores extras melhoram o desempenho nem sobre o volume de dados necessário para atingir resultados confiáveis. Também não detalhou como pretende padronizar ou compartilhar parte desses dados com parceiros, ponto que pode influenciar a velocidade com que o restante do setor acompanha a virada para modelos sensoriais multimodais.

Os próximos passos devem incluir a expansão da infraestrutura dos Neura Gyms, novos ciclos de demonstração com tarefas mais variadas e possíveis acordos com fabricantes e operadores industriais interessados em testar o Neuron AI em cenários reais, da manufatura avançada à logística e a serviços de assistência pessoal com robôs humanoides.

Fonte: matéria original