Kyutai lança REKI com memória para robôs 50% mais estáveis
Kyutai, Inria e École des Ponts lançam o REKI, modelo de visão, linguagem e ação com memória interna barata que reduz oscilações de braços robóticos e melhora tarefas fora da distribuição.
Tecnologia Robótica
Novo modelo REKI aprimora a estabilidade e desempenho de robôs com memória interna acessível.
Leia também: Semaglutida reduz 9% envelhecimento em HIV após 32 semanas
Kyutai, em parceria com Inria e École des Ponts, acaba de lançar o REKI, um modelo de visão, linguagem e ação com 2,4 bilhões de parâmetros voltado à manipulação robótica, já disponível com pesos abertos no Hugging Face e capaz de reduzir de forma expressiva falhas como oscilações de braço em testes fora da distribuição.
Memória interna corta oscilações e custo computacional
O REKI foi desenhado para atacar uma limitação central dos modelos VLA tradicionais: eles tomam decisões olhando apenas para o quadro atual da câmera, o que provoca confusões de percepção e movimentos instáveis. Em vez de empilhar vários quadros passados ou acoplar módulos extras de memória, a equipe inseriu uma memória compacta diretamente no especialista de ação.
Essa memória é formada por 32 tokens de registro aprendidos, que fazem cross-attention com o prompt de texto e as imagens do quadro atual e, ao mesmo tempo, self-attention com os registros dos quadros anteriores. Com isso, o robô leva em conta o que acabou de acontecer sem precisar recodificar uma longa sequência de imagens, o que mantém o custo computacional baixo.
Segundo os pesquisadores, o efeito prático é direto em um dos problemas mais frequentes da manipulação robótica: braços que ficam indo e voltando entre duas poses por não “entenderem” bem a cena. “Memory also fixes a failure mode. Without it, arms often oscillate between 2 poses. On RoboTwin, oscillating episodes fall from 18,6% to 4,1% with memory. Kyutai attributes this to perceptual aliasing”, registra a equipe do projeto.
Entenda o contexto
Modelos de visão-linguagem-ação (VLA) mapeiam imagens de câmera e instruções em linguagem natural para comandos de controle de robôs. Eles são peça-chave para levar robôs de laboratório para ambientes reais, mais dinâmicos e imprevisíveis. Mas, na prática, muitos desses modelos ainda falham quando saem do cenário de treinamento, especialmente em tarefas com objetos desorganizados ou condições visuais diferentes.
O REKI tenta resolver esse gargalo com uma arquitetura que combina um backbone Qwen3.5-2B com um especialista em ação de 200 milhões de parâmetros. Esse especialista gera blocos de ação via flow matching em 10 passos de Euler, integrando o estado do robô por meio de um RMSNorm adaptativo e pequenos MLPs específicos para cada layout de estado. A ideia é acoplar percepção, comando e memória em um único fluxo eficiente.
Ganho expressivo em benchmarks fora da distribuição
Treinado apenas com dados públicos, o REKI foi pré-treinado uma única vez em uma mistura de 1,0 bilhão de frames e 12,2 milhões de amostras visão-linguagem. A base inclui 639,8 milhões de frames de teleoperação real de robôs, 193,9 milhões de frames de simulação e 170,9 milhões de vídeos humanos em primeira pessoa, com exemplos vindos de coleções como DROID, BridgeData V2, AgiBot World, EgoDex e EgoVerse.
Esse pré-treinamento rodou por 200 mil passos em 32 GPUs H100, antes de o modelo ser ajustado (fine-tuned) separadamente para diferentes benchmarks. Nos testes fora da distribuição, o pacote de pré-treinamento e memória se traduz em saltos significativos de desempenho: foram 13,8 pontos a mais no cenário Clean2Rand e 30,3 pontos em ambientes com desordem em relação a versões sem esse preparo.
A própria memória interna adiciona ganhos mensuráveis: 1,5 ponto no benchmark LIBERO-Plus e 5,4 pontos no RoboCasa365, além da queda das oscilações de 18,6% para 4,1% no RoboTwin. Em três benchmarks fora da distribuição, apenas modelos com cerca do dobro do tamanho superam o REKI, o que reforça a relação custo-benefício da abordagem.
Testes em robôs reais, como o braço UR5
Além dos números de laboratório, a equipe já levou o REKI para robôs físicos. Em um braço UR5, o modelo foi ajustado com 3 mil passos de fine-tuning – cerca de uma hora de treinamento – usando 50 demonstrações por tarefa. A implantação usa o protocolo de inferência assíncrona gRPC LeRobot, o que facilita integrar o sistema em diferentes plataformas.
Para cada benchmark ou robô, o REKI recebe um fine-tuning dedicado a partir da mesma base pré-treinada. Ao todo, o projeto disponibiliza seis checkpoints: o modelo base e versões ajustadas para LIBERO, duas variantes de RoboTwin, RoboCasa365 e RoboCasa-GR1. Essa estratégia permite adaptar o mesmo núcleo de visão-linguagem-ação a cenários variados sem recomeçar o treinamento do zero.
Abertura do código e impacto na indústria
Todos os pesos do modelo, além do paper, página oficial e repositório no GitHub, já estão disponíveis publicamente na plataforma Hugging Face. O acesso aberto deve acelerar tanto a pesquisa acadêmica quanto testes industriais em setores como manufatura, logística, saúde e serviços automatizados, que dependem de manipulação robótica confiável.
Ao comentar o lançamento, Asif Razzaq, CEO da Marktechpost AI Media Inc., destaca que soluções como o REKI ajudam a aproximar inteligência artificial de aplicações concretas ao combinar desempenho técnico com abertura de código e documentação acessível. Para ele, esse tipo de projeto cria um ambiente em que empresas e laboratórios podem experimentar, adaptar e colaborar sem barreiras iniciais de custo.
A expectativa é que o desempenho do REKI em cenários complexos e desordenados pressione outros grupos de pesquisa e empresas a adotarem abordagens com memória integrada e eficiência computacional semelhante. Como o modelo está aberto para fine-tuning, a própria comunidade tende a contribuir com melhorias, novos dados e aplicações, ampliando o alcance da tecnologia em robôs que precisam operar fora do ambiente controlado do laboratório.
Fonte: matéria original
