MonsterHouse: IA da NVIDIA dá voz rabugenta a garagem

Tecnologia

Funcionário da NVIDIA cria personagem de Halloween com IA que anima e dá voz a uma porta de garagem em tempo real.

Leia também: Google lança Gemini Carbon 4 focado em defesa cibernética

Um funcionário da NVIDIA transformou a porta da garagem de casa em um personagem falante para o Halloween: o MonsterHouse, uma “casa” rabugenta com voz de pirata, capaz de ouvir, conversar e responder em tempo real às crianças que chegam pedindo doces.

Garagem vira boca flamejante e personagem de Halloween

Na frente da casa, a porta da garagem ganha uma boca gigante, de madeira antiga e rachada, iluminada por chamas virtuais. Quando alguém se aproxima e fala, a estrutura responde com reclamações, piadas e histórias de pirata, tudo guiado por inteligência artificial e animação 3D.

O criador imaginou o personagem como uma construção feita com tábuas de um navio pirata afundado, mal-humorado e pouco feliz por ter virado imóvel. “O MonsterHouse é uma casa rabugenta com histórias de pirata, um sorriso flamejante e uma fraqueza suspeita por ‘por favor’”, resume o desenvolvedor.

A interação segue um roteiro pensado para ser divertida: a casa começa ríspida, manda os visitantes “irem incomodar os vizinhos”, mas vai se rendendo quando ouve palavras como “por favor” e “obrigado”. Uma vez conquistado, o personagem mantém o bom humor com aquele grupo, evitando discussões infinitas com a mesma porta de garagem.

Entenda o contexto

O projeto foi criado para a temporada atual de Halloween, na casa do próprio funcionário da NVIDIA, que quis oferecer às crianças da vizinhança uma experiência diferente do tradicional “doces ou travessuras”. A montagem também funciona como vitrine prática para as tecnologias de voz, visão e linguagem da empresa.

Além de entreter famílias no bairro, o MonsterHouse serve como laboratório real para testar modelos de IA conversacional rodando localmente, sem depender da nuvem, com memória e computação limitadas. Tudo acontece em uma única estação de trabalho, em tempo real, do reconhecimento de fala à animação facial.

Como o MonsterHouse funciona por dentro

No coração do sistema está o Nemotron Voice Agent, da NVIDIA, que orquestra toda a conversa: escuta o que as pessoas dizem, interpreta o conteúdo, gera a resposta e entrega o áudio pronto para a projeção na garagem.

Para ouvir, o projeto usa o Nemotron ASR, responsável por transformar fala em texto. Para pensar e responder, o criador adotou o modelo Nemotron 3.5 Bolt E4B, um pequeno modelo de linguagem afinado para agentes locais, na versão 4-bit quantizada, que ocupa 4GB de memória. “Eu usei o modelo Bolt E4B 4-bit quantizado como o modelo padrão de resposta, com o checkpoint BF16 disponível para comparação”, explica.

Antes de chegar ao Bolt, ele testou mais de uma dúzia de modelos, incluindo opções maiores como Qwen3 30B-A3B e Qwen 3.6 35B-A3B, mas decidiu pelo E4B pela combinação de desempenho, velocidade e footprint mais enxuto, essencial para manter todo o pipeline rodando off-grid, em hardware doméstico.

Do lado da voz, entra o Magpie TTS Zeroshot, que transforma o texto em fala na hora, usando amostras curtas gravadas pelo próprio criador em “modo pirata rabugento” para condicionar o timbre. O personagem tem sete estados emocionais diferentes, de mais sombrio a mais divertido, escolhidos a cada linha de diálogo pelas instruções do prompt e pelo próprio modelo de linguagem.

Na etapa visual, o Audio2Face-3D recebe o áudio “limpo” e move em tempo real a boca 3D esculpida para a garagem, sincronizando voz e expressão. A malha do personagem foi modelada no Autodesk Maya e levada para a Unreal Engine, que adiciona o fogo, o brilho e os efeitos de luz que saem de dentro da porta.

Personagem treinado com 5000 conversas

Para que o MonsterHouse não fosse apenas “um robô rabugento” genérico, o desenvolvedor investiu pesado na personalidade e no fluxo da conversa. “O personagem precisa mais do que um prompt que diga ‘seja rabugento’. Ele precisa seguir um fluxo mestre de conversa, responder ao que os visitantes dizem, rastrear o estado do encontro e deixar computação suficiente para o restante do pipeline”, explica.

Ele criou um conjunto de dados com mais de 5000 conversas multi-turno, cuidadosamente revisadas, usadas para treinar adaptadores LoRA específicos para cada modelo avaliado. “Criei um conjunto de dados com mais de 5000 conversas multi-turno para treinar adaptadores LoRA para cada modelo que considerei uma opção”, conta.

Esses adaptadores moldam o Nemotron 3.5 Bolt E4B à personalidade específica do MonsterHouse: resmungão, irônico, com referências náuticas e uma lógica própria de quando ceder e quando continuar reclamando. O fluxo mestre garante que a casa não demore demais para responder — o que faria o “monstro” perder impacto — e que as falas tenham começo, meio e fim claros, do primeiro contato até o adeus com doces.

Para reduzir latência, o pipeline libera o início da resposta de texto antes que a frase inteira esteja pronta, permitindo que a casa comece a falar enquanto o restante da sentença ainda é gerado. Frases mais comuns, como cumprimentos e piadas sobre doces, ficam salvas em um banco de textos e áudios prontos, economizando processamento.

Modelagem 3D, fogo virtual e controle fino

A boca da garagem foi um dos trabalhos mais intensos do projeto. No Autodesk Maya, o criador construiu um modelo de porta de madeira com tábuas que se partem em “lábios” irregulares, capazes de expressar tédio, irritação e até um certo encantamento quando alguém é educado.

Depois, o personagem foi exportado para a Unreal Engine, onde recebeu fogo, fumaça e brilho vindos de trás da porta — um efeito que dá a impressão de que o interior da garagem é uma fornalha viva. O Audio2Face-3D anima as formas faciais geradas no Maya, mantendo a sincronização de boca e fala com um ajuste de latência fino de cerca de 100ms para compensar o buffer de processamento.

Para dar conta de tudo sem engasgos, o criador dividiu as tarefas entre duas GPUs: uma cuida do pipeline de linguagem e voz; a outra, da Unreal Engine com o Audio2Face-3D e a renderização dos efeitos. A prioridade é manter a taxa de quadros da animação constante, independentemente da complexidade da resposta de IA em segundo plano.

Nos bastidores, uma interface de controle permite acompanhar conversas em tempo real, escolher o humor inicial da casa, mudar o tratamento de voz, acionar falas prontas por meio de um soundboard e até falar diretamente pelo personagem, em um “modo possessão” que ignora reconhecimento de voz e geração de texto, usando apenas a boca 3D como fantoche digital.

Por que o MonsterHouse chama atenção no mundo da IA

O MonsterHouse mostra, em escala doméstica, como tecnologias de IA avançada podem sair do laboratório e ganhar forma em experiências lúdicas e imersivas. Em vez de um chatbot na tela, o visitante encara um agente físico, encarnado em uma porta de garagem que reage com humor, memória de curto prazo e expressão visual convincente.

Para a NVIDIA, o projeto funciona como demonstração concreta do ecossistema baseado em Nemotron Voice Agent, modelos como o Nemotron 3.5 Bolt E4B e componentes voltados a desenvolvedores em plataformas como o Nemotron HF e o Nemotron-3-Nano no Hugging Face, destinados a agentes de voz, personagens interativos e aplicações conversacionais rodando localmente.

A integração entre reconhecimento de fala, processamento de linguagem natural, síntese de voz e animação em tempo real interessa a áreas como entretenimento, educação, varejo e automação residencial. O mesmo tipo de arquitetura pode, por exemplo, dar vida a personagens em parques temáticos, totens inteligentes em lojas, experiências educativas em museus ou assistentes domésticos com “rostos” e personalidades personalizáveis.

Como desdobramento, o desempenho do MonsterHouse durante o Halloween tende a alimentar melhorias em modelos conversacionais, em ferramentas de animação facial e em pipelines otimizados para rodar off-grid. A criação também deve inspirar outros entusiastas de tecnologia a explorar aplicações criativas de IA para datas sazonais e eventos públicos, com novos debates sobre até onde agentes artificiais podem — e devem — se misturar às interações cotidianas.