Nvidia lança Nemotron 3.5 para transcrever e traduzir áudio

Inteligência Artificial

Nvidia revela modelo avançado que processa áudio em múltiplos idiomas com rapidez e precisão.

Leia também: Festival de fermentação em Portland vira palco de disputa alimentar

A Nvidia lançou nesta semana o Nemotron 3.5 Transcribe, um modelo aberto de inteligência artificial para transcrição e tradução de áudio que reúne em uma única etapa tarefas que antes exigiam várias ferramentas: detectar fala, transcrever, identificar e rotular até oito interlocutores, traduzir e ainda responder a perguntas sobre o conteúdo de até 100 horas de gravação, em 40 idiomas.

Modelo único integra transcrição, tradução e análise

Segundo a empresa, “Transcribe faz tudo isso em uma única passagem do modelo e é capaz de digerir e responder perguntas sobre 100 horas de áudio, em 40 idiomas e pode rotular até oito interlocutores”. A proposta é simplificar o fluxo tradicional de trabalho, hoje dividido entre sistemas diferentes para reconhecimento de fala, diarização (separação de falantes), tradução e análise.

Com 30 bilhões de parâmetros no formato mixture-of-experts e 4 bilhões de parâmetros ativos, o Nemotron 3.5 Transcribe busca equilibrar precisão e eficiência. O modelo é distribuído com pesos abertos, o que permite download, inspeção e adaptação por desenvolvedores e pesquisadores.

Na prática, o mesmo checkpoint pode gerar saídas distintas a partir de prompts específicos. A Nvidia destaca que “usuários podem instruir o modelo com prompts como ‘Transcreva a gravação e rotule cada interlocutor’ ou ‘Traduza este áudio para o inglês’ ou ‘Quais decisões foram tomadas nesta reunião?’”. Também é possível incluir jargões e termos técnicos antes da transcrição para aumentar a fidelidade em domínios especializados.

Desempenho e hardware: do edge ao data center

O Nemotron 3.5 Transcribe foi projetado para rodar em uma única GPU Nvidia, cobrindo desde dispositivos de borda até data centers. “O modelo roda em uma única GPU Nvidia, desde um Jetson AGX Thor, um cérebro robótico de computação de borda, até um Blackwell data-center GPU”, afirma a companhia.

Em cenários de alto desempenho, a empresa destaca o uso do Blackwell Server Edition com compressão e precisão NVFP4. Nesse ambiente, “um GPU Blackwell Server Edition processa 100 horas de áudio em menos de três minutos”, o que abre espaço para aplicações que precisam lidar com grandes volumes de gravações, como call centers, plataformas de vídeo, hospitais e órgãos públicos.

Para precisão, a Nvidia informa que o Transcribe atinge, já na configuração padrão, uma taxa de erro de palavras (word error rate, WER) de 30,8%. Com ajuste cuidadoso de prompts, o índice cai para 20,8%. Em cenários com fine-tuning em dados específicos, o ganho é ainda maior: “No benchmark médico indiano Eka Care, o modelo atingiu 11,8% de taxa de erro de palavras após fine-tuning”, diz a empresa, indicando uso em contextos sensíveis como prontuários e laudos por voz.

Entenda o contexto

O lançamento acontece em um momento em que empresas de diversos setores aceleram a adoção de IA para automatizar tarefas intensivas em linguagem, como registro de consultas médicas, atas de reuniões, suporte ao cliente e legendagem de conteúdo audiovisual. Hoje, muitos desses fluxos dependem de cadeias de serviços fechados e fragmentados, o que aumenta custos, riscos de incompatibilidade e etapas manuais.

Um modelo único, aberto e multilíngue, capaz de transcrever, traduzir e analisar grandes blocos de áudio, pressiona fornecedores de soluções proprietárias mais restritas e pode redesenhar esse mercado. Ao reduzir a necessidade de integrar vários serviços separados, empresas com menos infraestrutura também passam a ter acesso a tecnologia de ponta, desde que disponham de ao menos uma GPU compatível.

O que é o dataset Granary v2 lançado com o Nemotron 3.5?

O Granary v2 é um conjunto público massivo de dados de áudio multilíngue usado pela Nvidia na construção e adaptação do Nemotron 3.5 Transcribe. De acordo com a empresa, “Granary v2 cobre 843.579 horas em 48 idiomas e 19 fontes, um aumento significativo em relação à versão anterior”.

Construído com a ferramenta NeMo Curator, o Granary v2 gera três estilos de transcrição para cada gravação em “clean verbatim”, que podem ser solicitados ao Transcribe via prompt: uma versão completa, incluindo hesitações como “éé” e “ah”; outra que converte palavras em símbolos, como números escritos por extenso em algarismos; e uma terceira que remove palavras de preenchimento. Isso permite adaptar o texto final a diferentes usos, de documentos mais formais a registros fiéis da fala.

A Nvidia ressalta que os números divulgados se referem ao dataset em si, não ao conjunto total de dados usados para treinar o modelo ou aos pesos de amostragem, mas afirma que o Granary v2 foi empregado em produção para tornar o Transcribe mais adaptável a cenários reais de tradução, transcrição e compreensão de fala em múltiplas línguas.

Impacto para desenvolvedores e empresas

Com o Nemotron 3.5 Transcribe disponível como demo e checkpoint para download na plataforma Hugging Face, desenvolvedores podem fazer fine-tuning para domínios específicos, mantendo dados sensíveis sob controle da própria organização. O fato de o modelo operar em diferentes classes de GPUs, desde o Jetson AGX Thor até servidores com Blackwell, facilita testes tanto em laboratório quanto em produção.

Na prática, setores como saúde, educação e serviços que lidam com grande volume de chamadas tendem a ser os primeiros beneficiados, graças à combinação de suporte a 40 idiomas, rotulagem de até oito interlocutores e capacidade de processar longas sessões de áudio em poucos minutos. Ao mesmo tempo, a abertura do modelo e do dataset Granary v2 tende a estimular uma comunidade ativa de pesquisadores e empresas, que poderá propor melhorias, novos casos de uso e adaptações regulatórias, inclusive na área de privacidade e proteção de dados de voz.