NVIDIA lança Nemotron 3.5 para turbinar transcrição de áudio

Tecnologia

NVIDIA amplia recursos de transcrição multilíngue com novo modelo aberto e dataset para aprimoramento especializado.

Leia também: Festival de fermentação em Portland vira palco de disputa alimentar

A NVIDIA lançou hoje o Nemotron 3.5 Transcribe, um modelo aberto para transcrição multilíngue que integra em um único sistema transcrição, identificação de falantes, tradução e resposta a perguntas em áudio, já disponível em plataformas como Hugging Face e ModelScope e executável em GPUs da linha DGX Spark a data centers Blackwell.

Modelo une transcrição, tradução e diarização em um só sistema

O Nemotron 3.5 Transcribe foi desenhado para substituir pipelines complexos por um único checkpoint. O modelo transcreve 40 idiomas, traduz 31 deles para ou do inglês e faz atribuição de falantes em 13, processando gravações de até 1 hora e identificando até 8 pessoas diferentes, inclusive em diálogos com sobreposição de vozes.

A arquitetura combina um codificador de fala a um modelo híbrido Mamba–Transformer no formato mixture-of-experts. São 30 bilhões de parâmetros no total, mas apenas cerca de 4 bilhões são ativados por token, o que reduz o custo computacional sem abrir mão de precisão. A parte de diarização usa Sortformer para levar pistas acústicas e de identidade de falante diretamente para o modelo de linguagem, permitindo rotular quem fala enquanto o texto é gerado, em vez de depender de uma etapa posterior de associação.

Na prática, o mesmo checkpoint consegue produzir saídas diferentes a partir de um único áudio, guiado apenas por instruções em linguagem natural. Em uma reunião, por exemplo, o modelo pode gerar uma transcrição limpa com rótulos de falante; em um atendimento médico, uma versão com termos técnicos preservados; em um call center, um resumo com respostas a perguntas feitas na gravação.

Desempenho em benchmarks e alcance global

No inglês, o Nemotron 3.5 Transcribe lidera o ranking de modelos de peso aberto na Open ASR Leaderboard da Hugging Face, com erro médio de palavras (WER) de 5,33%. Em outro painel independente, o Artificial Analysis Speech-to-Text Leaderboard, empata em primeiro lugar entre modelos abertos com índice AA-WER de 2,8%, ocupando a chamada fronteira de Pareto de precisão versus número de parâmetros ativos. Segundo a empresa, “Transcribe is first among open-weight models on the Hugging Face Open ASR Leaderboard for English and sits on Artificial Analysis’s accuracy–active-parameter frontier”.

Na atribuição de falantes, a NVIDIA destaca que “For speaker attribution, it posts the lowest error rate on David AI’s 21-language diarization leaderboard and ranks first in VoiceArena’s 14-system comparison”. Em um desses benchmarks, o modelo registra a menor taxa de erro de diarização entre 14 sistemas avaliados em sessões completas em inglês, incluindo conversas com 2 a 8 participantes e fala sobreposta.

O suporte a 40 idiomas na transcrição e 31 na tradução amplia o alcance para aplicações globais, de plataformas de vídeo e voz a serviços médicos, jurídicos e educacionais que lidam com equipes ou clientes distribuídos por vários países.

De aulas online a ditados médicos

A NVIDIA posiciona o Nemotron 3.5 Transcribe como ferramenta para cenários em que modelos anteriores costumavam falhar: reuniões multilíngues, cenas com diálogos rápidos e sobrepostos, ditados médicos cheios de siglas ou chamadas com muitos participantes. Entre os exemplos práticos está o uso em plataformas de comunicação em tempo quase real, como a Agora, que explora timestamps ao nível da palavra para alinhar a transcrição com o replay de aulas gravadas, permitindo ao aluno navegar pelo vídeo a partir do texto.

Outra frente são casos de uso altamente especializados, como a medicina. Em um estudo de caso descrito pela empresa, o ajuste fino do modelo para um domínio médico específico reduziu a taxa de erro de palavras em 45,8% para falantes que não tinham aparecido no treinamento, em comparação com o melhor prompt sem fine-tuning. A recomendação, porém, continua sendo de validação manual, especialmente de nomes próprios, mudanças de falante e respostas geradas em tarefas de perguntas e respostas com base em áudio.

O modelo também oferece timestamps ao nível da palavra, úteis para geração de legendas de filmes, vídeos educacionais ou conteúdos corporativos. Em uma demonstração interna, a tecnologia foi usada para legendar uma cena clássica de comédia com diálogos extremamente rápidos e sobrepostos, destacando a capacidade de lidar com conversas caóticas sem perder quem falou o quê.

O que é o Granary v2 e para que ele serve

O Granary v2 chega como complemento direto do Nemotron 3.5 Transcribe. Trata-se de um conjunto de dados multilíngue e de um pipeline de curadoria reutilizável, também disponível em plataformas de modelos abertos, pensado para treinar e adaptar sistemas de reconhecimento de fala com foco em controle mais fino da saída de texto.

A base faz parte da coleção de fala Nemotron e foi preparada com o NeMo Curator, gerando, para cada gravação, múltiplas variantes de transcrição e rótulos de tarefa. Pelo menos três formas de texto são fornecidas para o mesmo áudio — uma verbatim, outra normalizada e uma versão “limpa” — replicando os estilos que desenvolvedores podem solicitar do Nemotron 3.5 via prompt. O pipeline ainda produz legendas curtas de áudio, restauração de palavras emprestadas em contextos bilíngues, pares de perguntas e respostas fundamentadas no som, termos de viés contextual para ASR e traduções com pontuações automáticas de qualidade.

Os manifestos públicos do Granary v2 cobrem centenas de milhares de horas de áudio em dezenas de idiomas e reúnem conjuntos de dados de diferentes origens. Cada amostra inclui metadados como formas de transcrição, instruções derivadas, dicas de entidades, rótulos de tarefa, proveniência e um indicador de qualidade. O áudio em si permanece sob as licenças originais de cada corpus, o que exige atenção dos desenvolvedores aos termos de uso ao fazer o download.

Fine-tuning guiado por prompts para vocabulário e sotaque

Com o Granary v2 e as ferramentas NeMo Speech, a NVIDIA propõe uma abordagem em duas camadas para personalização: primeiro, o controle via prompt, em linguagem natural, que já permite definir, sem treino adicional, como o texto deve aparecer; depois, quando isso não é suficiente, o ajuste fino com dados adaptados a cada domínio.

Em um cenário de saúde, por exemplo, um prompt pode instruir o modelo a “transcrever a discussão médica no idioma original”, listar termos como HbA1c e metformina, e dizer para usá-los apenas quando de fato aparecerem no áudio, preservando a grafia padrão e escrevendo números na forma convencional. Quando as indicações de contexto não bastam, o desenvolvedor pode usar o pipeline do Granary v2 para criar um conjunto de treinamento com as convenções específicas daquele hospital, plano de saúde ou idioma regional.

O objetivo é reduzir a distância entre o que o médico, o professor ou o atendente realmente diz e o que aparece na tela, sem que seja preciso construir um modelo do zero. Além de domínios técnicos, esse tipo de fine-tuning tende a beneficiar também sotaques pouco representados e variações de fala com forte código misto entre idiomas.

Impacto para empresas e desenvolvedores

Ao integrar transcrição, diarização, tradução e perguntas e respostas em um modelo aberto, a NVIDIA aposta em atrair desenvolvedores de aplicações de voz e vídeo que hoje dependem de combinações de APIs distintas para cobrir todos esses recursos. Para plataformas globais, como serviços de conferência, educação a distância, telemedicina e atendimento ao cliente, a promessa é de simplificar fluxos de trabalho, reduzir latência e ter mais controle sobre onde e como o áudio é processado.

O fato de o Nemotron 3.5 Transcribe rodar em uma única GPU NVIDIA — de dispositivos da família Jetson AGX Thor a servidores DGX Spark e placas Blackwell em data center — amplia as possibilidades de implantação, tanto em ambientes de nuvem quanto em infraestrutura própria. Em um dos cenários de desempenho divulgados, uma única GPU de classe servidor é capaz de processar 100 horas de áudio em menos de três minutos, usando clipes de 30 segundos com alta concorrência.

Concorrentes em reconhecimento de fala, especialmente os que oferecem apenas transcrição básica ou suportam poucos idiomas, tendem a sentir pressão para aproximar suas ofertas em recursos, precisão e flexibilidade. Ao mesmo tempo, a disponibilidade aberta do modelo e do dataset pode acelerar pesquisas acadêmicas e projetos independentes em áreas como educação, acessibilidade e preservação de línguas.

A NVIDIA reforça, porém, que mesmo com índices de erro baixos, a supervisão humana continua indispensável em cenários sensíveis, como laudos médicos, decisões jurídicas ou avaliações acadêmicas. A empresa disponibiliza presets recomendados, um guia completo de prompts e uma matriz que detalha o suporte por idioma e tarefa, além de orientações para verificação manual dos resultados mais críticos.