Nvidia lança Nemotron 3.5 Transcribe com foco em fala e tradução

Tecnologia

Novo modelo da Nvidia oferece transcrição multilíngue e recursos avançados de reconhecimento de fala.

Leia também: Falha no macOS 27.2 deixa git e curl vulneráveis a ataque HTTPS

A Nvidia lançou nesta semana o Nemotron 3.5 Transcribe, um modelo aberto de reconhecimento de fala que combina em um único sistema transcrição em 40 idiomas, tradução em 31 idiomas para ou do inglês, identificação de falantes em 13 idiomas e resposta a perguntas sobre gravações de até uma hora, com até oito interlocutores, já disponível para uso na plataforma Hugging Face.

Modelo roda em uma única GPU e lidera benchmarks

Com 30 bilhões de parâmetros totais e cerca de 4 bilhões ativos a cada etapa de processamento, o Nemotron 3.5 Transcribe foi projetado para rodar em uma única GPU Nvidia, desde máquinas mais compactas até servidores de data center. Segundo a empresa, “o modelo processa 100 horas de áudio em menos de três minutos em um RTX PRO 6000 Blackwell”.

O controle é feito por instruções simples em linguagem natural. A mesma reunião gravada pode virar uma transcrição com identificação de falantes, uma tradução para o inglês ou um resumo com as decisões, dependendo do comando. Usuários podem ainda fornecer termos técnicos, como nomes de medicamentos, como dicas de vocabulário; o sistema só incorpora esses termos se eles estiverem de fato presentes no áudio.

Em desempenho, a Nvidia afirma que o Nemotron 3.5 Transcribe “lidera com uma taxa média de erro de palavras de 5,33%” no ranking English Open ASR da Hugging Face, entre modelos abertos. Em outro comparativo independente, o modelo registra taxa de erro de 2,81%, próxima à de concorrentes otimizados para inglês, mas com bem menos parâmetros ativos por inferência.

Na tarefa de reconhecimento de falantes, o novo modelo também se destaca. Em testes com conversas em que pessoas se sobrepõem na fala, o sistema ficou em primeiro lugar e foi o que menos perdeu palavras, deixando de reconhecer 8,32% do conteúdo, contra uma mediana próxima de 31% em outros sistemas avaliados. Em outro benchmark com 21 idiomas, o Nemotron 3.5 Transcribe registrou o menor erro de atribuição de falas, superando inclusive um modelo anterior da própria Nvidia dedicado apenas a diarização.

Entenda o contexto

O Nemotron 3.5 Transcribe chega como sucessor do Nemotron 3 Diarization, lançado recentemente, que era focado só em reconhecimento de falantes e dependia de outro modelo para transcrever o áudio. Agora, transcrição, diarização, tradução e compreensão do conteúdo são integradas em um único sistema.

A Nvidia posiciona o modelo como alternativa aberta a serviços comerciais de reconhecimento de fala, argumentando que supera amplamente muitos deles em precisão e eficiência. O foco, porém, é em áudio gravado: o Nemotron 3.5 Transcribe não foi projetado para processamento em tempo real, área em que rivais como a Mistral vêm apostando com modelos voltados a agentes de voz ao vivo.

Granary v2 amplia base de dados de fala em 48 idiomas

Junto com o modelo, a Nvidia liberou o conjunto de dados Granary v2, com cerca de 844 mil horas de fala em 48 idiomas, um salto em relação à versão anterior, que tinha aproximadamente 643 mil horas em 25 idiomas. Cada gravação vem com múltiplas versões de transcrição, incluindo uma forma “verbatim”, com vícios de linguagem e números por extenso, e outra limpa, sem muletas verbais e com números em dígitos.

As ferramentas usadas para construir o Granary v2 também foram disponibilizadas, permitindo que empresas e pesquisadores gerem seus próprios conjuntos de dados com o mesmo pipeline. A Nvidia ressalta que o Granary v2 não corresponde exatamente ao dado usado para treinar o Nemotron 3.5 Transcribe, mas funciona como base para novos modelos e adaptações.

Essa abertura tende a estimular a comunidade a criar soluções específicas, como sistemas de transcrição para idiomas menos atendidos, assistentes para atendimento ao cliente, plataformas de ensino à distância e produtos voltados a compliance, todos se beneficiando de um dataset grande e diversificado.

Setores de saúde, educação e atendimento veem potencial

Um dos testes internos da Nvidia foi na área médica, com adaptação do modelo a gravações de médicos e estudantes na Índia. Nesse cenário especializado, um ajuste apenas de comandos reduziu a taxa de erro de 30,8% para 23,8%. Depois do fine-tuning, o índice caiu ainda mais, para 11,8%. “Na adaptação médica, a taxa de erro caiu de 30,8% para 11,8% após fine-tuning”, destaca a empresa.

O treinamento para esse ajuste consumiu cerca de 14 horas de GPU em uma Nvidia GB300, usando principalmente fala sintética. No caso de vozes que o modelo não tinha ouvido antes, a Nvidia relata um ganho semelhante, levando o desempenho além de um modelo aberto voltado exclusivamente à área médica.

O ganho de precisão em ambientes tão críticos quanto consultas e discussões de casos clínicos indica potencial de uso em prontuários eletrônicos, documentação automática de atendimentos e apoio a pesquisa. Ao mesmo tempo, a Nvidia aponta uma troca: a especialização elevou levemente a taxa de erro em fala geral em inglês, e o modelo adaptado continuou menos preciso em alguns nomes comerciais de medicamentos do que um sistema médico dedicado.

Por isso, a orientação para quem pretende customizar o Nemotron 3.5 Transcribe é clara: “Recomendamos reservar pelo menos 100 gravações reais e verificadas para testes ao criar versões customizadas”, afirma a empresa. A recomendação reforça a necessidade de avaliação rigorosa antes de levar modelos adaptados para produção em setores sensíveis, como saúde, jurídico e financeiro.

Limitações e próximos passos

Apesar do avanço, o Nemotron 3.5 Transcribe tem restrições importantes. Algumas funcionalidades variam de acordo com o idioma, e a capacidade de responder perguntas sobre o áudio foi treinada em inglês, o que limita hoje o uso pleno desse recurso em outras línguas. O modelo também foi pensado para arquivos já gravados, não para conversas em tempo real, ponto sensível para call centers e assistentes de voz que exigem resposta imediata.

A Nvidia indica que futuras evoluções podem incluir suporte ampliado ao recurso de perguntas e respostas em mais idiomas e versões voltadas a cenários em streaming, onde concorrentes já se movimentam. Ao mesmo tempo, a combinação de modelo aberto, capacidade de rodar em uma única GPU e disponibilização de um grande dataset tende a pressionar fornecedores que dependem de múltiplos sistemas fechados para entregar transcrição, tradução e diarização.

Na prática, empresas de tecnologia, hospitais, instituições de ensino e serviços de atendimento encontram no Nemotron 3.5 Transcribe uma opção para construir soluções próprias, com maior controle de dados e custos, enquanto a comunidade de desenvolvedores ganha um novo patamar de base aberta para pesquisa em fala e áudio.