Mistral AI lança Voxtral 3 para agentes de voz em tempo real

Inteligência Artificial

Nova solução da Mistral AI oferece suporte multilíngue para agentes de voz com tecnologia avançada e hospedagem na União Europeia.

Leia também: Startup cria IA que “ouve” plantas e capta sede em tempo real

A Mistral AI lançou o Voxtral 3, um conjunto completo de modelos e ferramentas para criar agentes de voz em tempo real, que escutam, processam informações, acessam sistemas externos e respondem falando, com opção de rodar em infraestrutura própria ou via APIs hospedadas na União Europeia para manter os dados sob controle do usuário.

O que é o Voxtral 3 lançado pela Mistral AI?

O Voxtral 3 é uma família de modelos de linguagem e um SDK voltados especificamente para agentes de voz em tempo real, reunindo em um único pacote transcrição de fala, geração de voz e orquestração da conversa.

O stack é formado pelo modelo de fala para texto Voxtral Small Transcribe 3, pelo modelo de texto para fala Voxtral Mini TTS 3 e por um SDK de agente de voz baseado na plataforma LiveKit. Essa combinação permite montar assistentes que ouvem o usuário, “pensam”, usam ferramentas externas e respondem por voz em um fluxo contínuo de dados.

A proposta da Mistral AI é oferecer uma solução integrada para empresas e desenvolvedores que hoje precisam combinar peças de diferentes fornecedores para construir agentes de voz, reduzindo complexidade de integração, latência e custo operacional.

Como o Voxtral 3 da Mistral AI funciona em tempo real?

O Voxtral 3 funciona por meio de um pipeline de streaming que encadeia, em tempo real, a transcrição de áudio, o processamento de linguagem e a síntese de voz, sem pausas entre cada etapa.

Na prática, a fala do usuário é capturada e enviada ao Voxtral Small Transcribe 3, que converte o áudio em texto em mais de 50 idiomas. Esse texto alimenta o modelo de linguagem e as integrações definidas pelo desenvolvedor, que podem consultar sistemas externos — por exemplo, para agendar um compromisso ou checar uma fatura — durante a própria conversa.

Em seguida, a resposta gerada é convertida em áudio pelo Voxtral Mini TTS 3, que produz voz sintética em mais de 35 idiomas e 50 dialetos, com adaptação emocional, e devolve o som ao usuário praticamente em tempo real. O SDK baseado em LiveKit faz a cola entre essas etapas, gerenciando sessões, latência e conexão contínua.

Principais recursos e impacto para empresas

Entre os destaques, o Voxtral 3 oferece suporte a mais de 50 idiomas na transcrição e a mais de 35 idiomas com 50 dialetos na síntese vocal, com vozes capazes de ajustar tom emocional conforme o contexto da conversa. O preço inicial informado para transcrição é de US$ 0,0035 por minuto.

Segundo a Mistral AI, o sistema pode rodar tanto em infraestrutura própria do cliente quanto em APIs hospedadas na União Europeia, o que atende empresas preocupadas com privacidade, exigências regulatórias e localização de dados, especialmente em setores como financeiro, saúde e serviços públicos.

Ao integrar em um único fluxo reconhecimento de fala, processamento de linguagem, acesso a ferramentas externas e síntese de voz, o Voxtral 3 mira aplicações como centrais de atendimento automatizadas, assistentes pessoais, suporte técnico e automação de processos internos, permitindo agentes capazes de executar tarefas diretamente durante o diálogo.

Entenda o contexto

O lançamento do Voxtral 3 ocorre em um momento em que agentes de voz deixam de ser apenas sistemas de resposta simples para assumir tarefas mais complexas, como resolver demandas de clientes de ponta a ponta e operar em ambientes multilíngues.

Ao oferecer um stack unificado, preços competitivos e opções de controle de dados, a Mistral AI se posiciona para disputar espaço com fornecedores que ainda oferecem apenas partes isoladas da solução, como somente reconhecimento ou somente síntese de voz, pressionando o mercado a acelerar a integração de recursos em tempo real.

Fonte: matéria original