Phonon revoluciona voz IA offline com 200 mil downloads rápidas

Tecnologia

Phonon traz inovação ao texto para fala com modelo leve e rápido, garantindo privacidade e uso offline em dispositivos variados.

Leia também: Kyndryl cresce em IA e nuvem e ações disparam 30% após lucro

Um novo modelo de texto para fala, o Phonon, vem mudando o jogo da voz por inteligência artificial ao rodar inteiramente offline em celulares, laptops, navegadores e computadores de placa única, com versões de 65 MB e 75 MB, suporte a cinco idiomas e mais de 100 vozes — e já ultrapassou 200 mil downloads em apenas duas semanas.

Modelo pequeno, rápido e focado em privacidade

Diferente da maior parte dos sistemas de fala, que dependem de servidores na nuvem, o Phonon gera o áudio direto no dispositivo do usuário. Isso evita que o texto seja enviado para fora do aparelho e reforça a privacidade de quem usa assistentes virtuais, leitores de tela, jogos ou qualquer app que dependa de síntese de voz.

O modelo foi desenvolvido ao longo de seis meses, em colaboração com parceiros e usuários iniciais, que ajudaram a ajustar tamanho, qualidade de áudio e variedade de vozes. Hoje, as duas variantes disponíveis têm cerca de 65 MB e 75 MB e conseguem falar inglês, francês, alemão, espanhol e português, mantendo boa naturalidade mesmo em aparelhos com recursos limitados.

Segundo a equipe responsável, “o treinamento foi inicialmente numericamente instável e exigiu várias técnicas para produzir resultados de qualidade em todas as cinco línguas”. O resultado, afirmam, é um sistema capaz de lidar bem com números, datas e códigos, áreas em que muitos TTS ainda tropeçam.

Como o Phonon funciona

O Phonon segue a linhagem Pocket TTS e usa uma técnica chamada flow matching para gerar o áudio, em vez dos métodos tradicionais da área. Essa abordagem, mais próxima dos modelos modernos de geração de mídia, é apontada como a chave para alcançar alta qualidade sonora em arquivos tão compactos.

Na prática, o modelo funciona de forma autoregressiva: ele gera representações de áudio quadro a quadro e depois converte esses “latentes” em som. Essa arquitetura permite que o mesmo núcleo de IA rode em diversos contextos, de um smartwatch a um navegador, com o áudio sendo decodificado localmente.

Para garantir desempenho em larga gama de dispositivos, a equipe criou também o ptts, um framework de inferência otimizado para o Phonon. O ptts suporta mais de 10 backends de hardware, incluindo CPUs Intel e Arm, GPUs com CUDA, Vulkan, Metal e WebGPU, além de NPUs como Apple Core ML e Snapdragon, o que facilita levar a mesma voz a diferentes plataformas.

Phonon é comercial? Entenda as licenças

O pacote de modelos do Phonon combina código aberto e uso comercial permissivo, com regras diferentes conforme o idioma. A versão em inglês, Phonon 31m, vem sob licença Apache 2.0. Nas palavras da equipe, “Phonon 31m é Apache 2.0, então você pode usá-lo gratuitamente, inclusive em produtos comerciais”.

Já o modelo maior, que cobre os cinco idiomas, está licenciado em CC BY-NC, voltado a projetos não comerciais. Quem quiser empregar essa variante em produtos pagos precisa negociar condições específicas, com cobrança baseada no número de usuários finais, e não na quantidade de áudio gerada.

A flexibilidade de licenciamento mira tanto desenvolvedores independentes quanto empresas de tecnologia e fabricantes de dispositivos, que podem experimentar o modelo em projetos gratuitos e, se houver tração, migrar para acordos comerciais sem reescrever do zero a parte técnica.

Integração com Hugging Face e ferramentas de IA

O Phonon está disponível na plataforma Hugging Face, que reúne mais de 9 mil modelos TTS. A integração direta com a biblioteca Transformers permite que desenvolvedores chamem o modelo com poucas linhas de código em PyTorch, focando em throughput em GPU para gerar grandes volumes de fala, por exemplo na criação de bases de áudio.

Do outro lado, o framework ptts foi pensado para o uso “na ponta”: síntese em tempo real em um único dispositivo, onde contam mais a latência e o consumo de memória do que a geração em massa de arquivos. Essa combinação abre espaço desde protótipos rápidos em laboratório até produtos finais embarcados.

Ferramentas de terceiros já começaram a surgir em torno do ecossistema: conversões para rodar no navegador usando a GPU do visitante, integrações com Node.js e aplicativos interativos que se aproveitam da voz offline em jogos e experiências web.

Quais idiomas o Phonon fala?

O Phonon já fala cinco idiomas — inglês, francês, alemão, espanhol e português — com mais de 100 vozes prontas para uso. As vozes podem ser selecionadas conforme gênero, tom e estilo, atendendo de locuções neutras a personagens mais marcados para jogos e experiências imersivas.

Além do catálogo embutido, o projeto oferece criação de vozes personalizadas via Gradium Studio, permitindo clonar vozes a partir de gravações curtas, com consentimento do locutor, ou desenhar novas identidades sonoras com descrições em texto. Esses perfis são exportados como arquivos que o Phonon carrega e executa totalmente no dispositivo.

A equipe também treina variações sob medida para parceiros, incluindo modelos ainda menores para ambientes com memória extremamente limitada ou com vocabulário especializado, além de abrir a porta para novos idiomas, como coreano, árabe ou japonês, em colaborações futuras.

Desempenho em benchmarks e adoção inicial

Em duas semanas desde o lançamento, o Phonon já supera 200 mil downloads e figura entre os modelos mais populares de síntese de voz na Hugging Face. O desempenho em avaliações públicas ajuda a explicar a tração.

No Open TTS Leaderboard, que compara modelos de voz em 23 idiomas, o Phonon se destaca em inteligibilidade. De acordo com a equipe, “Phonon lidera em inteligibilidade para alemão e espanhol, e está entre os três melhores em todos os idiomas avaliados, competindo com modelos até 100 vezes maiores”.

Nos testes de velocidade, o diferencial aparece especialmente no tempo até o primeiro áudio em CPU, crucial para experiências interativas em que o usuário espera resposta imediata mesmo sem GPU dedicada.

Casos de uso: de relógio a robô falante

O lançamento veio acompanhado de demonstrações para provar que o modelo não depende da nuvem. Em um Apple Watch com Wi-Fi desligado, o Phonon guia o preparo de café passo a passo usando só o poder de processamento do relógio. Em um iPhone sem sinal, conta repetições de exercício e incentiva o usuário em tempo real.

Há também exemplos mais lúdicos, como um robô de mesa que fala com uma voz personalizada, jogos narrados inteiramente no dispositivo do jogador e até um modo em que um personagem virtual transforma um simples jogo offline de navegador em um programa de rádio improvisado.

Na área de acessibilidade, o potencial é grande para leitores de tela e ferramentas de apoio a pessoas com deficiência visual ou dificuldades de leitura, especialmente em cenários com conexão instável ou em que o envio de dados sensíveis à nuvem é um problema.

Impacto no mercado de TTS

A chegada de um modelo pequeno, rápido, multiplataforma e aberto pressiona fornecedores tradicionais de TTS em nuvem, baseados em cobrança por uso e infraestrutura centralizada. Ao permitir vozes naturais rodando direto em dispositivos de baixo custo, o Phonon reduz barreiras para startups, pesquisadores e desenvolvedores independentes.

Ao mesmo tempo, o foco em privacidade e operação offline conversa com exigências regulatórias mais rígidas e com a demanda de empresas por soluções que mantenham dados sensíveis dentro de seus próprios dispositivos e redes.

Os próximos passos declarados incluem expandir o número de idiomas e vozes, refinar ainda mais a estabilidade e a naturalidade da fala, e estimular a criação de aplicações que combinem IA de voz, modelos de linguagem e reconhecimento de fala em cascatas inteiramente locais, sem depender de conexão constante.