Zyphra lança ZYFA e acelera GPUs AMD em até 1,76x IA

Tecnologia

Novo motor de atenção FP8 da Zyphra melhora desempenho e precisão em GPUs AMD MI355X.

Leia também: Neolabs de IA captam US$ 3 bi e desafiam gigantes em 2026

A Zyphra lançou nesta semana o ZYFA, um motor de atenção em FP8 para GPUs AMD Instinct MI355X que acelera modelos de linguagem de contexto longo e, ao mesmo tempo, reduz o erro numérico em relação à biblioteca padrão AITER da AMD, abrindo o código sob licença Apache 2.0.

ZYFA acelera atenção em até 1,76x com menos erro

Pensado para a fase de prefill de modelos de linguagem, o ZYFA combina kernels em FP8 e BF16 para operações de atenção. Segundo a documentação técnica da empresa, os kernels FP8 “run 1.16-1.76x faster than AITER, AMD’s default kernel library” em ativações reais, em cenários com contexto longo.

O ganho não vem apenas da velocidade. No head dimension 128, a Zyphra afirma que “at head dimension 128, ZYFA’s FP8 error is 62-78% lower than AITER’s” quando comparado a uma referência em fp64, o que na prática aumenta a precisão das respostas dos modelos treinados ou executados nesse formato.

Em testes com modelos populares, os speedups reportados a 16K de contexto e clocks sustentados são de “1.16x (Mistral-7B), 1.17x (Qwen3-8B) and 1.76x (DeepSeek-V2-Lite)”, todos rodando sobre a MI355X. Em benchmarks gaussianos a 32K, o kernel FP8 com head-dim-128 atinge 2.672 TFLOP/s, contra 1.944 TFLOP/s da AITER, e na forma MLA chega a 2.464 TFLOP/s, praticamente o dobro dos 1.237 TFLOP/s da biblioteca padrão.

Na eficiência energética, a vantagem também aparece: em camadas capturadas de Mistral-7B e Qwen3-8B, “ZYFA delivers 1.94 and 1.91 TFLOP/J. AITER delivers 1.60 and 1.56.”, o que indica menos energia por operação e potencial de redução de custos em operações de larga escala.

Como o motor de atenção FP8 da Zyphra funciona

O ZYFA chega acompanhado de artigo técnico detalhado e repositório no GitHub. Os kernels em BF16 são escritos em HIP, enquanto os kernels FP8 foram otimizados no limite, em assembly gerado por um código em Python, para explorar as instruções matriciais FP8 da arquitetura CDNA4 da AMD, que operam ao dobro do pico de desempenho do BF16.

Nessa arquitetura, o FP8 acelera especificamente os produtos de matrizes QKᵀ e PV, que rodam na unidade matricial, mas o softmax intermediário continua na unidade vetorial, com a mesma velocidade em FP8 e BF16. Para um cenário de 32 queries contra 128 keys, o trabalho matricial FP8 leva 1.024 ciclos, enquanto o softmax exato em FP8 consome 896 ciclos vetoriais. Para evitar que a unidade matricial fique ociosa, é preciso sobrepor quase perfeitamente essas etapas.

A Zyphra mostra que, na AITER, essa sobreposição é incompleta, deixando o pipeline matricial ocioso em parte do tempo. Para atacar esse gargalo, a empresa implementou a técnica batizada de lean P, uma forma mais enxuta de calcular as probabilidades do softmax aproveitando a estrutura dos bits no formato FP8. Cada probabilidade é escrita com uma multiplicação-acumulação e uma conversão inteira, reduzindo o custo do softmax de 896 para 384 ciclos vetoriais por bloco.

Com isso, dois grupos de threads passam a compartilhar cada SIMD: enquanto um emite instruções de matriz, o outro calcula probabilidades, alternando em seguida. Nas palavras da Zyphra, “with lean P, the matrix pipe is busy 86% of steady-state cycles, up from 60% with exact P.”, um salto direto de ocupação que ajuda a explicar os ganhos de desempenho frente à AITER.

O algoritmo também escala cada bloco de 64 chaves por potências de 2 antes do arredondamento para FP8, usando as instruções escaladas da CDNA4 para remover esse fator sem custo extra, e calcula a soma das probabilidades arredondadas com apenas uma instrução matricial adicional por bloco.

Precisão, estabilidade e efeito na prática

Além da velocidade, a Zyphra enfatiza a estabilidade numérica do ZYFA. Em comparação com atenção fp64, a empresa aponta que o erro FP8 do seu kernel é uma fração do gerado pela AITER em modelos como Mistral-7B e Qwen3-8B, chegando, no caso do Mistral, a uma divergência KL menor no modelo completo: “in full Mistral-7B, KL divergence from fp64 is 3.4×10⁻³ with ZYFA and 5.9×10⁻³ with AITER.”

Nos testes de robustez, a empresa destaca que “ZYFA’s outputs were also bitwise identical across 7,200 launches”, o que indica repetibilidade total de resultados em milhares de execuções, um ponto importante para quem depende de determinismo em produção.

A documentação lembra, porém, que a maior parte do erro em FP8 vem da quantização dos tensores Q, K e V. Uma rotação de Hadamard nesses tensores pode reduzir esse componente de erro pela metade, com custo extra de cerca de 0,1% no tempo de atenção em cenários como o Mistral-7B, segundo a Zyphra.

Entenda o contexto

O lançamento do ZYFA mira diretamente o uso crescente de modelos de linguagem com janelas de contexto cada vez maiores, que exigem mais memória e poder de processamento das GPUs. Nessas arquiteturas, a etapa de atenção é um dos gargalos de desempenho e consumo de energia, especialmente em formato FP8, que busca equilibrar velocidade e precisão.

Ao otimizar essa etapa para as GPUs AMD Instinct MI355X e liberar o código como open source, sob licença Apache 2.0, a Zyphra tenta fortalecer o ecossistema de IA sobre hardware AMD, oferecendo uma alternativa mais rápida e precisa à biblioteca AITER, padrão da própria fabricante.

O motor ZYFA já alimenta o mecanismo de atenção do Zyphra Optimization Engine (ZOE), que por sua vez suporta o serviço em nuvem da empresa. Isso reforça o caráter de tecnologia usada em produção, e não apenas prova de conceito acadêmica.

Impacto para mercado de IA e próximos passos

Na prática, o ganho de até 1,76 vez em velocidade e a redução de até 78% no erro FP8 significam que empresas e laboratórios podem treinar e inferir modelos mais complexos ou com janelas de contexto mais longas na mesma infraestrutura de GPUs, mantendo ou até elevando a qualidade das respostas.

Setores intensivos em processamento de linguagem natural, como tecnologia, finanças, saúde e pesquisa científica, tendem a se beneficiar, especialmente onde custos energéticos e de hardware são sensíveis. Já fornecedores que não acompanharem melhorias nesse nível de eficiência podem ver suas soluções perderem atratividade.

Liderada por Michal Sutter, mestre em Ciência de Dados pela Universidade de Pádua, a Zyphra se posiciona como especialista em otimização de kernels de atenção para GPUs. A empresa aposta agora na divulgação do artigo técnico, na abertura do repositório no GitHub e na participação em comunidades online para estimular contribuições, integração com frameworks populares de aprendizado de máquina e possíveis parcerias comerciais.

Para quem pretende testar a tecnologia, a própria Zyphra recomenda benchmarks com ativações reais e clocks sustentados nas MI355X, já que o clock dessas GPUs varia conforme o padrão de bits dos operandos. Em um dos cenários medidos, por exemplo, o ZYFA rodou Mistral-7B a 1.628 MHz, contra 2.108 MHz da AITER, mas ainda assim completou o trabalho em menos ciclos totais, ilustrando a importância da eficiência de kernel além da frequência bruta.