Samsung Notes integra IA Apertus 1.5 com texto, imagem e áudio

Tecnologia

Samsung Notes recebe atualização com IA multimodal avançada, ampliando recursos de texto, imagem e áudio para usuários.

Leia também: Google lança Gemini 4 Argon com limite de 1M de tokens

O projeto Apertus lançou a versão 1.5 de seus modelos 8B e 70B com compreensão de imagens e áudio, janela de contexto quatro vezes maior e um pacote completo de avaliações públicas e reprodutíveis, consolidando a iniciativa suíça como uma das principais referências em inteligência artificial aberta.

Modelo multimodal aberto, com foco em transparência

Disponível na plataforma Hugging Face sob licença Apache 2.0, o Apertus 1.5 mantém a proposta de abertura total: pesos, dados utilizados, valores de alinhamento e detalhes de treinamento podem ser auditados por qualquer pesquisador ou empresa. A iniciativa é liderada pela Swiss AI Initiative, com apoio de colaboradores externos e da EvalEval Coalition, que ajuda a garantir a transparência das medições de desempenho.

A grande novidade é a multimodalidade. Em vez de usar módulos separados para visão ou áudio, o Apertus 1.5 inclui tudo como parte da mesma sequência de tokens de texto. Imagens de 512×512 pixels são convertidas em 1.024 tokens pelo Emu3.5 tokenizer, enquanto o áudio é transformado em 40 tokens por segundo via WavTokenizer. “Os modelos entendem imagens e áudio, mas geram apenas texto”, resume a equipe responsável.

Essa estratégia permite adicionar novos tipos de dado sem mexer na arquitetura principal do modelo, o que mantém a velocidade de treinamento equivalente à de um sistema puramente textual. Na prática, isso facilita o uso em aplicações que misturam entrada visual, sonora e escrita — de análises jurídicas com anexos em PDF a sistemas de suporte a reuniões que transcrevem áudio e interpretam apresentações com gráficos.

Treinamento em larga escala e preservação das habilidades de texto

O Apertus 1.5 é resultado da continuação do pré-treinamento da versão 1.0. O modelo de 8 bilhões de parâmetros recebe 4 trilhões de tokens adicionais de texto e dados multimodais, chegando a 19 trilhões de tokens no total. Já o modelo de 70 bilhões ganha mais 2 trilhões de tokens, somando 17 trilhões.

Mesmo com o reforço em imagem e áudio, a prioridade segue sendo o texto. “Mais da metade dos tokens de treinamento são apenas texto, preservando as habilidades linguísticas do Apertus 1.0”, afirma a equipe. As novas fontes incluem coleções públicas e licenciadas permissivamente, com respeito a restrições de robots.txt e documentação detalhada de cada conjunto usado.

O pipeline de desenvolvimento é dividido em quatro grandes estágios de pré-treinamento, seguido por cinco fases de pós-treinamento. Nessa segunda etapa entram técnicas como SFT (afinamento supervisionado), SFT específico para contexto longo, RL (aprendizado por reforço), DPO (otimização direta por preferência) e um estágio final de alinhamento de valores, descrito como SDPO. Esse desenho busca melhorar obediência a instruções, segurança das respostas, raciocínio passo a passo e uso de ferramentas externas.

Desempenho competitivo em instruções, tradução e direito

Na bateria de testes públicos, o Apertus 1.5 8B se destaca perante modelos abertos de porte semelhante, especialmente em tarefas de instrução e em cenários multilíngues. “Apertus 1.5 8B supera modelos open-weight similares em tarefas de instrução e multilíngues”, registra a própria avaliação do projeto.

Em benchmarks de raciocínio matemático e lógico de alta dificuldade, o chamado “modo de pensamento” — em que o modelo é incentivado a explicitar o passo a passo — rende ganhos adicionais, aproximando o desempenho da categoria de sistemas abertos mais avançados. Na multimodalidade, os resultados de entendimento espacial, leitura de documentos e interpretação de gráficos se aproximam de modelos open-weight mais recentes, incluindo referências de 12 bilhões de parâmetros.

As aplicações jurídicas são um foco particular: em tarefas de direito suíço, o Apertus 1.5 fica no nível de modelos abertos de ponta usados por escritórios e departamentos internos de empresas. Em tradução automática, especialmente em um conjunto de testes dedicado, o modelo de 8 bilhões de parâmetros se iguala a sistemas especializados de porte maior e supera concorrentes consolidados de uso geral em determinados idiomas. Isso reforça o apelo para profissionais que dependem de traduções técnicas e precisas — de advogados que cruzam decisões estrangeiras a usuários avançados que hoje recorrem a soluções como apps de notas da Samsung para organizar conteúdos multilíngues entre celular, tablet e PC.

Entenda o contexto

O Apertus é um projeto que aposta em IA aberta em um momento em que boa parte dos modelos mais avançados permanece fechada atrás de APIs proprietárias. Em vez de publicar apenas interfaces de uso, a equipe divulga pesos completos, receitas de treinamento, conjuntos de dados e checagens de segurança. A política vale também para a multimodalidade, campo em que muitos concorrentes oferecem pouca visibilidade sobre quais imagens e áudios entram no treinamento.

Esse grau de abertura interessa a universidades, institutos independentes e empresas que precisam validar tecnicamente como um modelo chega a determinada resposta — uma preocupação crescente em áreas reguladas, como jurídica, saúde e finanças. Também torna mais simples integrar o Apertus 1.5 a fluxos de trabalho diversos, do back-end de aplicativos de produtividade e anotações a plataformas que sincronizam arquivos multimídia entre notebook, tablet e serviços online.

Avaliação aberta e padrão Every Eval Ever

Um dos pilares da nova versão é a forma como os resultados são medidos e publicados. Em parceria com a EvalEval Coalition, o projeto adota o formato Every Eval Ever (EEE), que descreve em detalhes todo o processo de avaliação. “Publicamos os resultados no formato Every Eval Ever (EEE), que registra não só as pontuações, mas também quem realizou a avaliação, como o modelo foi acessado e as configurações usadas”, explica a equipe. “Estamos comprometidos em promover avaliações transparentes e reprodutíveis.”

Na prática, isso significa que qualquer pesquisador pode baixar os mesmos scripts, reproduzir os testes e comparar números sob as mesmas condições. As avaliações multimodais combinam frameworks populares como lmms-eval e VLMEvalKit por meio do pipeline MLLM-eval-suite, enquanto as provas puramente textuais rodam em um fork público do lm-evaluation-harness, já integrado ao padrão EEE.

A mesma infraestrutura é adotada pelo UK AI Security Institute em seus relatórios abertos, o que fortalece a posição do Apertus 1.5 como candidato a referência para comparação entre modelos multimodais. As chamadas Eval Cards, espécies de fichas técnicas de avaliação, reúnem em um único registro os dados de execução, os benchmarks utilizados e metadados dos modelos.

Acesso, uso prático e próximos passos

Os modelos Apertus 1.5 podem ser baixados diretamente da coleção oficial no Hugging Face, que também hospeda checkpoints intermediários de cada etapa de treinamento — do modelo base ao afinado por reforço e DPO — e os conjuntos de dados curados. Para desenvolvedores que não querem gerenciar infraestrutura própria de GPU, empresas como Swisscom, Infomaniak e Phoeniqs oferecem acesso via API.

Na prática, a combinação de multimodalidade, janelas de contexto muito mais longas e transparência de dados deve acelerar o desenvolvimento de aplicações de produtividade baseadas em IA — inclusive em ecossistemas que já são familiares ao público brasileiro, como apps de anotações em tablets e notebooks. A possibilidade de alimentar o modelo com longos cadernos digitais, anexos em PDF, capturas de tela, imagens de quadro branco e gravações de reuniões na mesma conversa amplia o leque de usos em educação, negócios e assistência jurídica.

O time do projeto já trabalha na próxima geração, batizada de Apertus 2.0, que promete arquitetura mais escalável e foco ainda maior em agentes, matemática avançada e programação. Até lá, o 1.5 tende a servir como base para experimentos e produtos que queiram combinar capacidades de ponta com abertura total e avaliação auditável.

Fonte: huggingface.co