Tencent lança WeVisOne-VL, modelo unificado de visão

Tecnologia

Tencent apresenta modelo integrado que combina múltiplas funções de visão computacional em uma única plataforma.

Leia também: Anthropic lança FlashProve para provar respostas reais de IA

A equipe WeChat Vision, da Tencent, lançou nesta semana o WeVisOne-VL, um modelo aberto de visão e linguagem que reúne em um único sistema tarefas como detecção de objetos, referência, contagem, apontamento, OCR, segmentação e alpha matting, com promessa de cortar a dependência de múltiplos motores especializados e simplificar pipelines de visão computacional.

Modelo unifica detecção, OCR, segmentação e matting

O WeVisOne-VL foi desenvolvido em duas versões, com 2 bilhões e 4 bilhões de parâmetros, e é focado em percepção visual de alta precisão, não em conversas abertas. Ele é construído sobre o Qwen3-VL e permite que o usuário escolha a granularidade da saída para cada tarefa: pontos, caixas delimitadoras, máscaras binárias ou mapas contínuos de transparência (alpha mattes).

Diferentemente de arquiteturas que acoplam modelos externos para segmentação, o WeVisOne-VL usa um decodificador próprio de 9,6 milhões de parâmetros para gerar saídas de pixel, dispensando ferramentas como segmentadores adicionais. Esse decodificador integra três componentes internos e é acionado a partir de um token especial gerado pelo modelo principal após cada caixa prevista, transformando o estado oculto naquele ponto em consulta para a geração da máscara ou do matte.

Uma das características centrais é o uso de tokens de coordenadas normalizadas entre 0 e 1000, que codificam posições de pontos e caixas diretamente na sequência de texto. Assim, todas as tarefas são tratadas como predição estruturada de próximo token, o que permite ao modelo responder com alta precisão espacial. Quando o objeto consultado não está presente na imagem, a resposta padrão passa a ser a palavra “None”, o que ajuda a evitar falsos positivos e estimativas “chutadas” de localização.

Entenda o contexto

O avanço mira um problema prático de quem trabalha com visão computacional: hoje, aplicações complexas costumam combinar várias peças — um detector de objetos, um motor de OCR, um segmentador e, em alguns casos, um modelo de matting separado — encadeadas em um pipeline delicado de manter. Ao unificar tudo em um único modelo com saída de pixel, a Tencent tenta reduzir custo operacional, latência e riscos de incompatibilidade entre componentes.

Na prática, um mesmo sistema pode identificar um objeto, contá-lo, localizar com coordenadas precisas, fazer leitura de texto na cena e ainda produzir a máscara refinada da região de interesse, sem depender de chamadas extras para outros serviços. Essa abordagem interessa especialmente a cenários que exigem resposta em tempo quase real, como monitoramento de segurança, sistemas de visão em fábricas, rastreamento em lojas físicas e ferramentas de edição e criação de conteúdo visual.

Como foi o treinamento do WeVisOne-VL

Para chegar ao modelo unificado, a equipe da Tencent montou um motor de dados baseado em grafo de conhecimento que anotou mais de 100 milhões de imagens, acumulando cerca de 3,6 bilhões de caixas delimitadoras. Diversos propositores de regiões — incluindo detectores próprios e modelos de segmentação de última geração — sugeriram áreas relevantes nas imagens, que depois foram verificadas pelo backbone Qwen3-VL.

O treinamento passou por três estágios principais de ajuste fino e um estágio final de reforço. No primeiro estágio, o objetivo foi alinhar o formato de saída do modelo em 90 milhões de exemplos, garantindo que diferentes tarefas compartilhassem uma representação padronizada de respostas, com tokens de coordenadas e estruturas textuais consistentes.

O segundo estágio elevou a capacidade de entrada para até 1.960 tokens visuais por imagem e permitiu que o modelo retornasse até 500 caixas em uma única resposta, ampliando a escalabilidade para cenas densas, como fotos de multidões, prateleiras de supermercado ou painéis com muitos elementos textuais.

No terceiro estágio, o foco foi o treinamento do decodificador de pixels, que depois ganhou especialização em alpha matting com 130 milhões de amostras dedicadas. Esse passo é crucial para que o modelo consiga isolar objetos com bordas complexas — como cabelos, fumaça ou transparências — e produzir resultados prontos para edição ou composição em outras cenas.

Encerrando o processo, um estágio adicional do tipo GRPO (uma forma de otimização guiada por recompensa) utilizou 178 mil exemplos filtrados por incerteza para aumentar a robustez do comportamento do sistema, segundo o documento oficial do projeto. A filtragem garante que o modelo seja refinado em casos mais ambíguos, onde erros são mais prováveis.

Desempenho e diferenças entre as versões

De acordo com a avaliação interna, o WeVisOne-VL com 4 bilhões de parâmetros supera a versão de 2 bilhões na maioria das tarefas de detecção, referência e OCR, considerando métricas de precisão que combinam diferentes limiares de interseção sobre união (IoU). A exceção fica por conta do matting guiado por caixas, em que o modelo menor obteve um índice de 6.6 MAD no conjunto de teste P3M-500-NP, desempenho melhor que o da variante maior nesse cenário específico.

Os desenvolvedores destacam que todos esses resultados foram medidos com decodificação gulosa, limitando o número de tokens visuais a 1.960 por imagem, o que reflete um cenário próximo ao uso real em aplicações online. A possibilidade de escolher entre pontos, caixas, máscaras e mattes em cada consulta permite ajustar o custo computacional caso a caso.

Disponibilidade, ferramentas e impacto no mercado

Os pesos das versões de 2 bilhões e 4 bilhões de parâmetros do WeVisOne-VL já estão disponíveis publicamente em repositórios de modelos, com um pacote integrado, o wevisone_vl, que oferece suporte tanto a backends baseados em Transformers quanto a infraestruturas como vLLM. As tarefas prontas incluem detecção, referência, apontamento por ponto, contagem com caixas, OCR, segmentação e matting.

A Tencent também liberou demos online para as duas variantes, permitindo que pesquisadores, desenvolvedores e empresas testem o modelo diretamente no navegador antes de integrar a tecnologia em seus próprios sistemas. Outra peça aberta é o Mask2Alpha, ferramenta de anotação de matting usada no motor de dados interno, voltada a facilitar a criação de novos conjuntos de treinamento com bordas finas e transparências bem definidas.

Por enquanto, o código completo para fine-tuning ainda está em desenvolvimento, o que indica que a empresa pretende envolver a comunidade em futuras extensões e adaptações do WeVisOne-VL. Há, porém, limitações técnicas: compilações em formatos otimizados para uso local, como GGUF, não conseguem gerar máscaras porque o decodificador de pixels depende de recursos visuais nativos não suportados nesses builds.

A chegada de um modelo unificado, aberto e com foco em alta precisão tende a pressionar fornecedores que hoje comercializam soluções isoladas de OCR, detecção e segmentação. Ao oferecer uma alternativa capaz de substituir vários componentes licenciados por um único sistema, a Tencent se posiciona em um mercado em que empresas de segurança, varejo, saúde, automação industrial e mídia digital buscam reduzir custos de integração e ganhar desempenho.

Na comunidade de visão computacional, a expectativa é de rápida experimentação com o WeVisOne-VL, tanto em pesquisa quanto em produtos. A combinação de treinamento em larga escala, estágio final GRPO com 178 mil exemplos filtrados por incerteza e suporte a saídas em múltiplas granularidades pode influenciar novos benchmarks e acelerar a adoção de IA visual unificada em aplicações que vão de apps móveis a grandes plataformas industriais.