Vercel Labs lança agent-desktop que reduz 96% tokens em IA

Tecnologia

Nova ferramenta open-source da Vercel Labs otimiza o uso de tokens em IA para desktops multi-plataforma.

Leia também: CoreWeave: Nvidia avalia garantir dívida bilionária da Nscale WV

A Vercel Labs lançou a versão 1.0.2 do agent-desktop, uma ferramenta open-source que permite a agentes de inteligência artificial operar aplicativos nativos em macOS, Windows e Linux usando apenas as APIs de acessibilidade do sistema, sem capturas de tela ou modelos de visão — o que, em testes internos, reduziu em até 96% o volume de tokens processados em apps populares.

Ferramenta lê a interface e devolve JSON estruturado

O agent-desktop funciona como uma CLI escrita em Rust e uma biblioteca em C que leem a árvore de acessibilidade de cada aplicativo e devolvem um snapshot em JSON, com referências qualificadas para cada elemento com que o agente pode interagir. Cada comando é independente: “Every command prints one JSON envelope and exits. The observe, act and verify loop stays in your agent.”, descreve a Vercel Labs em sua documentação.

Essas referências trazem um identificador de snapshot embutido, o que torna cada elemento auto-descritivo. Referências incompletas são rejeitadas com erro de parâmetros inválidos, e, se a interface mudar no meio do processo, o agent-desktop retorna códigos como STALE_REF ou AMBIGUOUS_TARGET, obrigando o agente de IA a tirar um novo snapshot antes de tentar novamente. A resolução é rígida e “falha em modo fechado”, preferindo recusar a ação a tentar adivinhar um alvo.

A ferramenta foi lançada sob licença Apache-2.0 e é model-agnostic: não embute modelo de linguagem, não tem interface gráfica própria e não decide sozinha o que fazer na tela. Ela apenas observa e executa comandos, deixando para o agente externo todo o ciclo de planejamento e verificação.

Entenda o contexto

Hoje, muitos sistemas de “computer use” para IA dependem de screenshots e coordenadas de pixels. Cada captura de tela pode consumir milhares de tokens de entrada, somados ainda a descrições textuais das ferramentas, o que encarece e torna mais lenta a automação. O agent-desktop segue direção oposta: devolve estrutura, não imagens, aproveitando as APIs de acessibilidade já presentes nos sistemas operacionais.

Na prática, isso permite que agentes shell-capazes — os que conseguem rodar comandos em terminal — passem a controlar aplicativos desktop como Slack, VS Code, Notion ou Apple Maps sem precisar ver a tela, apenas navegando pela árvore de elementos expostos para acessibilidade.

Tokenização cai até 96% em apps populares

Segundo números divulgados pela Vercel Labs, o uso do agent-desktop reduziu o volume de tokens processados entre 78% e 96% em aplicações como Slack, VS Code e Notion. Em um teste com o Apple Maps, um snapshot que antes consumia 3.811 tokens passou a exigir apenas 273, graças ao recurso de snapshot “esqueleto”, que lê a interface só até três níveis de profundidade e permite ir detalhando regiões específicas sob demanda.

Em um fluxo simulado de 52 etapas, o total de tokens caiu de 198 mil para 31 mil. São dados auto-relatados, mas que ilustram o potencial de economia de custo e tempo para empresas que rodam automações intensivas, como suporte técnico, análise de dados e desenvolvimento assistido por IA. “The builder reported a 78% to 96% token cut versus full-tree dumps in Slack, VS Code and Notion.”, resume a Vercel Labs.

Automação sem mexer no mouse nem roubar o foco

Um dos diferenciais destacados pela equipe é o fato de as ações de referência passarem inteiramente pelas APIs de acessibilidade, sem mover o cursor nem tirar o foco do que o usuário está fazendo. “Ref actions go through the accessibility API without moving the pointer or taking focus. That is what lets agents work while you keep using the machine.”, explica a Vercel Labs.

Isso significa que um agente de IA pode preencher formulários, navegar em menus ou acionar botões em segundo plano enquanto o usuário continua usando o computador normalmente, o que abre espaço para assistentes corporativos discretos, automações de backoffice e fluxos de teste sem interferência direta na rotina da máquina.

Cada ação ainda traz um tempo de espera automático de até 5.000 milissegundos, durante o qual o agent-desktop aguarda que o alvo fique visível, habilitado e estável na interface antes de executar o comando — reduzindo falhas em apps mais lentos ou com animações complexas.

Instalação simples e suporte a várias linguagens

O agent-desktop está disponível para arquiteturas x64 e ARM64 e pode ser instalado diretamente com npm install -g agent-desktop, além de outros gerenciadores como bun, yarn e pnpm. Os binários são específicos para cada sistema operacional, e o núcleo do projeto acessa o sistema apenas por meio de adaptadores de plataforma, mantendo o core desacoplado.

A biblioteca em C permite integração em processos de linguagens como Python, Swift, Go, Ruby e Node, ampliando o alcance entre times de desenvolvimento que já mantêm agentes e serviços nessas stacks. Há ainda suporte para conteúdos web em aplicativos Electron, via abertura de uma porta DevTools dedicada que pode ser controlada em conjunto com ferramentas como o agent-browser.

Impacto para agentes de IA e mercado

Com a chegada do agent-desktop, desenvolvedores de agentes ganham um caminho mais estruturado e previsível para operar aplicativos desktop, o que tende a acelerar a adoção de automações avançadas em TI, atendimento ao cliente, análise de dados e engenharia de software. A ferramenta conversa diretamente com a tendência de criação de agentes especializados que coordenam várias aplicações ao mesmo tempo.

Profissionais como o cientista de dados Michal Sutter, que atua com estatística, machine learning e engenharia de dados, veem nesse tipo de infraestrutura uma base para transformar rotinas inteiras em fluxos automatizados, com a IA orquestrando ferramentas nativas em vez de depender apenas de serviços web.

Por outro lado, soluções baseadas exclusivamente em visão computacional podem perder espaço em cenários em que as APIs de acessibilidade são suficientes, já que o caminho do agent-desktop é mais leve em tokens, mais previsível e menos sensível a mudanças visuais sutis na interface.

A Vercel Labs aposta que a comunidade open-source deve crescer em torno do projeto, com contribuições em novos bindings de linguagem, melhorias na biblioteca C e suporte mais profundo a diferentes ambientes desktop. A expectativa é que, à medida que mais agentes passem a se apoiar nessa camada, surjam integrações próprias de empresas e frameworks concorrentes ou complementares.