Baseten lança joey-1, modelo ultrarrápido para decisões em massa

Tecnologia

Baseten apresenta joey-1, modelo eficiente e econômico para decisões rápidas em larga escala.

Leia também: GM paga US$ 220 mi para encerrar processo sobre dados

A Baseten lançou nesta semana o joey-1, um modelo de decisão com 2 bilhões de parâmetros desenvolvido pelo laboratório interno Base Labs, que responde perguntas em texto ou imagens com rótulos e probabilidades calibradas, em vez de gerar texto livre, e mira aplicações de alto volume como suporte ao cliente, classificação em massa e checagens de segurança.

Modelo foca decisão, não geração de texto

Diferente de chatbots tradicionais, o joey-1 foi projetado para escolher entre opções já definidas. O usuário envia um estado — como a descrição de um chamado de atendimento ou o conteúdo de uma imagem — e uma ou mais perguntas com alternativas de resposta. Em uma única passagem, o modelo devolve a probabilidade de cada opção para cada pergunta, sem produzir frases abertas que precisem ser interpretadas depois.

Na prática, isso permite construir sistemas de roteamento de tickets, triagem de conteúdo ou aprovação de transações que operam em larga escala, com respostas consistentes e fáceis de integrar a fluxos automatizados. Como o joey-1 trabalha com múltiplas perguntas a partir de um mesmo prefixo, o custo incremental de adicionar novas verificações sobre o mesmo dado diminui.

O modelo foi pós-treinado a partir do Qwen3.5-2B, com ajuste completo do modelo de linguagem e codificador de visão congelado. As camadas de atenção usam uma máscara bidirecional em bloco, o que permite responder vários questionamentos aproveitando o mesmo contexto inicial.

Entenda o contexto

O joey-1 é o terceiro integrante de uma família de modelos de decisão da Baseten. Ele se junta ao mammoth-1, de 27 bilhões de parâmetros, e ao elephant-1, de 9 bilhões, apresentados recentemente. Os três compartilham dados de treinamento e a mesma API, a rota /v1/systemone, o que permite alternar entre eles trocando apenas uma linha de código na aplicação.

Com isso, uma empresa pode usar o joey-1 na maior parte dos casos, escalando apenas as decisões mais complexas para modelos maiores ou mesmo para humanos. A Baseten destaca a calibração de confiança como peça central dessa estratégia. “Calibration lets you set a confidence threshold. Uncertain answers can escalate to elephant-1, mammoth-1 or a human”, descreve a documentação técnica.

Latência de 20 ms e custo de US$ 0,01 por milhão de tokens

Um dos principais argumentos da Baseten é a combinação de velocidade e preço. A empresa reporta “Baseten reports a P50 end-to-end latency of 20 ms for an average 2,000-token request. That is about 2.5x faster than elephant-1 (49 ms)”. A companhia também afirma que o joey-1 é cerca de cinco vezes mais rápido que modelos de decisão comparáveis, ainda que esses concorrentes não sejam nomeados.

No modelo de cobrança, a API do joey-1 custa “Model APIs charge $0.01 per 1M input tokens; output and cached input are listed at $0.00.” Já o elephant-1 sai por US$ 0,035 e o mammoth-1, por US$ 0,10 a cada 1 milhão de tokens de entrada. Em um exemplo fornecido pela empresa, processar 10 milhões de tickets de suporte por mês, com 500 tokens cada — 5 bilhões de tokens no total — custaria cerca de US$ 50 com o joey-1, contra US$ 500 usando o mammoth-1.

Essa diferença de ordem de grandeza no preço mira justamente operações em que cada centavo por interação conta, como grandes centrais de atendimento, plataformas digitais com alto volume de relatórios de usuários e sistemas de verificação de risco em serviços financeiros.

Desempenho em benchmarks de decisão

Nos testes divulgados pela Baseten, o joey-1 se posiciona entre modelos bem maiores em benchmarks específicos de tomada de decisão. “On the Jev Decision Index 0.4 public split, joey-1 scores 63.30. That ranks #37 of 230 models and is the top score under 4B.” O Jev Decision Index é um ranking comunitário hospedado no Hugging Face para avaliar a capacidade de modelos em tarefas de decisão.

Segundo a empresa, o joey-1 supera o modelo Jev 1.14 em quatro de cinco áreas avaliadas, incluindo linguagem, uso de ferramentas e recuperação de informação, embora ainda fique atrás do elephant-1 em todos os quesitos. Em outro índice interno, o Artificial Analysis Decision, o joey-1 alcança 62,9 pontos, contra 65,9 do mammoth-1.

A estratégia, portanto, não é disputar diretamente com os modelos topo de linha em capacidade bruta, mas oferecer um ponto de equilíbrio entre desempenho, custo e latência para cenários em que a escala pesa mais que a sofisticação máxima das respostas.

Pesos abertos e foco na comunidade

O joey-1 está disponível tanto na plataforma da Baseten, com suporte a fine-tuning via Baseten Training Jobs, quanto em repositórios públicos com pesos abertos sob licença MIT, listados no Hugging Face. A empresa também disponibiliza o modelo no OpenRouter, mantendo o mesmo preço de US$ 0,01 por milhão de tokens de entrada.

A abertura do modelo favorece times de engenharia que queiram customizar o comportamento para domínios específicos, como jurídico, saúde suplementar ou telecom, e integrar a solução em infraestruturas próprias. A Baseten reforça esse movimento com documentação, exemplos de uso e materiais como blog técnico e guias de fine-tuning.

A recepção inicial na comunidade de desenvolvedores é positiva, com forte engajamento em canais como o subreddit da Baseten, que reúne mais de 150 mil membros. A expectativa é que o ecossistema em torno do joey-1 ajude a acelerar novos casos de uso de modelos de decisão enxutos.

Pressão competitiva em modelos maiores

Ao combinar latência de 20 ms para 2.000 tokens com preço agressivo, o joey-1 tende a aumentar a pressão sobre fornecedores de modelos maiores e mais caros, que dominavam aplicações de decisão mesmo em cenários em que sua capacidade total não era necessária. Empresas de tecnologia, telecomunicações e serviços financeiros, entre outras, passam a ter um caminho mais barato para automatizar classificações e roteamentos em massa.

Concorrentes podem ser levados a rever preços, otimizar arquiteturas ou lançar variantes focadas em decisão com menos parâmetros. Para a Baseten, o próximo passo deve ser ampliar o portfólio de modelos otimizados para nichos e volumas específicos, consolidando a aposta em uma família de sistemas especializados em tomada de decisão automatizada.