AI2 lança StateBench e revela limites das IAs em textos longos

Inteligência Artificial

Novo benchmark avalia a capacidade das IAs em acompanhar mudanças em textos extensos, destacando desafios dos modelos atuais.

Leia também: OpenAI contrata ex-chefe do Exército para liderar IA militar

Pesquisadores do Allen Institute for AI (AI2) lançaram nesta semana o StateBench, um novo benchmark para avaliar como modelos de linguagem rastreiam estados e mudanças de entidades ao longo de documentos longos, e mostraram que arquiteturas baseadas apenas em transformers perdem fôlego justamente nos cenários mais complexos.

O que é o StateBench e o que ele testa

O StateBench reúne problemas sintéticos que simulam tarefas de rastreamento de estado, como acompanhar atribuições de variáveis em código ou mudanças de posse de objetos em uma narrativa. A ideia é medir até onde cada arquitetura consegue manter, atualizar e combinar informações espalhadas por cadeias longas de dependências.

O benchmark é organizado em quatro níveis de dificuldade — r-trivial, aperiodic, soluble e general finite — que correspondem a tipos progressivamente mais complexos de operações de atribuição de variáveis. Esses níveis são fundamentados na teoria algébrica de Krohn–Rhodes, que decompõe problemas de rastreamento de estado em “primitivas” atômicas.

Para permitir comparações justas, os quatro níveis usam o mesmo número de variáveis e de valores distintos, com as atribuições acontecendo nos mesmos pontos da sequência. O que muda, em cada versão, é apenas o tipo de operação permitida, o que torna possível isolar a complexidade lógica de cada tarefa.

Como os modelos foram avaliados

No primeiro conjunto de experimentos, o AI2 testou modelos de linguagem pré-treinados abertos, todos com contexto máximo de 64.000 tokens durante o treinamento. Entraram aí dois modelos de 7 bilhões de parâmetros — Olmo 3, puramente transformer, e Olmo Hybrid, que combina camadas transformer com Gated DeltaNet — além de modelos menores com 275 milhões e 2,7 bilhões de parâmetros.

Esses modelos foram avaliados em diferentes comprimentos de sequência, incluindo entradas maiores do que qualquer contexto visto na fase de pré-treinamento. O objetivo era identificar o ponto em que o rastreamento de estado “quebra” em cada arquitetura e em cada nível de dificuldade.

O formato dos problemas também variou: alguns foram apresentados em estilo próximo ao benchmark RULER, outros como edições de planilhas. A mudança de formato, mantendo o mesmo problema lógico subjacente, permitiu medir o quanto a performance depende da forma como a informação é apresentada.

Limites dos transformers aparecem nos níveis mais difíceis

Os resultados confirmam previsões teóricas para transformers em tarefas de rastreamento de estado. Em um trecho do relatório, os pesquisadores escrevem que “transformers have well-documented theoretical limits on hard variants of state tracking with long dependency chains”, em referência à dificuldade desses modelos em cadeias longas de dependências.

Na prática, quase todos os modelos avaliados se saíram bem nos problemas r-trivial, os mais simples. Já no nível aperiodic, a acurácia começou a cair à medida que o tamanho do input aumentava. No nível mais complexo, o general finite, os modelos permaneceram em desempenho próximo ao acaso.

O formato também pesou: o modelo híbrido e o Gated DeltaNet de 275 milhões de parâmetros ficaram perto do teto em problemas r-trivial no estilo RULER, mas caíram para perto do nível de chance quando os mesmos problemas foram apresentados como edições de planilhas. Essa discrepância é uma das razões para o StateBench testar o mesmo problema em vários formatos.

Modelos de ponta também falham em tarefas complexas

Além dos modelos abertos, o AI2 avaliou quatro sistemas de ponta: Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol e GPT-6 Luna. Os modelos foram instruídos a ler sequências de atribuições de variáveis e gerar o valor final de cada variável após todas as atualizações.

Segundo o relatório, “all four performed well on r-trivial and aperiodic problems. But on soluble and general finite problems, accuracy fell sharply as inputs grew longer”. Em problemas general finite mais extensos, a acurácia caiu para 13% ou menos, evidenciando uma queda acentuada de desempenho justamente quando mais etapas influenciam o resultado final.

Os pesquisadores apontam que, nos níveis mais difíceis, muitos passos da sequência podem alterar a resposta correta, deixando pouco espaço para que o modelo “ignore” atualizações sem errar. Essa sensibilidade torna o rastreamento consistente de estado particularmente desafiador para arquiteturas baseadas em atenção tradicional.

Modelos híbridos e recorrentes se destacam

Para separar os limites de arquitetura dos efeitos do pré-treinamento, o AI2 treinou do zero vários modelos de 275 milhões de parâmetros diretamente nas tarefas do StateBench: duas variantes de transformers, dois modelos híbridos e dois Gated DeltaNet, com diferentes restrições de atualização de memória.

Todos foram treinados em sequências com até 256 atribuições e depois testados em entradas muito maiores, chegando a 64.000 atribuições — aproximadamente 250 vezes o comprimento máximo visto em treinamento.

Nesse cenário, as arquiteturas começaram a divergir com clareza. Os pesquisadores relatam que “we find that recurrent and hybrid models can generalize much farther than transformers when trained directly on these tasks”. Gated DeltaNet e modelos híbridos generalizaram quase perfeitamente nos níveis r-trivial, aperiodic e soluble mesmo em sequências com dezenas de milhares de atribuições.

Transformers, por sua vez, conseguiram aprender os níveis mais simples, mas tiveram degradação significativa em sequências mais longas e não chegaram a dominar o nível general finite, mesmo com treinamento direcionado.

No nível mais difícil, a variante do Gated DeltaNet com atualização de memória mais flexível foi a que avançou mais: ela manteve desempenho próximo do perfeito em sequências com comprimento cerca de dez vezes maior do que o máximo observado na fase de treinamento.

Para os modelos híbridos e Gated DeltaNet, o contraste entre desempenho pré-treinado e desempenho após treinamento direto indica que o gargalo, nesses casos, é de treinamento e dados — não da arquitetura em si. No caso dos transformers, porém, a dificuldade persiste mesmo com treinamento específico, sugerindo um limite estrutural mais rígido.

Entenda o contexto

Rastreamento de estado é uma capacidade central para aplicações de IA que lidam com contextos longos: desde ler e entender bases de código complexas, onde variáveis são criadas, modificadas e reutilizadas, até acompanhar tramas com muitos personagens, documentos jurídicos extensos ou longas conversas em atendimento automatizado.

Na prática, isso significa saber responder, com precisão, quem tem qual informação em um processo, qual é o valor atual de uma variável crucial em um programa, onde está um personagem depois de dezenas de cenas ou o que foi combinado em um contrato após idas e vindas de revisões.

O problema é que, embora modelos baseados em transformers tenham permitido avanços grandes em linguagem natural, estudos teóricos e empíricos vêm apontando dificuldades estruturais para lidar com cadeias muito longas de dependências e estados que mudam repetidamente ao longo do texto.

Ao propor níveis graduais de dificuldade e fundamentados em teoria formal, o StateBench tenta preencher uma lacuna importante: benchmarks de rastreamento de estado costumam focar apenas nas variantes mais difíceis, sem mostrar como cada arquitetura se comporta nos cenários intermediários, mais próximos de muitos usos reais.

Impacto para o desenvolvimento de modelos e aplicações

Os achados do AI2 têm implicações diretas para o desenvolvimento da próxima geração de modelos de linguagem e para setores que dependem de compreensão profunda de textos longos. Se modelos topo de linha perdem precisão em níveis mais complexos de rastreamento de estado conforme o input cresce, isso afeta a confiabilidade de aplicações críticas, como análise de grandes bases jurídicas, auditoria de código ou investigação jornalística com muitos documentos.

Ao mesmo tempo, o bom desempenho de modelos híbridos e recorrentes, como os baseados em Gated DeltaNet, reforça a aposta da comunidade em arquiteturas com memória mais flexível, que carregam um estado ao longo da sequência em vez de depender apenas de atenção sobre o contexto inteiro.

Os autores do StateBench sugerem que o benchmark pode orientar tanto projetos acadêmicos quanto investimentos da indústria, ao deixar mais claro quais tipos de tarefa cada arquitetura domina ou não. A expectativa é que os resultados estimulem o desenvolvimento de modelos híbridos e recorrentes mais sofisticados e de esquemas de treinamento que ensinem explicitamente essas capacidades.

A disponibilização do StateBench em repositórios públicos de dados e código, por meio da plataforma Hugging Face, deve facilitar a adoção do benchmark por laboratórios de pesquisa e empresas. Isso abre espaço para comparações padronizadas entre modelos, colaborações em torno de novas variantes de tarefas e, no limite, arquiteturas mais robustas para rastreamento de estado em contextos longos, com impacto direto em assistentes virtuais, ferramentas de programação e sistemas de suporte à decisão usados por milhões de pessoas.