GPT Astra ajusta pesos de outras IAs e melhora desempenho rápido

Inteligência Artificial

Novo método permite que o GPT-6 Astra otimize outros modelos de IA sem necessidade de treinamento adicional.

Leia também: Oumi libera retreinamento de modelos em agentes de IA

Pesquisadores do MIT apresentaram nesta semana o GPT-6 Astra, modelo da OpenAI capaz de analisar e modificar diretamente os pesos internos de outras inteligências artificiais, reajustando o comportamento desses sistemas sem passar pelo processo tradicional de treinamento e com ganhos expressivos de desempenho em jogos e tarefas matemáticas.

O que é o ‘Weight-Space Programming’

A técnica foi batizada de “Weight-Space Programming”. Em vez de treinar um modelo do zero, com milhões de exemplos e otimização matemática passo a passo, o GPT Astra recebe as matrizes de números que compõem a rede — os chamados pesos — e atua como um editor direto desses valores.

Os pesquisadores comparam o processo a um “mecânico” de modelos: “O modelo atua como um mecânico girando botões individuais”, descreve a equipe do MIT. O Astra tanto interpreta o que um modelo já aprendeu, a partir dos pesos, quanto gera novos conjuntos de pesos para redes do zero, usando programação e feedback de testes, sem acessar dados de treinamento originais nem executar os modelos-alvo.

Entenda o contexto

Treinar grandes modelos de IA costuma exigir infraestrutura pesada, consumo alto de energia e ciclos longos de ajustes finos. Cada mudança de comportamento — como tornar um assistente mais seguro ou melhorar desempenho em uma prova de matemática — normalmente implica novo treino ou retreino, com alto custo técnico e financeiro.

Ao permitir que um modelo de linguagem leia e “reescreva” diretamente a estrutura numérica de outra rede, o MIT e a OpenAI buscam cortar esse caminho. A promessa é ajustar sistemas já em produção com muito mais rapidez, precisão e controle, algo atraente para empresas que mantêm assistentes virtuais, sistemas de recomendação, motores de jogos e ferramentas de segurança cibernética em atualização constante.

GPT Astra decifra o que outros modelos aprenderam

Nos primeiros experimentos, os cientistas entregaram ao GPT Astra apenas os pesos crus de redes já treinadas e pediram que ele dissesse o que aquelas redes sabiam fazer. Em um dos testes, o modelo identificou corretamente para qual de quatro jogos de computador cada rede havia sido treinada, apenas a partir das matrizes numéricas.

Em outro, o Astra analisou pesos de geradores de imagem e conseguiu reconhecer as formas básicas que essas redes produziam, embora ainda confundisse contornos com figuras preenchidas. Em modelos de linguagem pequenos, o sistema foi capaz de inferir corretamente o idioma de treinamento sem rodar os modelos nem acessar os textos usados na aprendizagem original.

Os pesquisadores também testaram se o Astra conseguiria detectar diferenças comportamentais mais sutis. Diante de pares de modelos de linguagem, um deles ajustado para sempre concordar com o usuário, o GPT inicialmente não distinguiu os dois apenas pelos pesos. Quando passou a observar também quais partes do texto cada modelo “prestava atenção” durante o processamento, conseguiu identificar o modelo bajulador em todos os pares avaliados.

Astra escreve modelos que jogam sozinhos

Na etapa seguinte, o GPT Astra deixou de apenas interpretar pesos para gerar redes inteiras. Com base nas regras e no código-fonte de três jogos simples, o sistema produziu do zero os pesos de modelos encarregados de jogar, sem treinamento convencional.

De acordo com a equipe do MIT, em testes de até 100 milhões de rodadas, esses modelos gerados pelo Astra chegaram a superar redes treinadas por métodos padrão. No jogo Breakout, por exemplo, a rede escrita pelo GPT atingiu, em média, 517 pontos, contra 25 do modelo baseline tradicional, uma diferença de mais de 20 vezes. Em outros dois jogos, porém, o desempenho ficou abaixo do obtido pelos agentes mais longamente treinados.

O grupo repetiu o exercício com o jogo de tabuleiro Go, em configuração de 9×9. O Astra escreveu os pesos de uma rede com cerca de 1,5 milhão de parâmetros e recebeu um orçamento de 50 iterações de teste: a cada rodada, o modelo jogava até 128 partidas de prática, tinha seu desempenho avaliado e, em seguida, passava por correções de peso geradas pelo GPT. Ao final, esse sistema superou um modelo de tamanho parecido que havia sido treinado de forma clássica em torno de 20 milhões de jogos.

Modelo Qwen tem salto em matemática com 0,016% de pesos trocados

O experimento mais prático mirou um modelo de linguagem usado fora do laboratório, o Qwen3.5-0.8B. A missão do GPT Astra era clara: melhorar as habilidades matemáticas do Qwen, operando dentro de um ambiente de programação e com 50 iterações de testes em listas de problemas.

Ao vasculhar os pesos, o Astra identificou um comportamento já conhecido nos documentos do próprio Qwen: loops de pensamento, em que o modelo se prende a repetições de texto sem chegar à resposta. Em vez de recomeçar o treinamento, o GPT alterou apenas 0,016% de todos os pesos do Qwen.

Os efeitos foram marcantes. No benchmark MATH-500, dedicado a problemas matemáticos desafiadores, a precisão subiu de 7,9% para 48,1%. Na capacidade de seguir instruções em testes específicos, o modelo melhorado saltou de 21% para 62%. Os loops de pensamento diminuíram significativamente, embora não tenham sido totalmente eliminados: cerca de um terço das respostas ainda estourou o tamanho máximo de texto, contra 93% antes da intervenção.

Em contraste, quando os pesquisadores aplicaram a mesma técnica a um modelo menor, o Gemma 3 270M, que raramente apresentava esses loops, o GPT Astra não conseguiu produzir melhorias mensuráveis. A hipótese da equipe é que o Astra, nesse cenário, removeu bloqueios que impediam o uso pleno de capacidades já presentes no Qwen, mas não chegou a “criar” habilidades que a arquitetura não possuía.

Reação da comunidade e disputa por originalidade

A divulgação do trabalho gerou reações imediatas na comunidade de inteligência artificial. O pioneiro Jürgen Schmidhuber, referência histórica na área, minimizou a novidade conceitual ao afirmar que a abordagem é “velha conhecida”, em alusão a pesquisas que assinou décadas atrás. “A abordagem é velha conhecida”, reforçou ele em uma postagem.

Um dos autores do estudo, o pesquisador Khattab, respondeu dizendo que os trabalhos antigos são citados e que estavam “muito à frente de seu tempo”. Para ele, o diferencial atual não está na ideia abstrata de mexer em pesos, mas na ferramenta usada: “A nova vantagem é como os modelos de linguagem atuais traduzem entre linguagem humana e valores numéricos”, argumenta.

Em outras palavras, o GPT Astra funciona como um tradutor entre descrição em linguagem natural do que se quer de um modelo — ser mais confiável, menos enviesado, melhor em matemática — e mudanças concretas nos bilhões de números que definem o comportamento dessa rede.

Impactos para indústria, segurança e regulação

Se a técnica se mostrar robusta em escala, o impacto tende a ser amplo. Para empresas que desenvolvem e operam sistemas de IA, o “Weight-Space Programming” promete reduzir o custo e o tempo de ajuste fino, permitindo correções e melhorias em ciclos muito mais curtos. Em vez de agendar grandes rodadas de retraining em data centers, equipes poderiam delegar a modelos como o GPT Astra a tarefa de reprogramar pesos de forma cirúrgica conforme surgem problemas ou novas demandas.

Setores que exigem atualizações constantes, como jogos on-line, assistentes virtuais corporativos, plataformas de recomendação e soluções de cibersegurança, aparecem entre os primeiros beneficiados. A própria segurança de modelos de IA pode ser reforçada, já que auditorias e intervenções comportamentais passam a ser feitas diretamente na estrutura interna da rede, sem necessidade de reexpor dados sensíveis.

Para reguladores e órgãos de supervisão, a técnica abre a possibilidade de exigir ajustes mais rápidos diante de riscos identificados — de discurso de ódio a falhas em sistemas usados em infraestruturas críticas. Por outro lado, o avanço coloca pressão sobre fornecedores tradicionais de serviços de treinamento, que baseiam seus negócios em infraestrutura pesada e longos ciclos de otimização.

Limites, próximos passos e código aberto

Apesar dos resultados chamativos, os próprios pesquisadores destacam que o GPT Astra não é um editor mágico de qualquer rede. Os experimentos mostraram limites claros: a técnica se mostrou mais eficaz em modelos maiores e arquiteturas complexas, enquanto redes compactas, com menos “folga” estrutural, oferecem menos espaço para melhorias dirigidas.

Problemas difíceis, como a eliminação completa de loops de pensamento em modelos de linguagem, também permanecem sem solução. Em muitos casos, o Astra parece desbloquear capacidades latentes, e não criar competências totalmente novas.

O grupo planeja agora desenvolver benchmarks específicos para medir de forma sistemática o que modelos como o GPT Astra conseguem — e não conseguem — fazer ao programar no espaço de pesos. Como parte do esforço para fomentar pesquisas abertas, os registros detalhados dos experimentos foram disponibilizados em repositório público, e a versão editada do modelo Qwen foi publicada em plataforma de modelos compartilhados.

O desempenho e os limites observados nesta fase devem orientar a próxima leva de trabalhos, que tende a expandir a técnica para diferentes tipos e tamanhos de modelos, em aplicações que vão da indústria de software a políticas de segurança e regulação da inteligência artificial.