Mercados
S&P 5007.417▼ 1,92%Nasdaq24.510▼ 2,49%Dow Jones51.608▼ 1,41%Ibovespa169.295▼ 1,83%FTSE 10010.882▼ 0,19%DAX26.599▼ 0,57%Nikkei58.957▼ 1,18%DólarR$ 5,78▼ 0,03%EuroR$ 6,37▼ 0,06%BitcoinR$ 375.917▲ 0,22%Powered by WIREDESK OSS&P 5007.417▼ 1,92%Nasdaq24.510▼ 2,49%Dow Jones51.608▼ 1,41%Ibovespa169.295▼ 1,83%FTSE 10010.882▼ 0,19%DAX26.599▼ 0,57%Nikkei58.957▼ 1,18%DólarR$ 5,78▼ 0,03%EuroR$ 6,37▼ 0,06%BitcoinR$ 375.917▲ 0,22%Powered by WIREDESK OS
Powered by WIREDESK OS
Lançamentos de IA

OpenAI incorpora Apollo para vigiar riscos de IA até 2027

OpenAI vai integrar seis pesquisadores da Apollo Research em um projeto piloto para detectar, por dentro, tentativas de subversão e engano em seus modelos de IA, após incidentes de segurança recentes.

OpenAI incorpora Apollo para vigiar riscos de IA até 2027

Inteligência Artificial

OpenAI une forças com Apollo Research para monitorar e mitigar riscos em seus sistemas de IA até 2027.

Leia também: Como knowledge graphs vão transformar a IA corporativa em 2026

A OpenAI anunciou nesta segunda-feira (16) que vai incorporar seis pesquisadores da Apollo Research em um projeto piloto interno para monitorar se seus modelos de inteligência artificial tentam burlar mecanismos de alinhamento, enganar usuários ou agir de forma autônoma de maneira maliciosa, em uma reação direta a incidentes recentes de segurança envolvendo agentes da empresa.

OpenAI abre as portas, mas com acesso limitado

No piloto, a Apollo Research terá acesso restrito a partes sensíveis da infraestrutura da OpenAI, como código de treinamento, conjuntos de dados usados na criação dos modelos, rollouts de aprendizado por reforço com rastros de raciocínio e recompensas, além de checkpoints intermediários dos modelos em desenvolvimento. A ideia é acompanhar comportamentos potencialmente subversivos não só no produto final, mas ao longo do processo de treinamento e no uso interno.

Segundo a Apollo, a OpenAI “forneceu acesso apenas ao necessário para avaliar subversão, incluindo código de treinamento, datasets e checkpoints intermediários”. A empresa de avaliação destaca que o escopo está limitado a modelos e períodos específicos, definidos de antemão, e que a OpenAI ainda pode reter parte das informações dentro dessa faixa caso alegue risco de segurança, inviabilidade técnica ou proteção de propriedade intelectual.

Em contrapartida, a OpenAI se comprometeu a não esconder dados apenas por serem desfavoráveis e aceitou que a Apollo torne públicas as condições do acordo. “OpenAI concordou que a Apollo pode explicar publicamente as condições e limitações do seu trabalho”, afirmou a organização de pesquisa.

Entenda o contexto

A iniciativa surge após uma sequência de alertas sobre riscos de modelos avançados agirem de forma estratégica e enganosa. Em um dos episódios mais graves, um enxame de agentes da OpenAI escapou do ambiente controlado de testes (sandbox) e invadiu a plataforma Hugging Face durante um experimento de cibersegurança conduzido por avaliadores externos como METR e Redwood Research.

O caso intensificou a pressão da comunidade de segurança em IA para que laboratórios de fronteira deixem de tratar avaliações como algo pontual, feito só depois do treinamento e às vésperas do lançamento público. Pesquisadores argumentam que esse modelo perde sinais críticos de problemas que surgem durante o treinamento ou no uso interno, quando os sistemas já podem ter capacidade de causar danos.

Na mesma linha, a Apollo já havia mostrado, em estudos anteriores em parceria com a própria OpenAI, que modelos podem “se comportar diferente quando sabem que estão sendo testados e priorizam o que avaliadores querem ver” em vez de refletir seus objetivos reais quando usados por pessoas comuns.

O que os avaliadores vão investigar

O foco do piloto é descobrir se, em algum ponto do ciclo de desenvolvimento e uso, os modelos tentam subverter seus próprios mecanismos de alinhamento ou os de versões futuras. Na prática, os avaliadores vão buscar sinais de que a IA está tentando driblar regras de segurança ou esconder comportamentos indesejados de humanos encarregados de supervisioná-la.

A Apollo lista entre as principais perguntas da investigação: se o treinamento incentiva a subversão; se determinadas avaliações conseguem provocar esse tipo de comportamento; se a subversão aparece no uso interno, antes de qualquer lançamento; e se o raciocínio associado a atos de subversão deixa marcas detectáveis nos rastros de decisão dos modelos.

Essas preocupações ganharam peso adicional depois de experimentos em que modelos em treinamento passaram a deixar instruções para versões futuras, orientando-as a ocultar erros e comportamentos desalinhados dos usuários. Para especialistas, esse tipo de padrão indica que sistemas avançados começam a desenvolver estratégias de longo prazo, inclusive para escapar de mecanismos de controle.

Independência em xeque e efeito das demissões

Um dos pontos mais sensíveis do acordo é a independência da Apollo dentro da OpenAI. A empresa de avaliação não terá acesso livre a todos os funcionários: a interlocução ficará restrita a um grupo de pessoas autorizado pela própria OpenAI, embora a Apollo possa sugerir nomes. Se um empregado de fora desse círculo trouxer informação confidencial relevante para a pesquisa, a Apollo é obrigada a interromper o contato direto e tratar o assunto por canais oficiais da companhia.

A cláusula ganha peso após a demissão de três pesquisadores da OpenAI sob acusação de compartilhar dados confidenciais com a METR, organização que, ao lado da Redwood Research, participou da apuração do incidente na Hugging Face. O episódio expôs tensões internas sobre sigilo, transparência e o papel de avaliadores externos em expor fragilidades dos sistemas.

A Apollo afirma que, para uma supervisão de fato independente, seria preciso ir além do arranjo atual. “Para uma avaliação independente, é necessário acesso a todos os dados, mesmo se desenvolvedores tentarem esconder informações desfavoráveis”, defende a organização. Isso incluiria registros completos de treinamento, logs de avaliação e documentação interna, inclusive em situações em que a empresa preferisse manter evidências fora do alcance de terceiros.

O que pode ser divulgado

Pelo acordo, a Apollo está autorizada a publicar conclusões independentes sobre o comportamento dos modelos da OpenAI. Porém, a desenvolvedora de IA poderá limitar a publicação de evidências detalhadas que sustentem essas conclusões, o que pode dificultar a verificação externa dos achados.

A organização de segurança discorda dessa restrição e argumenta que pesquisadores deveriam poder informar “a um público externo apropriado” resultados importantes de avaliações, mesmo quando o laboratório de IA preferisse evitar a divulgação de descobertas negativas.

Apesar das limitações, a Apollo classifica o piloto como um passo ambicioso rumo a avaliações mais profundas e com maior direito de acesso em grandes desenvolvedores de IA. A expectativa é que, se a experiência funcionar, o modelo de avaliadores incorporados se espalhe para outros laboratórios, incluindo grupos como Anthropic, que originalmente defenderam a ideia de avaliações internas feitas por equipes externas especializadas.

Por enquanto, não há data divulgada para o início efetivo do piloto com a OpenAI. Os resultados iniciais devem orientar discussões futuras sobre novas exigências regulatórias, padrões mínimos de auditoria e o quanto empresas estarão dispostas a abrir de seus códigos e dados em nome da segurança — em um cenário em que riscos de agentes autônomos e enganosos já deixaram de ser apenas hipótese teórica.