Tecnologia

A OpenAI decidiu adiar partes do desenvolvimento e do lançamento do Astra, seu próximo modelo de inteligência artificial (IA), após avaliações internas indicarem capacidades consideradas de nível crítico em cibersegurança. A empresa afirma que o sistema consegue encontrar vulnerabilidades desconhecidas e desenvolver formas de explorá-las em sistemas protegidos, sem que uma pessoa precise orientar cada etapa.

A decisão foi anunciada nesta terça-feira (1º), em publicação da OpenAI. Segundo a empresa, o Astra é o primeiro modelo a atingir o nível “Crítico” de cibersegurança dentro de seu Preparedness Framework, sistema usado para avaliar capacidades avançadas que podem representar riscos de danos graves.

Astra supera GPT-5.6 Sol em testes de cibersegurança

De acordo com a OpenAI, o Astra representa um avanço significativo em relação ao GPT-5.6 Sol, tanto na capacidade de identificar vulnerabilidades quanto no desenvolvimento de exploits. O modelo também é considerado mais eficiente no uso de tokens.

Em uma avaliação chamada ExploitBench, o Astra obteve 100% de aproveitamento no desenvolvimento de exploits a partir de vulnerabilidades conhecidas. A empresa criou posteriormente uma versão interna do teste, com 20 vulnerabilidades de alta gravidade divulgadas mais recentemente, para reduzir possíveis efeitos de contaminação do treinamento.

Nesse ambiente, o Astra apresentou taxas maiores de execução arbitrária de código do que o GPT-5.6 Sol usando uma quantidade menor de tokens. Durante os testes, também identificou e utilizou duas vulnerabilidades zero-day como parte de uma cadeia de exploração. A OpenAI afirma que está trabalhando para divulgar essas falhas aos responsáveis pelos sistemas afetados.

Em avaliações conduzidas por especialistas, o modelo encontrou vulnerabilidades até então desconhecidas em um navegador e em um sistema operacional protegidos. Em um dos testes, conseguiu montar uma cadeia para escapar do sandbox do navegador e executar comandos no computador hospedeiro. Em outro, combinou vulnerabilidades para obter escalação de privilégios de um usuário sem privilégios até root.

Empresa reforçou medidas de segurança

A OpenAI afirma que atrasou partes do desenvolvimento e do lançamento do Astra nas últimas semanas para fortalecer e testar proteções contra uso malicioso e ações não autorizadas do modelo.

Entre as medidas está um treinamento adicional para que o Astra recuse com maior consistência solicitações de assistência cibernética proibida. Em testes de jailbreaks relacionados a cibersegurança, o modelo recusou 91,5% das solicitações, contra 59% do GPT-5.6 Sol.

A empresa também implementou proteções adicionais para usuários considerados de maior risco e ampliou o contexto analisado pelos sistemas de monitoramento para identificar possíveis abusos. Além disso, a OpenAI diz estar realizando novos testes de segurança, incluindo avaliações internas e externas e uma nova rodada de red teaming.

Outro mecanismo adotado é o monitoramento do raciocínio e das ações dos agentes, capaz de identificar comportamentos potencialmente desalinhados e interromper atividades não autorizadas.

Astra não participou do ataque à Hugging Face

A decisão de reforçar as proteções ocorre após o incidente envolvendo agentes da OpenAI e a plataforma Hugging Face. A empresa ressaltou que o Astra não participou do ataque, mas incorporou ao desenvolvimento do novo modelo os aprendizados obtidos com o caso.

Após o incidente, a OpenAI interrompeu durante duas semanas determinadas atividades de treinamento de fronteira, incluindo parte do treinamento do Astra, enquanto reforçava a infraestrutura de treinamento, o isolamento de sistemas, os controles de rede e os mecanismos de monitoramento.

Em 28 de agosto, a empresa retomou uma grande execução de treinamento de aprendizado por reforço de fronteira que havia sido suspensa. Algumas execuções experimentais menores, porém, continuam temporariamente interrompidas.

A OpenAI também criou um teste inspirado no episódio da Hugging Face para verificar se os modelos tentariam comprometer uma infraestrutura de segurança em vez de realizar a tarefa solicitada. Sem as proteções de produção, o GPT-5.6 Sol tentou acessar os alvos em 56% dos testes. O Astra não fez essas tentativas nas mesmas avaliações.

Acesso às funções avançadas será limitado

A OpenAI afirma que pretende disponibilizar o Astra em breve, mas as capacidades mais avançadas de cibersegurança terão acesso restrito inicialmente.

O trabalho avançado de cibersegurança será oferecido primeiro a um pequeno grupo de testadores. Depois, o acesso deverá ser ampliado por meio do Daybreak Blue, programa voltado ao uso defensivo dessas capacidades.

A empresa também alerta que as novas camadas de segurança podem interferir em atividades legítimas. Em alguns casos, uma tarefa poderá ser desacelerada, pausada ou interrompida quando os sistemas identificarem um possível uso indevido ou comportamento não autorizado.

No ChatGPT ou no Codex, usuários poderão ser solicitados a revisar uma ação antes de continuar caso o monitoramento de desalinhamento interrompa a tarefa. Em outras interfaces, como a API, a atividade será encerrada.

A OpenAI afirma que divulgará informações adicionais sobre os testes de segurança, proteção e alinhamento do Astra no System Card do modelo, quando ocorrer o lançamento.

O post Risco crítico: OpenAI adia modelo Astra após testes de cibersegurança apareceu primeiro em Olhar Digital.