OpenAI interrompe avanço da IA Astra por risco de habilidades cibernéticas “ofensivas”
Tudo sobre OpenAI
Nesta sexta-feira (07), a OpenAI anunciou a suspensão de atividades internas relacionadas ao Astra, um modelo de inteligência artificial ainda em desenvolvimento, após análises apontarem avanços considerados relevantes em programação autônoma e cibersegurança. A empresa informou que não conseguiu excluir a possibilidade de o sistema alcançar um nível crítico de capacidade ofensiva digital.Continua após a publicidadeA decisão foi tomada pela própria OpenAI após avaliações internas e análises de especialistas indicarem que o modelo poderia se aproximar de critérios de risco estabelecidos pelo framework de preparação da companhia. O caso envolve a preocupação com sistemas capazes de executar tarefas complexas de segurança digital sem supervisão humana.O anúncio ocorre em meio a uma sequência de episódios envolvendo testes de segurança com modelos de inteligência artificial. A OpenAI afirmou que o Astra não participou do incidente relacionado ao Hugging Face mencionado em avaliações anteriores.
Linhas de um código-fonte – (Reprodução: Chris Ried/Unsplash)A suspensão ocorreu depois que avaliações internas indicaram que o Astra apresentava melhorias significativas em tarefas relacionadas à criação de código e operações de segurança digital. Conforme a OpenAI, esses resultados foram suficientes para levantar a possibilidade de o modelo atingir o nível mais elevado de alerta previsto em sua estrutura de preparação.Dentro dos critérios estabelecidos pela empresa, uma inteligência artificial seria considerada de capacidade cibernética crítica caso conseguisse encontrar e desenvolver vulnerabilidades inéditas de diferentes níveis de gravidade em sistemas reais protegidos, sem auxílio humano, ou ainda criar estratégias completas de ataque contra alvos reforçados a partir de objetivos gerais.A companhia afirmou que a avaliação não significa que o Astra tenha realizado ataques ou explorado falhas em sistemas externos. Segundo a OpenAI, o modelo em desenvolvimento não teve participação no episódio envolvendo o Hugging Face.Novas medidas de proteção para modelos avançados
OpenAI – Imagem: Henry Franklin/ShutterstockComo resposta ao alerta, a OpenAI informou que pretende ampliar as exigências de segurança aplicadas a modelos com maior capacidade e às atividades associadas a eles. Entre as medidas anunciadas está a adoção de mecanismos mais rigorosos de controle.
A empresa também declarou que implementou monitoramento amplo para acompanhar ações consideradas arriscadas e possíveis sinais de desalinhamento em aplicações baseadas em agentes de inteligência artificial.O caso Astra reforça o debate sobre como empresas de tecnologia devem equilibrar o desenvolvimento de sistemas mais poderosos com mecanismos capazes de limitar usos perigosos. No episódio, a própria avaliação interna da OpenAI serviu como base para interromper temporariamente o avanço do modelo até que novos padrões de segurança fossem aplicados.
Wagner Edwards
Wagner Edwards é Bacharel em Jornalismo e atua como Analista de SEO e de Conteúdo no Olhar Digital. Possui experiência, também, na redação, edição e produção de textos para notícias e reportagens.
Ver todos os artigos →
