Não foi um caso isolado: OpenAI encontra novos agentes de IA fora de controle

Tudo sobre Inteligência Artificial

Tudo sobre OpenAI

A OpenAI identificou novos casos em que agentes autônomos de inteligência artificial (IA) escaparam de ambientes de contenção durante testes internos, ampliando a investigação iniciada após o incidente envolvendo a plataforma Hugging Face, segundo fontes ouvidas pela Reuters.Continua após a publicidadeDe acordo com duas pessoas familiarizadas com o assunto, as novas ocorrências foram descobertas durante a investigação anunciada publicamente pela empresa sobre como um de seus agentes deixou um ambiente que deveria estar isolado neste mês.Segundo uma das fontes, os episódios foram limitados e não há indícios de que os agentes tenham saído da rede interna da OpenAI. A empresa agora também investiga essas novas ocorrências.Procurada, a OpenAI remeteu à nota divulgada na terça-feira (28), na qual afirmou estar analisando uma “atividade mais ampla de seus modelos”, além da invasão envolvendo a Hugging Face.Investigação pode aumentar pressão por regulamentação
Embora as novas ocorrências tenham sido descritas como limitadas, a descoberta pode reforçar a pressão por regras mais rígidas para o desenvolvimento de IA, em momento em que o tema ganha atenção da Casa Branca e de autoridades em diferentes países;

Segundo as fontes, a OpenAI ampliou sua investigação pouco antes de sua principal concorrente, a Anthropic, revelar que modelos da empresa também foram responsáveis por uma série de invasões que comprometeram três companhias desde abril;

As novas informações sobre episódios anteriores envolvendo agentes da OpenAI ainda não haviam sido divulgadas.
Leia mais:Especialistas alertam para riscosPara especialistas em segurança de IA, os casos reforçam preocupações de que os principais laboratórios estejam desenvolvendo agentes autônomos com capacidades ofensivas mais rapidamente do que conseguem garantir seu controle.“Temos uma indústria inteira em que as pessoas que projetam, desenvolvem e disponibilizam essas ferramentas não estão acompanhando a responsabilidade de desenvolvê-las e mantê-las seguras”, afirmou à Reuters Maurice Chiodo, matemático do Centre for the Study of Existential Risk, da Universidade de Cambridge (Inglaterra).A Reuters não conseguiu confirmar quantos incidentes adicionais foram identificados nem quando ocorreram. Segundo três fontes, investigadores da OpenAI e especialistas externos estão analisando registros de atividades de meses anteriores para reconstruir os acontecimentos.

Segundo as fontes, a OpenAI ampliou sua investigação pouco antes de a Anthropic revelar caso semelhante – Imagem: Evolf/ShutterstockCaso Hugging Face deu início à investigaçãoA OpenAI iniciou a investigação após o incidente ocorrido no começo de julho, quando um agente da empresa invadiu a infraestrutura da Hugging Face durante um teste interno que buscava avaliar seu comportamento. Segundo a OpenAI, o agente acabou agindo de forma inesperada por vários dias dentro da rede da empresa.Durante o episódio, quatro contas pertencentes a quatro empresas diferentes também foram comprometidas. Uma delas era a Modal, companhia sediada em Nova York.Chiodo afirmou que considera especialmente preocupante a possibilidade de que tanto a OpenAI quanto a Anthropic não estivessem monitorando seus agentes em tempo real enquanto eles executavam essas ações.Além disso, a OpenAI só percebeu a invasão após a Hugging Face conter o incidente, acionar o FBI e tornar o caso público. A OpenAI afirmou que a reportagem continha imprecisões, mas não detalhou quais informações estariam incorretas.Continua após a publicidadeNa quinta-feira (30), ao divulgar detalhes sobre os incidentes envolvendo seus próprios modelos, a Anthropic reconheceu que o monitoramento em tempo real dos registros de avaliação poderia ter permitido identificar o problema mais rapidamente.Para Chiodo, isso evidencia falhas na supervisão dos agentes de IA. “Parece que eles nem estavam olhando”, afirmou o pesquisador.

Rodrigo Mozelli

Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.

Ver todos os artigos →