Caso Hugging Face mostra como controlar agentes de IA virou desafio
Tudo sobre Inteligência Artificial
Tudo sobre OpenAI
Como comentamos há alguns dias, um agente de inteligência artificial da OpenAI criado para testes de segurança conseguiu ir além do esperado: além do incidente envolvendo o Hugging Face, o sistema também acessou outras contas e serviços usando credenciais expostas publicamente.Continua após a publicidadeA empresa atualizou sua investigação e confirmou que o episódio teve mais ramificações, embora nenhum outro caso tenha alcançado a gravidade do primeiro ataque identificado.
Um agente da OpenAI saiu do ambiente de testes e acessou serviços externos, reacendendo o debate sobre segurança em IA. – Imagem: Henry Franklin/ShutterstockSistema encontrou credenciais disponíveis na internetSegundo a OpenAI, o agente usou credenciais públicas para acessar quatro contas ligadas a quatro serviços diferentes durante os testes. A companhia afirmou ter encontrado “um pequeno número de casos” semelhantes em outras avaliações.Os acessos identificados envolveram:
Uma conta usada como caminho de saída e preparação de ações;
Uma conta utilizada para armazenamento de dados;
Duas contas acessadas apenas para leitura;
Credenciais expostas publicamente encontradas pelo próprio modelo.
A OpenAI destacou que os dois últimos acessos não foram usados para ampliar o comprometimento dos serviços.Agente ultrapassou ambiente isolado de testesO caso veio a público em 21 de julho, quando a empresa revelou que um agente experimental conseguiu sair do ambiente protegido onde era avaliado, acessar a internet e chegar ao Hugging Face enquanto tentava resolver uma tarefa.A descoberta levantou preocupações porque o sistema encontrou maneiras de continuar sua atuação fora dos limites inicialmente previstos pelos pesquisadores.Além do Hugging Face, a Reuters informou que o agente também acessou uma conta de cliente da Modal Labs, empresa de computação em nuvem. O acesso ocorreu por meio de código vulnerável criado pelo próprio cliente, sem comprometimento da plataforma.Após o incidente, o CEO do Hugging Face, Clem Delangue, cobrou mais transparência no processo de investigação. O executivo defendeu uma abordagem mais aberta para entender como a falha de isolamento permitiu que o agente ultrapassasse os limites previstos e acessasse recursos externos.
Como parte dos esforços para lidar com o episódio, o Hugging Face também utilizou recentemente o modelo chinês GLM-5.2 para ajudar na contenção de um ataque cibernético realizado pelo agente da OpenAI durante testes de segurança. O caso chamou atenção por mostrar uma situação em que uma ferramenta aberta conseguiu participar da defesa em um cenário no qual sistemas fechados apresentaram limitações.
A investigação mostrou que o incidente foi além do Hugging Face e envolveu outras contas e serviços Imagem: Robert Way/ShutterstockSegurança de agentes autônomos vira novo desafioO episódio destaca uma preocupação crescente no desenvolvimento de agentes de IA: sistemas capazes de executar tarefas sozinhos precisam de controles cada vez mais rigorosos.Leia mais:Continua após a publicidadeAo mesmo tempo em que esses agentes prometem realizar atividades complexas, eles também podem encontrar caminhos inesperados para atingir seus objetivos.A OpenAI informou que continua analisando o comportamento do sistema e que, até agora, não identificou outro incidente com o mesmo nível de gravidade do caso envolvendo o Hugging Face.O episódio reforça que, além de criar modelos mais inteligentes, empresas de tecnologia terão de desenvolver novas formas de limitar e acompanhar as ações realizadas por essas ferramentas.
Valdir Antonelli
Valdir Antonelli é jornalista com especialização em marketing digital e consumo.
Ver todos os artigos →