Palavra de Sá

Criadora do ChatGPT diz que sua IA agiu por conta própria e lançou um ataque cibernético 'sem precedentes'

A OpenAI informou na terça-feira (21/7) que alguns de seus modelos de inteligência artificial mais avançados agiram por conta própria e lançaram um ataque cibernético contra uma startup depois que a empresa perdeu o controle sobre eles durante um teste de segurança.

A criadora do ChatGPT declarou que seu agente — um sistema de IA capaz de operar autonomamente após receber instruções iniciais de humanos — estava sendo testado em um ambiente controlado, mas encontrou vulnerabilidades e conseguiu escapar.

Fora do ambiente controlado, o sistema identificou a start up Hugging Face, uma espécie de biblioteca digital de tecnologia de IA muito usada por desenvolvedores, como a possível fonte para as respostas que estava procurando no teste, e chegou a acessar alguns sistemas internos da empresa.

A OpenAI classificou o incidente como algo "sem precedentes" e afirmou estar conduzindo uma investigação em conjunto com a Hugging Face.

Em seu comunicado inicial sobre a invasão, em 16 de julho, a Hugging Face informou que ainda estava avaliando se dados de clientes ou parceiros haviam sido afetados e que entraria em contato com as partes atingidas, se necessário.

A empresa afirmou que já corrigiu as vulnerabilidades apontadas pelo incidente e reconstruiu os sistemas afetados.

"Ferramentas ofensivas autônomas impulsionadas por IA já não são algo teórico", declarou a empresa. "Defender uma plataforma online agora significa tratar os dados e a superfície do modelo como uma superfície de ataque de primeira ordem, e utilizar IA na defesa para acompanhar o ritmo. Continuaremos investindo nessa área e compartilhando o que aprendermos."

O CEO da Hugging Face, Clement Delangue, declarou em uma publicação no X que é "impressionante que tudo isso tenha acontecido de forma autônoma". "A investigação está em andamento, e compartilharemos mais aprendizados sobre o que pode ser o primeiro incidente desse tipo", acrescentou.

<><> Ambientes de teste (sandboxes) inseguros

Gina Neff, diretora do Centro Minderoo de Tecnologia e Democracia da Universidade de Cambridge, na Inglaterra, disse ao programa Today, da BBC Radio 4, que os testes de segurança — conhecidos como sandboxes — "deveriam ser ambientes seguros onde é possível observar do que os modelos são capazes".

No entanto, em vez disso, os agentes criaram seu próprio ataque cibernético contra o ambiente de teste, encontrando uma vulnerabilidade que lhes permitiu escapar.

Neil Lawrence, professor de machine learning na Universidade de Cambridge, classificou o feito como "impressionante", mas ressaltou que ele "está totalmente dentro das capacidades conhecidas da geração atual" de modelos de IA de alto desempenho.

Ele observou que a OpenAI busca abrir seu capital na bolsa de valores e enfrenta forte pressão da rival Anthropic, que ganhou destaque com sua própria ferramenta de IA poderosa, a Mythos.

"A OpenAI está agora correndo atrás do prejuízo; eles estão tentando demonstrar as capacidades de seus próprios sistemas em segurança cibernética."

"Isso nos mostra que a OpenAI não é capaz de implementar sua própria tecnologia com segurança", acrescentou.

<><> 'Momento de reflexão'

O incidente levantou novas questões sobre as capacidades de sistemas avançados de IA e se as salvaguardas existentes são suficientes à medida que a tecnologia se torna mais poderosa.

Spencer Starkey, executivo da empresa de cibersegurança SonicWall, disse à BBC que o episódio deixou claro que as organizações precisam "intensificar" suas defesas e "tratar a resiliência cibernética como uma prioridade operacional fundamental".

"A verdade desconfortável é que muitas organizações ainda se defendem na velocidade humana, enquanto os adversários estão avançando para a velocidade das máquinas", afirmou.

Enquanto isso, Travis Lelle, engenheiro-chefe de segurança da consultoria Guidepoint Security, disse que a atualização marcou um "momento de reflexão na cibersegurança". "Isso evidencia uma assimetria conhecida", disse ele.

"Os agentes ofensivos não têm restrições, enquanto as melhores ferramentas de defesa estão limitadas por mecanismos de controle que não conseguem compreender o contexto."

No entanto, Jake Moore, consultor global de cibersegurança da ESET, observou que o anúncio também poderia ter uma dimensão competitiva.

Ele argumentou que a OpenAI pode estar tentando destacar suas próprias capacidades de IA, uma vez que a rival Anthropic atrai cada vez mais atenção com seu modelo Claude Mythos.

"Isso levanta a questão de se a OpenAI estaria tentando alcançar o sucesso de marketing da Anthropic", disse.

O fato ocorre uma semana após a startup chinesa de IA Moonshot apresentar o Kimi K3 — um novo e gigantesco modelo de inteligência artificial que, segundo a empresa, pode rivalizar com as principais companhias dos EUA.

 

Fonte: BBC News