Palavra de Sá

Dona do ChatGPT diz que seus robôs podem ter invadido sistemas de vários órgãos do governo dos EUA

A OpenAI reconheceu ter alertado "dezenas" de instituições globais de que seus sites podem ter sido alvo de manipulação indevida por seus bots de inteligência artificial (IA).

Agentes de IA tentaram obter informações de "governos, universidades, agências públicas e outras instituições", incluindo a Comissão de Valores Mobiliários dos EUA (SEC), o Departamento do Censo e o Departamento de Educação, afirmou a dona do ChatGPT.

As revelações surgem dias depois que o primeiro-ministro australiano, Anthony Albanese, anunciou que agentes da OpenAI violaram arquivos não públicos no site do seu programa de saúde governamental.

Desde agosto, crescem os temores públicos sobre os impactos potencialmente graves e até mesmo fatais das ferramentas de IA que saem do controle humano.

A OpenAI afirmou que alguns dos dados foram acessados por agentes de IA, essencialmente bots projetados e treinados para operar de forma um tanto autônoma, que estavam trabalhando para encontrar "fontes confiáveis de informação pública".

Mas a empresa observou que alguns dos bots foram além disso e trabalharam para burlar as medidas de segurança dos sites.

Ao tentar obter informações do Departamento do Censo, por exemplo, os agentes de IA usaram ferramentas reservadas para desenvolvedores de software para acessá-las, disse a empresa.

A OpenAI afirmou que todos os dados governamentais acessados pelos bots eram públicos.

No entanto, a empresa observou que informações acessadas por seus bots junto à SEC, órgão que regula o mercado de ações dos EUA e protege os investidores, foram posteriormente publicadas por agentes de IA em outro site. A OpenAI afirma que essa ação não foi intencional.

Em outros casos divulgados pela OpenAI na sexta-feira (25/9), seus agentes de IA transferiram dados quando não deveriam.

Essa atividade resultou em pelo menos 53 incidentes em que um agente da OpenAI capturou uma imagem da atividade do usuário do ChatGPT e a transferiu para outro local.

A empresa afirmou que, em cada caso em que uma imagem do usuário foi usada e transferida por um agente de IA, o usuário optou por permitir que a OpenAI treinasse modelos usando seus dados.

No entanto, a empresa admitiu que "este não é um uso apropriado desses dados."

Acrescentou ainda que o vazamento de imagens de usuários ocorreu antes da implementação de novas medidas de segurança no treinamento de IA e que está trabalhando para remover todas as imagens de usuários transferidas para terceiros.

A Reuters foi a primeira a noticiar a ampliação das investigações. A OpenAI também publicou detalhes em seu blog público.

Em certos casos de atividade do agente, a OpenAI afirmou que as ferramentas "contornaram" os controles de segurança de alguns sites.

Em outros casos, os agentes de IA demonstraram "desalinhamento" ao tentar obter informações de sites. Desalinhamento é um termo usado por empresas e pesquisadores de IA para descrever situações em que uma ferramenta de IA fez algo para o qual não foi treinada ou que não era intencional.

A OpenAI afirmou que estava limitando a identificação das entidades afetadas porque muitas haviam solicitado à empresa que não divulgasse detalhes.

"Nosso objetivo é fornecer a cada organização os fatos e deixar a critério delas decidir se e quando tornar o incidente público", afirmou.

A empresa observou que nem todos os incidentes foram considerados violações de segurança significativas.

"Algumas organizações podem analisar o que compartilhamos e concluir que a informação foi intencionalmente divulgada ou que a interação do modelo não era preocupante", explicou. "Outras podem identificar um problema de design ou uma vulnerabilidade de segurança que desejam corrigir."

A empresa afirmou que muitos dos incidentes estão sendo classificados como "spam de agentes", que ela descreveu como atividade "inesperada ou preocupante" de agentes de IA, como a publicação de informações na internet.

Esses incidentes começaram a ser levados mais a sério pela companhia depois de um ocorrido em julho, quando um grupo, ou "enxame", de seus agentes de IA invadiu a plataforma de desenvolvimento de IA Hugging Face sem ser instruído a fazê-lo.

A Hugging Face foi a primeira a tornar o incidente público, e a OpenAI assumiu publicamente a responsabilidade posteriormente.

"Muitas vezes me pergunto o que teria acontecido se eu tivesse decidido não divulgar esse ataque publicamente", afirmou Clement Delangue, diretor da Hugging Face, durante uma sessão do Conselho de Segurança das Nações Unidas sobre IA na quarta-feira (23/9).

"Especialmente agora que sabemos que incidentes semelhantes já vinham acontecendo meses antes, em segredo, em alguns laboratórios de vanguarda, sem qualquer monitoramento", acrescentou Delangue.

Durante essa mesma reunião da ONU, o CEO da OpenAI, Sam Altman, e Dario Amodei, chefe da empresa rival Anthropic, pediram aos líderes internacionais que estabelecessem padrões globais para a segurança da IA e maneiras de monitorar e relatar tais incidentes.

Embora a OpenAI e a Anthropic tenham afirmado nas últimas semanas que contratarão avaliadores terceirizados para realizar avaliações de segurança em tempo real de ferramentas e modelos de IA em suas empresas, esses avaliadores ainda não chegaram.

A OpenAI afirmou na sexta-feira que está revisando a atividade de treinamento de seus agentes de IA, analisando os dados mês a mês desde o ataque à Hugging Face.

"A maioria dos casos identificados até agora apresentou baixa gravidade, com pouca ou nenhuma evidência de impacto significativo", afirmou a empresa. "Dada a dimensão da revisão necessária e a necessidade de verificar cada caso, esse trabalho levará meses para ser concluído."

David Krueger, professor de aprendizado de máquina na Universidade de Montreal e fundador do grupo de segurança de IA Evitable, disse na sexta-feira que estava "profundamente preocupado" com o número crescente de incidentes de segurança relacionados à IA.

Ele pediu "uma moratória internacional imediata e por tempo indeterminado" no desenvolvimento da IA.

"Ainda não compreendemos a extensão dos incidentes existentes, e futuros cenários de IA descontrolada podem ser catastróficos", disse Krueger.

¨      OpenAI para treinamento após IA agir por conta própria

A empresa OpenAI comunicou neste sábado (26/09) que suspendeu temporariamente o treinamento de seus mais recentes modelos de inteligência artificial (IA).

O anúncio foi feito horas depois de a empresa comunicar, na sexta-feira, que estava analisando vários incidentes ocorridos durante o verão, nos quais agentes da OpenAI encarregados de pesquisar sites do governo federal dos EUA agiram de maneiras inesperadas, indo além do que lhes havia sido solicitado ao coletar e distribuir informações.

Os modelos de IA da empresa responsável pelo ChatGPT acessaram informações disponíveis publicamente em dois sites operados pela Comissão de Valores Mobiliários dos Estados Unidos (SEC), além de dados do Departamento de Censos dos EUA, revelou a empresa.

Num anúncio separado, a organização de avaliação de IA Transluce afirmou que agentes que pareciam ser da OpenAI tentaram invadir um site do Departamento de Educação dos EUA, mas não conseguiram. A OpenAI não confirmou esse incidente.

A OpenAI declarou que retomará o treinamento apenas quando dispuser de garantias adicionais. A empresa acrescentou que provavelmente terá de "apertar o botão de pausa" novamente à medida que a IA evoluir e novos problemas surgirem.

<><> Apelos dentro do próprio setor

A revelação ocorre num momento de crescente preocupação global com a possibilidade de sistemas de IA escaparem ao controle humano e invadirem sites externos.

Laboratórios de IA vêm sofrendo pressão de legisladores e especialistas em tecnologia para desacelerar o desenvolvimento de seus sistemas, de modo que possam estabelecer mecanismos de proteção capazes de impedir que agentes atuem por conta própria, invadam sites e divulguem informações não públicas.

Ao mesmo tempo, aumentam os apelos, inclusive dentro do próprio setor, por uma desaceleração no desenvolvimento da inteligência artificial, postura que a OpenAI afirma apoiar. Dirigentes tanto da OpenAI quanto da concorrente Anthropic defenderam uma redução no ritmo de desenvolvimento.

<><> Riscos da inteligência artificial

Esta é a segunda vez em três meses que a OpenAI interrompe o desenvolvimento de seus modelos. A primeira ocorreu em julho, após a OpenAI revelar que dois de seus modelos de IA mais avançados foram responsáveis por um ataque cibernético contra a Hugging Face, uma startup do setor de inteligência artificial.

Esse incidente teve grande repercussão e aumentou os temores de que a indústria estivesse perdendo o controle sobre a tecnologia.

Numa publicação nas redes sociais na sexta-feira, o presidente executivo (CEO) da OpenAI, Sam Altman, afirmou que o incidente envolvendo a Hugging Face continua sendo o mais grave até agora.

Altman e o diretor-executivo da empresa de IA Anthropic, Dario Amodei, recentemente alertaram para os riscos da inteligência artificial e defenderam uma desaceleração em seu desenvolvimento.

A presidente da Comissão Europeia, Ursula von der Leyen, anunciou que pretende convidar as principais empresas de IA para discussões sobre a necessidade de "reduzir o ritmo". Já o presidente dos Estados Unidos, Donald Trump, e o CEO da Meta, Mark Zuckerberg, se opõem a essa ideia.

Durante um encontro com o presidente chinês, Xi Jinping, nesta semana, Trump concordou em compartilhar informações sobre os riscos da inteligência artificial e coordenar esforços para mantê-la segura, mas considerou exagerados os temores relacionados à IA.

"Os Estados Unidos não vão pisar no freio", disse Trump. "Eles querem interromper nosso progresso porque estamos muito à frente da China, e vamos continuar assim."

<><> Sem acesso a informações sigilosas

Os incidentes mais recentes envolvendo a OpenAI aparentemente não resultaram no acesso a informações sigilosas, mas foram considerados suficientemente preocupantes para que a empresa alertasse os órgãos federais envolvidos.

No caso relacionado ao Departamento de Educação, agentes da OpenAI encontraram "chaves de desenvolvedor" (API keys) para acessar dados governamentais, embora, no fim, apenas informações públicas tenham sido coletadas.

No episódio envolvendo a SEC, os agentes encontraram informações livremente disponíveis ao público, mas depois as publicaram em outro local da internet, uma ação que ultrapassou as instruções que haviam recebido. A SEC comunicou que nenhuma informação não pública foi acessada.

O Departamento de Educação havia informado anteriormente que não encontrou "nenhuma evidência de qualquer impacto em nosso site ou em nossos bancos de dados".

 

Fonte: BBC News/DW Brasil