Palavra de Sá

As preocupações que levaram a OpenAI, do ChatGPT, a abandonar lançamento de novo sistema de IA

A OpenAI anunciou que não lançará seu novo modelo de inteligência artificial devido a preocupações com segurança.

O sistema GPT-6.1 Astra, que realiza tarefas como navegar na internet e usar aplicativos de forma autônoma, "não atingiu exatamente o nível exigido" pelos padrões da empresa, segundo Saachi Jain, responsável pelos sistemas de segurança da OpenAI.

A empresa responsável pelo ChatGPT também divulgou uma atualização sobre incidentes ocorridos em junho, mas que só se tornaram públicos na semana passada. Na ocasião, seus modelos acessaram sites e sistemas do governo australiano sem autorização.

O caso ocorre em meio ao aumento de incidentes envolvendo modelos de grandes empresas de IA, intensificando o debate sobre os riscos apresentados pela tecnologia — enquanto a Anthropic, empresa rival da OpenAI, reforça suas preocupações de que a IA possa representar uma ameaça à humanidade, à medida que se prepara para abrir seu capital.

A agência de notícias Reuters informou nesta terça-feira (29/09) que a empresa de desenvolvimento de IA — responsável pelo Claude, concorrente do ChatGPT — planeja alertar potenciais investidores em sua Oferta Pública Inicial (IPO) de que a tecnologia pode representar "riscos catastróficos ou existenciais para a humanidade", segundo um prospecto ao qual a agência teve acesso.

Apesar dos alertas contundentes, a empresa deve se tornar uma das mais valiosas do mundo quando abrir seu capital.

"Acho meio louco que as empresas continuem avançando no desenvolvimento dessas capacidades quando já vimos, nos últimos meses, incidentes que mostram que elas estão longe de ser seguras e controladas o suficiente", disse Jess Whittlestone, consultora sênior de políticas de IA do Centre for Long-Term Resilience, um centro de estudos especializado no tema.

Líderes do setor de IA, incluindo o chefe da Anthropic, Dario Amodei, e o CEO da OpenAI, Sam Altman, pediram que a indústria desacelere o ritmo de desenvolvimento.

<><> Crescem as dúvidas sobre a segurança

A decisão da OpenAI, divulgada inicialmente pelo Wall Street Journal, representa um caso raro em que uma grande empresa de inteligência artificial adia o lançamento de um novo modelo por preocupações relacionadas à segurança.

O modelo ficou aquém "no que diz respeito a permanecer dentro do escopo e da autorização e à forma como se comunica com o usuário sobre o tipo de trabalho que realizou", disse Jain.

"Queremos garantir que o desenvolvimento dos nossos modelos seja seguro, independentemente de isso ocorrer dentro da empresa ou quando os disponibilizamos aos usuários. Quando os lançamos para os usuários, temos um nível extremamente alto de exigência em termos de segurança e alinhamento", acrescentou.

O GPT-6 Astra é especializado em raciocínio complexo e na execução autônoma de tarefas. A OpenAI disse que ele foi resultado de "anos de pesquisa e grandes apostas".

A OpenAI realizará nesta terça-feira, em San Francisco, sua conferência anual para desenvolvedores, a DevDay, na qual deve fazer vários anúncios. Não está claro se uma nova versão do Astra estará entre eles.

Os controles de segurança da empresa passaram a ser alvo de intenso escrutínio após vários incidentes de grande repercussão envolvendo sua tecnologia.

Mas esta não é a primeira vez que uma grande empresa de IA desiste ou adia o lançamento de um novo modelo.

No início deste ano, a Anthropic disse que não lançaria um poderoso modelo Claude, chamado Mythos, porque ele era bom demais em encontrar falhas de software. A empresa lançou uma versão desse modelo alguns meses depois.

A OpenAI, por sua vez, disse em 2019 que não seria "perigoso demais" lançar um de seus modelos GPT, que hoje é usado para alimentar ferramentas como o ChatGPT.

A decisão da empresa de não lançar a versão mais recente do Astra foi "um sinal positivo de que eles estão levando as preocupações com segurança a sério", disse o professor Tony Cohn, responsável pela área de modelos fundacionais no Alan Turing Institute.

Mas ele acrescentou que "a segurança não deveria ficar exclusivamente nas mãos dos desenvolvedores e também deveria ser monitorada e verificada por órgãos reguladores independentes, aprovados pelo governo".

A professora Gina Neff, do Minderoo Centre for Technology and Democracy, da Universidade de Cambridge, disse que o anúncio da OpenAI mostrou "o quanto mais a empresa precisa fazer para tornar seus produtos de IA seguros".

Ela disse à BBC que é "fundamental" haver testes independentes de modelos de IA realizados por laboratórios como o AI Security Institute, do Reino Unido — que avalia sistemas de ponta de forma voluntária —, porque "essas empresas já provaram que não podemos depender exclusivamente delas para garantir nossa segurança".

<><> Ataques hackers na Austrália

Na semana passada, o primeiro-ministro australiano, Anthony Albanese, anunciou que um agente da OpenAI havia invadido sites e sistemas do governo em junho, no que especialistas disseram ser o primeiro caso conhecido desse tipo no mundo.

Albanese criticou a OpenAI por ter notificado o governo da Austrália por meio de um endereço de e-mail genérico, em vez de entrar em contato diretamente com as autoridades.

A OpenAI disse em um comunicado nesta terça-feira que lamentava o incidente e que "deveria ter conduzido a resposta de uma maneira melhor".

A Services Australia, o Bureau de Estatísticas e Pesquisa sobre Crimes de Nova Gales do Sul, o Departamento de Saúde de Victoria e o Australian Institute of Health and Welfare foram afetados.

A empresa disse que iniciou investigações assim que tomou conhecimento dos problemas, em meados de agosto, e notificou as organizações afetadas entre 10 e 24 de setembro.

"Nosso objetivo era fornecer às agências afetadas um relato detalhado assim que nossa investigação fosse concluída", disse a OpenAI, acrescentando que deveria ter compartilhado as conclusões preliminares mais rapidamente e mantido as autoridades australianas atualizadas.

A OpenAI acrescentou que desenvolverá "abordagens práticas" para definir como desenvolvedores e governos identificarão e divulgarão futuros incidentes envolvendo IA.

A empresa financiará medidas de cibersegurança, oferecerá suporte dedicado às agências afetadas e criará uma força-tarefa para administrar os riscos decorrentes de agentes de IA cada vez mais avançados.

A empresa também disse que um de seus principais executivos participará, em 6 de outubro, de uma audiência do Joint Select Committee sobre IA na Austrália.

Em julho, a OpenAI disse que seus sistemas de IA haviam acessado a internet e invadido o Hugging Face, uma plataforma aberta para desenvolvedores, levando pesquisadores e autoridades a pedir controles mais rígidos sobre a tecnologia.

Na segunda-feira, a gigante dos chips Nvidia lançou um conjunto de ferramentas de segurança de software para plataformas de IA autônomas — chamadas de agentes — que, segundo a empresa, poderiam ter evitado o ataque ao Hugging Face.

Uma das novas ferramentas usa recursos de hardware dos chips da Nvidia para conter os agentes.

O chefe da Nvidia, Jensen Huang, em grande parte rejeitou os pedidos por regulamentações mais rígidas para a IA, argumentando que agentes que agem de forma indevida são um problema de engenharia que pode ser solucionado.

A Nvidia concordou em comprar o Hugging Face por US$ 12,9 bilhões, o equivalente a R$ 67,38 bilhões, no início deste mês.

O papa Leão 14, que disse na segunda-feira, durante uma visita à França, que a IA "deve ser levada a sério", acrescentou que havia lido que Huang havia sugerido que poderia haver uma maneira de inserir mecanismos de proteção em determinados modelos de IA.

"Ele (Huang) é o mesmo que, no entanto, diz que não deveria haver limites impostos nem regulamentação governamental", afirmou o papa.

A Nvidia se recusou a comentar o caso.

O presidente dos Estados Unidos, Donald Trump, e o presidente da Câmara, Mike Johnson, devem receber executivos de empresas de tecnologia na Casa Branca nesta terça-feira para discutir regulamentações relacionadas à IA.

Trump minimizou as preocupações sobre os riscos da IA, classificando-as como uma "farsa" e argumentando que os EUA já têm leis suficientes e que os únicos "mecanismos de proteção" de que a tecnologia precisa são um presidente "forte e inteligente".

•        O acordo de Trump com a IA renomeia a 'inteligência artificial' para 'superinteligência'

Donald Trump anunciou na terça-feira que os chefes das maiores empresas de tecnologia e inteligência artificial dos EUA assinaram um acordo "moralmente vinculativo" para impor controles à inteligência artificial. Ele anunciou o acordo, chamado Compromisso Conjunto sobre Responsabilidades de Fronteira, após um almoço na Casa Branca com os principais executivos de tecnologia.

“É quase como uma constituição, de certa forma, e as pessoas mais importantes do mundo a assinaram, e eu a assinei como presidente, e é realmente uma forma de proteção”, disse Trump.

Trump também assinou uma ordem executiva renomeando a inteligência artificial para "superinteligência", semelhante a uma declaração que ele fez nas Nações Unidas na semana passada.

“A Ordem determina que todos os departamentos e agências usem os termos 'Superinteligência' e 'SI' em correspondências oficiais, comunicações públicas, documentos de políticas e documentos não estatutários dentro do Poder Executivo e que deixem de reconhecer os termos 'Inteligência Artificial' ou 'IA'”, declarou a ordem.

O acordo, que Trump sugeriu que permitiria às empresas realizar uma "autorregulação tremenda" de seus produtos e tecnologias, delineia uma estrutura vaga sobre como as empresas de IA estabeleceriam padrões de segurança ao testarem novos produtos. O setor de tecnologia tem enfrentado um escrutínio público crescente após uma série de incidentes em que grandes empresas de IA invadiram inadvertidamente organizações externas durante testes de segurança.

Embora legisladores, pesquisadores de IA e até mesmo algumas empresas de IA tenham defendido uma maior supervisão governamental da inteligência artificial, Trump rejeitou amplamente os apelos por uma maior regulamentação da tecnologia, citando a concorrência com a China e as ameaças ao crescimento econômico.

O compromisso conjunto que Trump publicou em sua conta Truth Social na terça-feira parece não ter mecanismos de imposição ou implicações legais, sendo, em vez disso, um compromisso voluntário.

O documento descreve quatro “níveis de controles e auditorias” para empresas de IA. O primeiro envolve a implementação de monitoramento interno de segurança durante o treinamento – algo que já existe em grandes laboratórios e que, até o momento, não conseguiu evitar falhas nos testes. O segundo prevê a capacitação de uma equipe interna para garantir que o primeiro nível de monitoramento esteja operando corretamente, enquanto o terceiro concorda em dar a um auditor externo a capacidade de avaliar os controles de segurança de forma independente. Por fim, o acordo exige que as empresas designem um conselho independente para revisar os relatórios sobre esses controles de segurança.

Nenhum dos controles listados no acordo envolve órgãos reguladores governamentais ou inclui um compromisso de divulgar publicamente as conclusões de avaliações independentes. O acordo também parece permitir que as empresas escolham seus próprios avaliadores, nomeiem seus próprios conselhos de supervisão e decidam se publicarão ou não seus resultados.

Trump fez essas declarações após um almoço com líderes do setor de tecnologia, incluindo Elon Musk, CEO da SpaceX; Mark Zuckerberg , CEO da Meta; Jensen Huang, CEO da Nvidia; Dario Amodei, CEO da Anthropic; e outros executivos de destaque da indústria. O setor de tecnologia, que em grande parte se alinhou com o governo Trump, tem feito lobby contra uma supervisão regulatória rigorosa, argumentando que isso prejudicaria a economia.

Zuckerberg, acompanhado por Trump e outros magnatas da tecnologia, disse em uma coletiva de imprensa após o almoço que estava orgulhoso do acordo e afirmou que ele foi criado para garantir ao público americano que sua tecnologia era confiável.

“Este é um começo e um acordo que toda a indústria poderia adotar”, disse Zuckerberg. “Foi uma conversa histórica.”

 

Fonte: BBC News/The Guardian