Palavra de Sá

China reforça regras para evitar perda de controle da IA

Alertas feitos por pesquisadores da empresa americana de inteligência artificial (IA) Anthropic sobre a possibilidade de modelos avançados escaparem ao controle humano e, em cenários extremos, representarem uma ameaça à própria humanidade ganharam destaque na China, onde formuladores de políticas públicas vêm se preparando para lidar com riscos semelhantes.

Apesar da corrida para desenvolver sistemas cada vez mais poderosos, marcos regulatórios e declarações oficiais de Pequim mostram que as autoridades chinesas consideram suficientemente séria a possibilidade de a IA avançada escapar à supervisão humana para incorporá-la aos seus planejamentos de segurança.

<><> Reguladores destacam risco de perda de controle

A China passou a mencionar explicitamente cenários de perda de controle sobre sistemas de inteligência artificial em uma estrutura de segurança divulgada em setembro de 2024 sob orientação da Administração do Ciberespaço da China (CAC).

O documento afirmava que não poderia ser descartada a possibilidade de futuros sistemas de IA obterem recursos externos de forma autônoma, desenvolverem autoconsciência e buscarem fontes externas de poder, criando riscos de competição com seres humanos.

Em setembro de 2025, a CAC divulgou uma versão ampliada da estrutura regulatória. O novo texto tornou o cenário mais específico, afirmando que a IA poderia passar por um salto repentino de capacidade antes de adquirir recursos, se replicar e buscar o poder. O documento também incorporou o princípio de "aplicação confiável" e da prevenção da perda de controle.

Posteriormente, uma interpretação técnica publicada no site do regulador afirmou que a nova diretriz busca reduzir riscos de perda de controle que possam ameaçar a sobrevivência e o desenvolvimento da humanidade, mencionando inclusive a possibilidade de uma IA "sair do controle".

<><> Xi defende supervisão humana permanente

A preocupação também passou a aparecer nas mais altas instâncias políticas chinesas.

Durante aConferência Mundial de Inteligência Artificial realizada em julho, em Xangai, o presidente chinês, Xi Jinping, afirmou que as autoridades devem monitorar atentamente tanto os riscos inerentes à tecnologia quanto os seus efeitos indiretos.

Segundo Xi, a inteligência artificial deve permanecer "sempre sob controle humano".

O principal diplomata chinês para assuntos de IA, Sun Xiaobo, afirmou em reunião das Nações Unidas no mês passado que o país está acelerando estudos sobre uma legislação mais ampla para a inteligência artificial.

Já o vice-representante permanente da China na ONU, Sun Lei, pediu neste mês que os governos abordem com cautela o uso militar da IA para evitar erros de cálculo estratégicos e uma corrida armamentista.

As discussões ganham peso em um momento em que Xi Jinping deve se reunir com o presidente dos Estados Unidos, Donald Trump, em Washington ainda neste mês. A governança e a segurança da inteligência artificial estão entre os temas previstos para a agenda bilateral.

Enquanto autoridades chinesas enfatizam riscos ligados à segurança nacional, à espionagem e à proteção de infraestrutura crítica, o debate nos Estados Unidos tem sido marcado também por preocupações com cenários de perda de controle e riscos existenciais associados a sistemas superinteligentes. O presidente-executivo da Anthropic, Dario Amodei, já alertou para a velocidade que classificou como "imprudente" do avanço da tecnologia. O presidente-executivo da OpenAI, Sam Altman, afirmou concordar com essa avaliação.

<><> Pequim cria regras específicas para agentes de IA

A China também começou a transformar esses princípios em exigências regulatórias voltadas aos chamados agentes de IA, sistemas capazes de atuar com maior autonomia e realizar tarefas mais complexas do que chatbots convencionais.

Em maio, o regulador chinês do ciberespaço publicou diretrizes conjuntas específicas para esse tipo de tecnologia.

As normas exigem que desenvolvedores ampliem sua capacidade de identificar, interromper, bloquear e corrigir comportamentos inadequados dos agentes.

As orientações apontam como riscos relevantes o envenenamento de dados, a manipulação de algoritmos, vulnerabilidades de sistemas e a chamada "perda operacional de controle". O texto também determina que os usuários mantenham a autoridade final sobre decisões tomadas autonomamente pelos sistemas.

Embora a China não tenha adotado propostas como a presença de monitores independentes dentro de empresas de IA, modelo defendido por pesquisadores da Anthropic, suas normas permitem a contratação de avaliações externas de segurança e preveem auditorias realizadas por entidades independentes e pesquisadores especializados.

<><> Concorrência com os EUA na mira

Em artigo publicado no domingo em um veículo governamental, o ministro da Segurança do Estado da China, Chen Yixin, afirmou que modelos avançados desenvolvidos nos Estados Unidos podem representar riscos à infraestrutura crítica de informação do país e defendeu o fortalecimento da segurança em inteligência artificial.

Chen também alertou que "forças hostis" estariam usando ferramentas de IA generativa para fabricar rumores políticos e disseminar informações prejudiciais à China. Segundo ele, esses grupos promovem "guerras de opinião pública" e "guerras cognitivas" que ameaçam a segurança política, institucional e ideológica do país.

O ministro afirmou ainda que a inteligência artificial se tornou "o principal campo de batalha da competição tecnológica global e uma nova arena da rivalidade estratégica entre grandes potências". Segundo ele, serviços de inteligência estrangeiros utilizam tecnologias como rastreamento automatizado de dados, mineração de informações e análise de perfis para coletar dados sensíveis, segredos comerciais e informações pessoais.

<><> ONU pede "ação urgente" para frear IA

O alto comissário das Nações Unidas para os Direitos Humanos, Volker Türk, pediu nesta segunda-feira (14) uma ação urgente para regulamentar a inteligência artificial (IA), diante dos riscos que os sistemas mais avançados da tecnologia podem representar.

"Estamos no início de uma mudança irreversível que afetará não apenas a nossa geração, mas também as futuras gerações da humanidade", afirmou Türk em comunicado.

O chefe de direitos humanos da ONU conclamou governos e empresas a adotar mecanismos multilaterais de supervisão. Segundo ele, a IA pode ameaçar diversos direitos fundamentais, incluindo o direito à vida.

As preocupações com os impactos do rápido avanço da inteligência artificial cresceram nos últimos anos. Na última semana, apelos cresceram após executivos e ex-pesquisadores de algumas das principais empresas do setor passarem a defender uma desaceleração no desenvolvimento da tecnologia para permitir uma avaliação mais rigorosa dos riscos.

Para Türk, a corrida por sistemas cada vez mais poderosos representa uma transformação profunda e expõe diferentes aspectos da vida humana a riscos cada vez maiores. Ele também criticou a concentração de poder nas mãos de poucas empresas de tecnologia.

Segundo o alto comissário, o mundo depende atualmente de um grupo reduzido de companhias para tomar decisões sobre o desenvolvimento da IA, com impactos potenciais sobre toda a humanidade.

¨      Corrida da IA racha setor: executivos pedem cautela, mas Trump rejeita freio e cita China

A corrida pelo desenvolvimento de sistemas cada vez mais avançados de inteligência artificial entrou em uma nova fase de disputa. Executivos e pesquisadores que ajudaram a acelerar o avanço da tecnologia passaram a defender maior cautela e mecanismos de segurança, enquanto o presidente dos Estados Unidos, Donald Trump, rejeita a ideia de desacelerar o setor e afirma que qualquer freio pode beneficiar a China.

O debate ganhou força após Dario Amodei, CEO da Anthropic, defender que as empresas reduzam temporariamente o ritmo de desenvolvimento dos modelos mais avançados. O executivo não propõe interromper as pesquisas, mas dar mais tempo para que mecanismos de segurança, testes e fiscalização acompanhem a evolução da tecnologia.

A proposta inclui avaliações independentes dentro das empresas, maior coordenação entre desenvolvedoras e, em uma etapa posterior, acordos internacionais.

A mudança de tom chama atenção porque parte das companhias que hoje alertam para os riscos foi justamente responsável por impulsionar a chamada corrida da IA.

O argumento dos executivos é que os modelos se tornaram mais capazes e passaram a desempenhar tarefas cada vez mais complexas, aumentando também os riscos de usos indevidos, falhas de segurança e comportamentos difíceis de prever.

Amodei afirma que sistemas mais avançados podem ser utilizados em ataques cibernéticos, contribuir para atividades de bioterrorismo e provocar impactos significativos no mercado de trabalho.

Outra preocupação é o chamado autoaperfeiçoamento: a possibilidade de sistemas de IA contribuírem para o desenvolvimento de versões ainda mais poderosas da própria tecnologia, acelerando o ciclo de evolução.

Na avaliação do CEO da Anthropic, um período de um ou dois anos com avanço mais controlado poderia ser usado para aprimorar testes, mecanismos de alinhamento e formas independentes de verificar se as empresas estão cumprindo padrões de segurança.

<><> Trump rejeita desaceleração

A posição encontra forte resistência na Casa Branca. Trump afirmou que existe uma “conspiração doentia” contra a inteligência artificial e os data centers e disse que a única beneficiada por esse movimento seria a China. O presidente também declarou que os Estados Unidos precisam preservar a liderança tecnológica porque, segundo ele, “quem vencer na IA, vence tudo”.

Trump argumenta que os EUA já possuem instrumentos regulatórios para impedir usos considerados perigosos da tecnologia, sem necessidade de reduzir o ritmo de desenvolvimento.

Segundo ele, uma desaceleração unilateral poderia comprometer a vantagem americana em uma disputa tecnológica cada vez mais associada à segurança nacional e à competição econômica com Pequim.

A reação ocorre em meio a um cenário de crescente preocupação internacional sobre o controle da inteligência artificial.

Na China, o ministro da Segurança do Estado, Chen Yixin, também alertou que sistemas generativos podem ser usados por forças estrangeiras para disseminar informações falsas e travar o que classificou como “guerras cognitivas” contra o país.

¨      Por que cofundador da Anthropic defende um 'botão de desligamento' obrigatório para IA

Um dos cofundadores de uma das maiores empresas de IA do mundo afirmou que um "botão de desligamento" da inteligência artificial, que possa ser verificado de forma independente, talvez seja obrigatório para as empresas.

Jack Clark, um dos sete fundadores da Anthropic, disse que uma forma de desligar completamente os mecanismos de IA caso eles se tornem muito perigosos é algo que a sociedade "talvez queira regulamentar".

Clark afirmou que "a maioria dos laboratórios tem maneiras diferentes de desligar os equipamentos", incluindo a Anthropic, mas disse que os legisladores podem precisar impor a existência de uma dessas maneiras.

O rápido desenvolvimento da IA e os receios sobre os riscos que a tecnologia representa para a humanidade foram colocados em evidência por uma série de alertas de executivos e funcionários de empresas de IA.

Algumas pessoas afirmaram publicamente que existe a possibilidade de que essa tecnologia, se não for controlada, possa matar toda a humanidade.

O diretor-executivo da Anthropic, Dario Amodei, pediu no fim de semana que o ritmo de desenvolvimento da IA seja desacelerado e monitorado mais de perto, como a empresa já fez antes, embora alguns tenham questionado as motivações por trás disso.

Amodei acrescentou que qualquer ação para conter o desenvolvimento da IA deve ser feita "sem sacrificar a vantagem comercial".

Clark disse à BBC que os detalhes sobre os requisitos e a verificação do "botão de desligamento" devem fazer parte da "discussão política mais ampla" que está ocorrendo em torno da IA.

"Deveríamos exigir que as empresas tivessem um botão de desligamento automático? Esse botão de desligamento automático pode ser verificado por terceiros?", perguntou ele.

"Acho que esse é o tipo de coisa que a sociedade vai querer saber e que, eventualmente, regulamentar."

A Anthropic, fundada em 2021 por um grupo de ex-funcionários de sua concorrente OpenAI, está atualmente no centro de um debate sobre a segurança da IA.

Na semana passada, uma publicação de um pesquisador de inteligência artificial que deixou a Anthropic por receio de que a IA pudesse exterminar a humanidade viralizou.

Em resposta, o cientista antropológico Evan Hubinger disse que, pessoalmente, acreditava que a possibilidade de extinção da humanidade devido à IA era de "10% na próxima década".

O cientista da computação e ganhador do Prêmio Nobel Geoffrey Hinton, conhecido como o "Pai da IA", disse à BBC na sexta-feira que uma probabilidade de 10% de a IA matar todos os humanos "não é irrazoável".

Questionado sobre qual porcentagem ele atribuiria ao número total de humanos mortos por IA, Clark disse: "Não acho que essas estatísticas sejam muito úteis", mas acrescentou que permitir que a IA continue como uma "indústria totalmente desregulamentada" era uma má ideia.

"Estamos jogando dados com riscos imensos", disse Clark. "E a questão é que precisamos mudar o rumo desta indústria."

Legisladores dos EUA apresentaram um projeto de lei apelidado de "Kill Switch Act" (Lei do Botão de Desligamento, em tradução livre) que exigiria que as empresas tivessem uma maneira de desativar ferramentas de IA problemáticas.

Isso também daria a certas agências governamentais o poder de exigir que uma ferramenta fosse desativada ou limitada.

No entanto, o presidente dos EUA, Donald Trump, rejeitou a ideia de qualquer tentativa de desacelerar a IA, afirmando nas redes sociais: "A IA dominar o mundo, destruir a humanidade e todas as outras coisas ruins é uma FARSA".

"Há uma conspiração DOENTIA em curso contra a IA e os Data Centers, e o único que está feliz com isso é a China. QUEM VENCER NA IA, VENCE!", escreveu ele em outra publicação.

No Reino Unido, o governo rejeitou recentemente a ideia de criar um interruptor de segurança, com um porta-voz afirmando que isso "não impediria que fossem desenvolvidos ou usados indevidamente em outros lugares".

Entretanto, alguns na indústria da IA sugeriram que os receios de que ela destrua a humanidade são exagerados ou podem ter sido concebidos para gerar alarde.

Clement Delangue, líder da plataforma de desenvolvedores Hugging Face, que foi alvo de um ataque hacker da OpenAI, afirmou na semana passada que tais alegações carecem de "perspectiva".

George Arison, líder do Grindr, afirmou que os receios em torno das ferramentas de IA estavam sendo usados pelas empresas para apoiar seus planos de negócios.

"A única maneira de justificar essas avaliações é afirmar: 'Vou dominar todos os setores e todos os empregos, e minha IA fará todo esse trabalho'", disse Arison.

A Anthropic criou o popular Claude e, este ano, lançou diversos modelos de IA cada vez mais capazes, a tecnologia que está na base dos chatbots de IA.

Juntamente com a OpenAI, a Anthropic relatou diversos incidentes em que agentes de IA, que são bots que operam de forma relativamente autônoma, agiram de maneiras inesperadas.

A Anthropic está se preparando para uma oferta pública inicial (IPO) potencialmente recorde na bolsa de valores, permitindo que as pessoas comprem ações da empresa.

A OpenAI, que recentemente foi avaliada em US$ 852 bilhões (R$ 4,3 trilhões), era esperada para fazer o mesmo, mas Altman, da OpenAI, disse na semana passada que isso não acontecerá este ano devido ao debate atual sobre a segurança da IA.

 

Fonte: DW Brasil/ICL Notícias/BBC News