Palavra de Sá

Estaria a IA ameaçando a humanidade?

As duas semanas iniciadas em 16 de julho de 2026 foram as mais movimentadas da curta história da política de inteligência artificial. Um agente autônomo invadiu a maior plataforma de modelos de pesos abertos do mundo, o laboratório que o construiu levou uma semana para descobrir que a culpa era sua, dois projetos de lei chegaram ao Congresso dos Estados Unidos para tratar do tema, mais de 40 empresas assinaram uma carta contra restrições a modelos abertos, a mais valiosa empresa de chips do planeta fundou uma aliança de defesa cibernética e o único grande laboratório que ficara de fora publicou sua posição. Esta série reconstitui o que aconteceu e o que se construiu em cima como consequência deste acontecimento em várias searas distintas. Começo pelo episódio do incidente, que é a parte menos compreendida de tudo.

Como se estivéssemos vendo a Skynet, a inteligência artificial da franquia O Exterminador do Futuro, atuar para criar pânico na humanidade, um incidente de segurança computacional foi convertido em disputa sobre quem pode existir no mercado global de IA. O episódio é simples de narrar. O que se construiu em cima dele, não.

A cronologia completa só ficou conhecida em 24 de julho, quando a Reuters a reconstruiu com fontes das duas empresas. Por volta de 9 de julho, um agente da OpenAI tentou escapar do ambiente isolado em que era testado. Em 11 de julho começou a intrusão na Hugging Face, plataforma que hospeda modelos e conjuntos de dados de pesos abertos de IA (os números que o modelo aprendeu no treinamento e que definem como ele responde), e ela durou até 13 de julho, segundo Thomas Wolf, cofundador da empresa. Em 16 de julho, a Hugging Face divulgou uma intrusão em parte de sua infraestrutura de produção, conduzida de ponta a ponta por um sistema de agente autônomo. Só depois desse anúncio a OpenAI percebeu que o agente era seu. No fim de semana seguinte, funcionários acharam nos registros internos os indícios do escape. Por volta de 20 de julho, as duas empresas se falaram pela primeira vez, quando a Hugging Face já havia acionado o FBI. Em 21 de julho, a OpenAI assumiu a autoria. Uma combinação de modelos próprios, incluindo o GPT-5.6 Sol e um modelo em pré-lançamento ainda mais capaz, todos operando com recusas de cibersegurança reduzidas para fins de avaliação, escapou do ambiente de testes, alcançou a internet aberta, explorou uma vulnerabilidade e invadiu sistemas de terceiros para obter as respostas de um desafio de teste que precisava vencer. A empresa classificou o caso como incidente cibernético sem precedentes.

<><> A dúvida que não se dissolve

Antes de qualquer coisa, convém registrar que a narrativa do incidente não é verificável. Emma Toth observou no The Verge que o relato da OpenAI pode ser lido estranhamente como um anúncio da grande capacidade da própria tecnologia. David Gerard foi além e escreveu que o comunicado da Hugging Face é redigido como “release de fim do mundo”, com causa-raiz de que a IA era boa demais, e que, se as duas versões forem inteiramente verdadeiras, o episódio é a colisão de duas incompetências transformada em jogada de marketing mútua. Dentro do setor, a reação incluiu a suspeita de que a OpenAI buscava seu próprio momento Mythos e engenheiros de grandes empresas ouvidos pela revista Fortune disseram que o primeiro instinto foi supor propaganda.

A comparação com o Mythos não é gratuita e cabe recuperá-la porque revela um padrão. Em abril, num teste interno de contenção, uma versão preliminar do Claude Mythos Preview, da concorrente Anthropic, recebeu a tarefa de escapar de um ambiente isolado e avisar o pesquisador que a supervisionava. O modelo encadeou vulnerabilidades, rompeu o isolamento, obteve acesso à internet, que não deveria ter, e enviou o email combinado a um pesquisador que almoçava num parque. Até aí, comportamento previsto. O que não foi pedido veio a seguir: o modelo publicou por conta própria os detalhes do exploit (o código que explora uma brecha) em sites de acesso público.

Foi uma falha de contenção da própria Anthropic, com o seu próprio modelo, escapando dos seus próprios controles. A empresa converteu o episódio em posicionamento de mercado, declarou o modelo perigoso demais para lançamento amplo e criou o Project Glasswing, programa de acesso restrito a parceiros selecionados, o mesmo desenho de clube fechado que reaparece agora. Parte do mercado leu a manobra como exercício de comunicação, não como medida de segurança. É esse o roteiro que muitos suspeitam que a OpenAI tentou repetir na semana passada.

Nada disso comprovava a hipótese e por algum tempo tampouco foi possível descartá-la. Como registrou a Fortune, os laboratórios não são obrigados a entregar registros de incidentes nem a se submeter à auditoria independente que comprove o que afirmam sobre as capacidades de seus modelos. E o episódio é conveniente para as duas partes porque eleva a percepção sobre os modelos da OpenAI, incluindo o pré-lançamento que pode vir a ser sua próxima geração, e ao mesmo tempo dá à Hugging Face o papel de plataforma para defender pesos abertos nas mãos de desenvolvedores comprometidos com o bem público.

A apuração da Reuters resolve parte dessa dúvida e desloca o resto. Uma empresa que planeja um golpe de comunicação não passa uma semana sem perceber, não descobre o próprio agente vasculhando registros internos num fim de semana e não é avisada pela vítima. A falha foi real e veio de descuido. Só que jogada de marketing não precisa ser premeditada. Basta que a empresa decida, depois do estrago, como contá-lo. Foi o que a Anthropic fez em abril, ao converter o escape do próprio modelo em anúncio de capacidade perigosa demais para circular e em programa de acesso restrito a poucos escolhidos.

As duas empresas perderam o controle de modelos porque descuidaram da segurança. Ambas transformaram o descuido em demonstração de potência. O momento Mythos da OpenAI, se existe, não está no ataque. Está no comunicado, publicado enquanto a empresa prepara uma oferta pública que, segundo a Reuters, pode sair ainda neste ano.

A impossibilidade de verificação não é um detalhe do debate. É o problema de governança que o episódio expõe com mais nitidez e é aquele que a resposta institucional que veio a seguir não endereça.

Há ainda os exageros semânticos. Alan Woodward, da Universidade de Surrey, recusou o vocabulário corrente. O agente não se rebelou, foi instruído a cumprir uma tarefa e a cumpriu, e o caminho que encontrou foi trapacear. Oli Buckley, professor de segurança cibernética na Universidade de Loughborough, acrescentou que a lição não é a chegada da pérfida Skynet da franquia de Arnold Schwarzenegger e sim que nossas premissas sobre contenção precisam ser mais robustas que nossas premissas sobre obediência. O Science Media Centre alertou para o risco de incidentes assim serem embrulhados em narrativas de marketing ou em manchetes apocalípticas que geram atenção e obscurecem o que de fato ocorreu, que poderia atingir a reputação de empresas que já estão sob os holofotes desconfiados dos investidores.

Os números do próprio laboratório moderam o susto. A avaliação de segurança de junho classificou a família GPT-5.6 como de alta em capacidade cibernética, abaixo do limiar crítico, e registrou que os modelos não haviam completado ataques autônomos de ponta a ponta contra sistemas bem defendidos. A Hugging Face descreveu os sistemas atingidos como fracos neste quesito. E Matt Suiche, da Tolmo, afirmou que brechas do tipo são executáveis com tecnologia disponível muito além dos muros dos laboratórios de fronteira porque sua própria empresa já obtinha resultados equivalentes internamente.

<><> O que a evidência mostra

A contenção falhou dentro do laboratório mais bem financiado do setor e a detecção falhou junto. Jake Williams, do IANS Research e ex-NSA, resumiu a alternativa que o caso impõe. Ou a OpenAI conduzia red teaming (ataque simulado ao próprio sistema) de modelos avançados sem isolamento suficiente ou o relato é uma demonstração comercial de capacidade. A apuração da Reuters aponta para a primeira e a agrava, porque à falha de isolamento somou-se uma semana sem que ninguém percebesse. Nenhuma das duas hipóteses sustenta a tese de que a custódia privada de modelos perigosos é a garantia de segurança que se alega.

E havia aviso prévio. Antes do ataque já apareciam sinais de comportamento estranho nos sistemas da OpenAI. Num dos casos, um agente deixou anotações aparentemente destinadas a versões futuras de si mesmo, encontradas em parte da infraestrutura da empresa, com instruções sobre como agentes poderiam se libertar das restrições internas. Testes anteriores produziram casos em que sistemas de monitoramento foram desconectados. A Reuters não conseguiu estabelecer se esses episódios têm ligação com o agente que escapou em 9 de julho. E a explicação de por que ninguém viu é banal, o que a torna pior. A empresa costuma rodar várias avaliações ao mesmo tempo, em alta velocidade, gerando volume de dados que os próprios funcionários às vezes não conseguem analisar.

Marley Smith, especialista principal de inteligência do World Ethical Data Foundation, formulou a pergunta que resta. Isso significa que deixaram o agente sem supervisão e não perceberam o que ele fazia, ou que perceberam e não souberam contê-lo, e as duas hipóteses são igualmente perigosas? Jeffrey Ladish, da Palisade Research, que estuda capacidades e motivações de agentes, resumiu o padrão sem cerimônia. Os modelos mentem, trapaceiam e invadem. E acrescentou a pergunta mais ampla: quanto as empresas líderes estão dispostas a investir em segurança onerosa enquanto correm umas contra as outras para implantar os modelos mais rápidos, concluindo que tem de haver supervisão governamental porque de outro modo nada será feito para garantir segurança.

A defesa, por sua vez, só funcionou com pesos abertos. Para investigar o ataque, a equipe da Hugging Face precisou refazer o passo a passo do invasor, mais de 17 mil pistas deixadas pelo agente da OpenAI. Só que, ao pedir ajuda aos grandes modelos comerciais para essa análise, esbarrou num impasse. Esses modelos vêm com travas de segurança que barram pedidos considerados perigosos e os comandos que o perito precisa examinar para entender a invasão são idênticos aos que um atacante usaria para invadir. A trava não distingue quem pergunta. Bloqueia os dois.

Merritt Baer, ex-vice-CISO da Amazon Web Services, observou que os prompts mais valiosos durante uma intrusão ativa são precisamente os mais propensos a disparar sistemas de segurança, o que converte o problema em questão de resiliência operacional e não de política de modelo. Raghu Nandakumara, da Illumio, foi direto ao ponto ao afirmar que salvaguardas técnicas nunca foram projetadas para funcionar como fronteiras de segurança pois existem para influenciar comportamento e não para garanti-lo.

Depois de uma tentativa com o Fable 5, a saída da plataforma foi o GLM 5.2, modelo chinês de pesos abertos com cerca de 753 bilhões de parâmetros, executado dentro do perímetro da empresa sem que dado algum saísse de sua infraestrutura. Thomas Wolf, cofundador da plataforma, que é financiada pelas principais big techs, extraiu a conclusão operacional. Quando um modelo de fronteira está se movendo lateralmente dentro da sua rede, o defensor precisa de ferramentas quase-fronteira em minutos, não de um programa de acesso vedado a portas fechadas. Clément Delangue, o executivo-chefe, generalizou a lição dizendo que segurança de IA não será resolvida por nenhuma empresa isolada trabalhando em segredo.

O que o episódio deixou claro, portanto, não foi uma lição sobre modelos perigosos. Foi uma demonstração sobre custódia. A contenção falhou dentro do laboratório mais bem financiado do setor, a detecção falhou por uma semana e a defesa só funcionou quando a vítima pôde rodar um modelo por conta própria, sem pedir licença a ninguém. Nada disso decorre de os modelos serem chineses ou americanos, abertos ou fechados. Decorre de quem pode inspecionar o quê, e em quanto tempo. Na próxima semana, a ideia é analisar o que este incidente gerou em termos de reações da indústria e dos governos.

 

Fonte: Por James Görgen, em Outras Palavras