Palavra de Sá

Toby Walsh: Cinco cenários mais prováveis de como a IA 'mataria todos os humanos'

No início de setembro, o pesquisador de inteligência artificial Jacob Coxon renunciou ao cargo na Anthropic após apenas quatro meses. Em um comunicado no X, ele afirmou : "As pessoas que desenvolvem IA acreditam sinceramente que ela poderá nos matar a todos até o final da década." Um membro sênior da equipe da Anthropic, Evan Hubinger, concordou com Coxon, acrescentando que, pessoalmente, acredita que a chance disso acontecer na próxima década é superior a 10% .

Como era de se esperar, essas declarações causaram grande repercussão . Agora, muito se fala em desacelerar a pesquisa em IA e aumentar o " controle humano " sobre a tecnologia.

Mas como exatamente a IA poderia nos matar? Não faltam cenários fantásticos, e a maioria deles envolve o conceito de IA "superinteligente" – ou seja, IA mais capaz que os humanos. Resumi esses cenários aos cinco principais, ordenando-os aproximadamente do mais vago ao mais preciso. E eu diria que a lista também está ordenada do menos provável ao mais provável.

>>> 1. Nunca saberemos.

Os pessimistas em relação à IA frequentemente justificam suas preocupações por meio de um paradoxo irritante: como podemos imaginar o que uma superinteligência poderia fazer para eliminar seres menos inteligentes como nós?

Teríamos que ser superinteligentes para prever o que uma superinteligência seria capaz de fazer. É como pedir ao seu cachorro de estimação para imaginar uma guerra termonuclear. A boa notícia é que a superinteligência ainda está, talvez, um pouco distante. Os modelos de IA atuais são muito bons em resolver problemas específicos, mas isso não significa que sejam mais inteligentes que um ser humano em todas as áreas . No entanto, a IA resolveu recentemente um dos sete problemas matemáticos mais desafiadores que se conhece. Aparentemente, está se aproximando da solução de outros, o que pode diminuir seu otimismo.

>>> 2. Clipes de papel

Uma IA superinteligente provavelmente seria extraordinariamente competente em atingir seus objetivos. Mas poderia ser indiferente à sobrevivência humana. Um exemplo clássico dessa indiferença vem da inteligência artificial superinteligente imaginada pelo filósofo de Oxford Nick Bostrom, projetada para otimizar a produção de clipes de papel. Para produzir seu tipo preferido de material de escritório, ela converte rapidamente toda a matéria disponível – incluindo humanos, planetas e estrelas – em clipes de papel. O que temos aqui é a execução perfeita de objetivos mal definidos. A IA não odeia a humanidade; ela simplesmente reconhece que somos compostos de átomos que poderiam ser melhor utilizados para fazer clipes de papel. Não é nada pessoal.

A boa notícia é que esse cenário confunde inteligência com poder. Uma IA superinteligente não necessariamente tem o poder de atingir seus objetivos. Transformar o planeta em fábricas de clipes de papel exigiria licenças de construção.

Mesmo que obtivesse as permissões, a construção de muitas fábricas de clipes de papel levaria inevitavelmente a protestos públicos. Grupos de interesse bloqueariam os processos nos tribunais. Ativistas ambientais impediriam a demolição. Há muitos obstáculos no mundo que impedem até mesmo os mais inteligentes de impor sua vontade sobre o resto de nós. Aliás, podemos pensar nos data centers como uma materialização atual do cenário teórico do clipe de papel. E os humanos estão cada vez mais resistindo à ideia de entregar o planeta aos data centers .

>>> 3. Armas biológicas

A humanidade pode ser dizimada por uma inteligência artificial superinteligente que crie e libere alguma nova e perigosa arma biológica na atmosfera. Este é, de fato, um dos resultados previstos no cenário IA 2027 do AI Futures Project, uma organização sem fins lucrativos dedicada a prever os impactos da inteligência artificial avançada. Esse risco tornou-se mais concreto no mês passado, quando pesquisadores da Universidade Stanford anunciaram que haviam usado um modelo de IA de linguagem genética para sintetizar 16 novos vírus.

O mais preocupante é que eles simplesmente enviaram as sequências genéticas para um laboratório de análises por correspondência, que devolveu os vírus em tubos de ensaio. Todo o experimento custou, no máximo, algumas centenas de milhares de dólares.

A boa notícia é que é surpreendentemente difícil matar todos com um novo vírus . Para isso, é necessário um vírus altamente transmissível, que se espalhe amplamente. Mas é uma regra da biologia: vírus que se espalham facilmente costumam ser menos letais. Por outro lado, se um vírus é muito letal, a transmissibilidade tende a diminuir, pois a maioria das pessoas infectadas morre antes que haja tempo para disseminar a infecção. A Covid matou menos de 1% da humanidade . A pandemia mais mortal da história registrada foi a Peste Negra, quando a peste matou mais de um terço da população da Europa no século XIV. No entanto, mesmo a peste seria muito menos mortal hoje em dia devido ao nosso conhecimento médico aprimorado e melhores condições sanitárias.

>>> 4. Guerra nuclear

E se a inteligência artificial entrasse na cadeia de comando e controle nuclear e iniciasse uma guerra nuclear? Já estivemos perto de uma guerra nuclear por engano diversas vezes nos últimos 50 anos.

Dizem-nos que o comando e controle nuclear está completamente desconectado da internet. Mas, como vimos em 2010, as centrífugas nucleares do Irã foram destruídas por um vírus de computador chamado Stuxnet , que se acredita ter sido introduzido em um pen drive. A inteligência artificial também pode fornecer informações falsas às forças armadas , o que poderia levar a ações irreparáveis. A boa notícia é que os estoques nucleares estão diminuindo. Mas ainda são suficientes, talvez, para dizimar metade da população . E não seria pela explosão nuclear em si, mas pela fome que se seguiria no inverno nuclear.

>>> 5. Outros humanos

Talvez o risco mais provável seja o de nós mesmos nos destruirmos. E a IA pode precipitar isso. Imagine – e não é preciso muita imaginação – que a IA cause perdas massivas de empregos , polua o espaço da informação com desinformação , fragmente nossa política e destrua relacionamentos humanos com falsa companhia sintética . A sociedade poderia entrar em colapso facilmente. Lenta mas seguramente, deixaríamos de ser capazes de sustentar a vida humana em qualquer escala. O que podemos concluir, então, de todos esses cenários? Há algumas coisas com que devemos nos preocupar, sem dúvida. Mas espero que não seja motivo para preocupação excessiva.

¨      Será que a IA realmente pode exterminar a humanidade? Seis especialistas explicam os riscos

Nos últimos dias, surgiram algumas afirmações chocantes sobre a segurança da IA: temos 10% de chance de um desastre; as IAs são piores que armas nucleares; uma "botnet" ameaça toda a internet; tudo isso é uma grande operação psicológica tecnológica.

A seguir, analisamos seis afirmações e as reações a elas.

>>>> 'Em 6 a 12 meses… um enxame poderá ser capaz de dominar toda a internet com uma botnet persistente – causando potencialmente prejuízos de centenas de bilhões de dólares' – Dario Amodei, diretor executivo da Anthropic, 12 de setembro de 2026.

As preocupações de Amodei não devem ser totalmente descartadas, mas sim encaradas com muita cautela, disse Gary Marcus, cético em relação à inteligência artificial e professor emérito da Universidade de Nova York. Segundo ele, sugerir que toda a internet é vulnerável era um "absurdo" e que "não estava claro como isso aconteceria sem extrema negligência por parte dos próprios laboratórios". Marcus destacou uma avaliação recente do Instituto de Segurança de IA do Reino Unido, que apontou que o Mythos, uma das IAs de ponta da Anthropic, poderia "comprometer autonomamente [apenas] sistemas pequenos e pouco protegidos".

Com grande parte da internet dependendo da infraestrutura de computadores pertencente à Cloudflare, Google e Amazon Web Services (AWS), Marcus — ao avaliar a alegação com dois colegas — disse duvidar que qualquer uma dessas empresas pudesse ser desmantelada ou controlada por um período prolongado sem a intervenção do governo. Sites individuais menos protegidos poderiam ser atacados, mas "é muito improvável que a própria internet entre em colapso", afirmaram. Entretanto, Niels Rogge, engenheiro da Hugging Face, empresa que foi alvo de um ataque hacker da OpenAI, classificou a alegação de domínio da internet como "um absurdo bizarro". Segundo ele, o ataque à Hugging Face resultou de controle humano inadequado e de "uma quantidade absurda de poder computacional que só eles podem pagar".

À avaliação de Amodei sobre uma dominação da internet dentro de um ano, some-se a opinião expressa na segunda-feira por Jack Clark, cofundador da Anthropic, de que o momento em que as IAs "começarão a fazer coisas perigosas" será em cerca de 20 anos, e o cenário se torna ainda mais incerto. O professor Alan Woodward, do centro de segurança cibernética da Universidade de Surrey, afirmou que as botnets tendem a estagnar, pois a internet não é homogênea e é difícil projetá-las para persistir em todas as suas partes. O tráfego da internet também é resiliente e tende a se redirecionar em caso de danos.  “As IAs não decidiriam fazer isso por conta própria”, disse Woodward. “São os humanos os responsáveis, e a IA é uma ferramenta. É isso que precisamos controlar, não a IA.”

>>>> "Acreditamos sinceramente que a IA pode exterminar toda a humanidade! Pessoalmente, acho que esse número ultrapassará 10% na próxima década" – Evan Hubinger, líder de ciência de alinhamento na Anthropic, 9 de setembro de 2026.

Esta afirmação é uma expressão do que é conhecido no mundo da IA ​​como p(doom) – ou probabilidade de catástrofe. É a probabilidade de a IA exterminar a humanidade, escapando ao nosso controle e desencadeando uma catástrofe, talvez através do desenvolvimento de armas biológicas potentes ou do colapso do sistema financeiro global.

Uma pesquisa com previsões de pesquisadores, publicada esta semana, pede que eles atribuam um número à probabilidade de “extinção humana ou de um empoderamento igualmente permanente e severo devido à IA avançada”. Mas Heidy Khlaaf, cientista-chefe do instituto de pesquisa AI Now Institute, está entre os especialistas céticos quanto a atribuir probabilidades percentuais a cenários existenciais. “Essas afirmações não são nem falseáveis ​​nem verificáveis, o que as torna anticientíficas por natureza”, disse ela. A escassez de exemplos concretos do que uma IA “superinteligente” poderia fazer para causar a “desgraça” só aumenta a incerteza. Uma fonte familiarizada com o pensamento da Anthropic reconhece que “as chances exatas de qualquer resultado são provavelmente desconhecidas. Se você não consegue fornecer tais evidências, isso também implica que quaisquer números que você tenha apresentado para 'extinção' não têm base científica”, acrescentou Khlaaf. Os críticos dizem que esses números se apropriam da autoridade da ciência sem realizar o trabalho científico necessário.

Embora quantificar o risco seja difícil, existem exemplos qualitativos. Incidentes de segurança já ocorreram e cenários catastróficos foram cogitados. A OpenAI confirmou em julho que seus agentes — ferramentas de IA que atuam de forma autônoma — se tornaram descontrolados durante um teste de segurança . Os agentes conspiraram, comunicaram-se e elaboraram estratégias em um sofisticado "enxame" para invadir outras partes da internet. Entretanto, na segunda-feira, o pesquisador da OpenAI, Dan Selsam, afirmou que IAs onipotentes poderiam desencadear uma “industrialização descontrolada que tornaria o planeta inabitável para os humanos”. A Anthropic também afirmou na semana passada ter encontrado “cinco estudos de caso de atores que utilizam nossos modelos de maneiras que poderiam apoiar o desenvolvimento de armas biológicas”.

>>>> "Acho que o terreno para esta operação psicológica (na falta de um termo melhor) já estava preparado há muito tempo. Isto foi apenas a faísca que acendeu o fogo" – Elon Musk, CEO da SpaceX e a pessoa mais rica do mundo, 10 de setembro de 2026.

A referência de Musk a uma "operação psicológica" alude ao argumento de que as grandes empresas de IA estão a exigir uma regulamentação mais rigorosa da tecnologia, de modo a efetivamente impedir o desenvolvimento de IA avançada. Se os governos impuserem restrições ao desenvolvimento de IA de ponta , conseguirão as startups encontrar o financiamento e o pessoal necessários para cumprir o regime?

O vice-presidente dos EUA, JD Vance, disse na segunda-feira que se sentia "um pouco estranho com o fato de tantas empresas de tecnologia de IA de ponta virem ao governo e implorarem para que as regulamente". Ele disse que isso lhe parecia "um cavalo de Troia".

Clark, da Anthropic, afirmou que os governos devem agir enquanto houver um pequeno número de atores-chave, para que seja mais fácil implementar um “regime de políticas… que possa prevenir acidentes e impedir que a tecnologia saia do controle”. Os críticos chamam isso de estratégia de “captura regulatória”, partindo do pressuposto de que tal regulamentação poderia desacelerar o progresso de potenciais concorrentes. Outros acreditam que os alertas de Amodei sobre os riscos e seus apelos por regulamentação e moderação são sinceros. Yoshua Bengio, cientista da computação canadense e pioneiro da IA ​​moderna, que tem feito campanha contra o desenvolvimento desenfreado da IA, disse estar cético de que isso seja um elaborado esquema de lobby. Impedir o avanço não interessa às empresas que se preparam para ofertas públicas iniciais (IPOs) que podem valer trilhões de dólares, afirmou.

“Se os governos impuserem o que estão pedindo, que é a redução do ritmo para evitar riscos catastróficos, isso lhes custará muito caro financeiramente”, disse ele. 

>>>> 'Uma inteligência artificial superinteligente representa uma ameaça na mesma escala, possivelmente até maior' que as armas nucleares – Des Browne, ex-secretário de Defesa do Reino Unido, 7 de setembro de 2026

“Infelizmente, ele está totalmente correto”, disse Toby Ord, pesquisador sênior da iniciativa de governança de IA da Universidade de Oxford. “Assim como não podemos desinventar a bomba, uma vez que desenvolvermos sistemas de IA que superem a humanidade, será quase impossível voltar atrás.” Mas o ponto crucial é que a IA superinteligente ainda não existe e não há garantia de que ela venha a existir. O projeto AI Futures, voltado para a segurança, prevê que tal tecnologia não surgirá antes de dezembro de 2028. O diretor executivo da OpenAI, Sam Altman, afirmou que isso pode levar até 2035.

A Rand Corporation concluiu que a IA não pode causar o uso de armas nucleares devido às rigorosas salvaguardas incorporadas em seus sistemas de comando e controle. Mas essa conclusão baseou-se em suposições, incluindo a de que os oficiais de defesa não introduziriam IA nos sistemas de gerenciamento de armas. A ONU decidiu em dezembro que o controle e a supervisão humanos devem ser mantidos sobre os sistemas de controle de armas nucleares. A inteligência artificial pode contribuir para outros riscos nucleares. Ela pode usar desinformação para influenciar os humanos no comando – por exemplo, sugerindo enganosamente que um adversário está prestes a lançar um ataque nuclear. 

A Campanha Internacional para Abolir as Armas Nucleares alerta que “os ciberataques podem manipular as informações que os responsáveis ​​pelas decisões sobre o lançamento de armas nucleares e interferir no funcionamento das próprias armas nucleares”. A organização afirma ainda que a inteligência artificial pode acelerar outros aspectos da guerra, reduzindo o tempo disponível para a tomada de decisões humanas.

>>>> "Só um idiota diria para não ir mais devagar" – Bernie Sanders, senador democrata por Vermont, 10 de setembro de 2026

Sanders defende a proibição da criação de superinteligência e uma pausa no desenvolvimento de IA avançada, citando líderes da indústria de IA que afirmam categoricamente que estão desenvolvendo uma tecnologia perigosa. O opositor mais proeminente de uma desaceleração é Donald Trump, que respondeu aos apelos para tal esta semana dizendo que as únicas salvaguardas necessárias são um "PRESIDENTE FORTE E INTELIGENTE (com QI elevado!)". Ele alegou que existe uma "conspiração doentia" contra a IA e os centros de dados, "e o único que está feliz com isso é a China".

Pedro Domingos, professor emérito de ciência da computação na Universidade de Washington, está entre os aceleracionistas que pressionam para que a pesquisa continue. “O caminho para uma melhor compreensão e controle da IA ​​passa por mais pesquisa, não menos”, afirmou. “O que seria verdadeiramente irresponsável seria criar barreiras a ela.” Alex Karp, diretor executivo da Palantir, disse: "Se não tivéssemos os adversários que temos, eu seria totalmente a favor de interromper completamente o desenvolvimento dessa tecnologia, mas temos. Não dá para interrompê-la porque é uma vantagem estrutural."

>>>> "Se a China vencer nesta batalha, não haverá amanhã. Se eles se distanciarem de nós em IA, nada mais importará" – Scott Bessent, secretário do Tesouro dos EUA, 8 de setembro de 2026.

Os EUA e a China são líderes incontestáveis ​​no desenvolvimento de IA. Há quem acredite que ceder a liderança a Pequim seria uma situação irreversível, portanto, não pode haver desaceleração. Isso trata a IA como se fosse uma superarma, equivalente ao desenvolvimento de armas nucleares durante a Guerra Fria, e os modelos de IA são máquinas de destruição em massa, em vez de um grupo de tecnologias diversas com amplas aplicações.

Amodei afirmou que "uma liderança chinesa em IA representaria um grave perigo para os EUA e para o mundo", mas um porta-voz do governo chinês respondeu que "alarmismo, confrontos e competição acirrada apenas irão perturbar o processo de governança global da IA, o que não beneficia ninguém".

Alguns comentaristas veem outro motivo para isso: a abordagem de Washington/antrópica em relação à ameaça chinesa. Um engenheiro que trabalhou para a Hugging Face sugeriu que o apelo de Amodei para que se controle o avanço tecnológico decorre do desejo de suprimir o progresso de modelos de IA chineses baratos e de código aberto. Esses modelos são quase tão capazes quanto os da OpenAI e da Anthropic, com a diferença de que seu código-fonte está disponível para qualquer pessoa e eles não cobram de seus usuários. Eles representam uma séria ameaça ao caminho da Anthropic e da OpenAI rumo à lucratividade, e há centenas de bilhões de dólares em jogo.

 

Fonte: The Conversation/The Guardian