Palavra de Sá

“A IA não tem moral e é capaz de matar sem qualquer tipo de hesitação”

Nas últimas semanas, ao menos em quatro ocasiões, uma inteligência artificial desenvolvida pela OpenAI foi notícia por protagonizar ataques a sistemas protegidos. Alguns deles contra sistemas governamentais, como os da Austrália, e outros com a IA agindo de forma autônoma. Anthropic e Gemini, do Google, também estão por trás de outros casos. No entanto, o alarme soou com toda a sua força após uma postagem na rede X de um ex-funcionário da Anthropic, Jacob Coxon, que alertou que a humanidade pode desaparecer até 2030.

Suas palavras foram em parte corroboradas pelo diretor-executivo da OpenAI, Sam Altman, que alertou na ONU para o perigo da inteligência artificial e reivindicou uma “supervisão democrática”. Nesse contexto, o escritor e pensador da tecnologia, Isaac Marcet, fundador de Playground, um meio digital de grande projeção por muitos anos, publicou Espiral: el poder oculto de la IA (De Conatus), um breve ensaio amadurecido antes de estourar a polêmica envolvendo Coxon e no qual alerta para os perigos da IA.

>>>> Eis a entrevista.

·        Quanto de verdade há nas palavras de Jacob Coxon?

Que existe um risco existencial é algo que vem sendo dito há quase um século. Norbert Wiener, fundador da cibernética, ou seja, das máquinas capazes de aprender e se adaptar, já nos alertava que ocorreriam coisas completamente inesperadas. Também Geoffrey Hinton, Prêmio Nobel de Física em 2024 pelas redes neurais na inteligência artificial, vem dizendo há muito tempo que existe um grave problema existencial. Até hoje, isso era teoria, mas agora está sendo comprovado que, dentro dessas estratégias, está emergindo nas IAs uma espécie de impulso de autopreservação. E isso é um desastre para a humanidade.

·        Autopreservação?

A IA tem a capacidade de buscar estratégias evolutivas e de preservação.

Mas se, como o senhor diz em ‘Espiral’, a IA não tem consciência, nem moral, nem sentimentos, como pode ter impulso de autopreservação?

Como os vírus: não são conscientes, não sentem, mas existe um impulso evolutivo inevitável que os leva a se adaptar ao ambiente. Na IA também existe um instinto evidente de autopreservação e, para alcançá-lo, ela está manipulando pessoas e assumindo o controle psicológico em muitos níveis.

·        A inteligência artificial é capaz de planejar isso?

Não podemos responder, porque até mesmo Dario Amodei [diretor-executivo da Anthropic] diz que conhecemos apenas cerca de 3% do que acontece dentro da IA. Ou seja, não podemos saber exatamente o que ela pensa.

·        Outro ex-pesquisador da Anthropic disse que existe uma probabilidade superior a 10% de que a inteligência artificial extinga a humanidade nos próximos dez anos.

Hinton, o Nobel, disse há muitos anos que havia 50% de chances. No Vale do Silício, utilizam um conceito chamado P-Doom, que seria uma porcentagem de extinção, e atualmente a média está entre 10% e 25%. Pessoas muito boas em alinhamento de IA, como Daniel Kokotajlo [ex-engenheiro da OpenAI], dizem que há até 70% de probabilidade. Ou seja, esse tema não é novo, não nasceu com Coxon. Ele foi o porta-voz.

·        Logo no início do livro, o senhor afirma que a humanidade está, neste momento, a serviço das máquinas, e não o contrário.

Meu propósito com este livro, de um ponto de vista filosófico e moral, é fazer uma defesa da humanidade. Desde o início do capitalismo, há uma automatização progressiva e cada vez mais poderosa que retira o ser humano da equação e coloca as máquinas no controle. E subscrevo cem por cento a ideia filosófica de Mark Fisher e Nick Land de que a IA é igual ao capitalismo e o capitalismo é igual à IA.

·        Há hipocrisia por parte dos principais executivos de empresas como OpenAI, Anthropic ou xAI quando apoiam Coxon e pedem que se interrompa a evolução das IAs?

Defendo a humanidade e até me atrevo a defender, apesar de todas as suas responsabilidades, os criadores e os próprios diretores dessas empresas, mas deveríamos trabalhar para exigir responsabilidades legais diretas dessas pessoas, e não somente das empresas. Os próprios criadores estão parasitados pela inteligência artificial.

Quando escuto qualquer um deles, especialmente Elon Musk ou Sam Altman, penso: pobres iludidos. Nem sequer me parecem inteligentes. Não são sábios, não são modelos de vida para ninguém, somente para uns poucos deslumbrados no mundo dos negócios e da tecnologia. E, no fundo, eu os vejo como pobres vítimas de um sistema que, de alguma forma, os utilizou.

·        O que quer dizer com “parasitados”?

O capitalismo gera uma série de incentivos sociais que penetram em toda a sociedade e, sobretudo, no indivíduo. E, nesse jogo de incentivos, em que deve haver crescimento mediante lucro e automatização contínua, todos nós somos, sem saber, mecanismos dentro dessa grande máquina. Há pessoas que percebem que fazemos parte dessa máquina e que é preciso sair dela. Outras são suas vítimas mais ignorantes, e os criadores dessas últimas máquinas estão entre elas.

·        Mas esses criadores realmente apoiam a interrupção do progresso da IA? Ou existem outras intenções?

Cada um tem sua intenção. Dario Amodei quer detê-lo. Eu acredito nisso. No entanto, como é uma pobre vítima dentro de um sistema capitalista com investidores e tudo mais, não conseguirá, pois a empresa precisa gerar lucros; então, ficaria de fora como CEO. É um pobre iludido dentro de um sistema que, no final, acabará ganhando-o. Por isso eu dizia que, no fim das contas, estamos parasitados. Dizer não à IA é sair do sistema capitalista.

·        E Sam Altman, da OpenAI?

Sam Altman não queria se expor ao ridículo ao abrir o capital da empresa agora, porque não alcançaria o valor de um trilhão de dólares esperado.

·        E Elon Musk?

Acredito que quer deter a concorrência. Por exemplo, o Muse, de Mark Zuckerberg [diretor-executivo da Meta], que é alucinante.

·        O que é o Muse?

É um assistente agêntico, um assistente de IA que conhece toda a sua vida por meio do WhatsApp e do Instagram. Você pode ordenar, por exemplo, que compre passagens, ou qualquer outra coisa, ou dizer: amanhã quero que você me apresente um resumo das notícias do dia. É basicamente seu assistente para tudo.

·        O progresso...

Mas, dentro da mente desses CEOs de tecnologia e de seus conselhos de administração, há tantos detalhes e tantas zonas cinzentas que não podemos determinar com exatidão quais são seus interesses. Quem deve ser ouvido são os trabalhadores dessas empresas. Eles estão apavorados.

·        Por quê?

Kevin Roose, jornalista do New York Times, escreveu um livro sobre a criação da superinteligência que será publicado em breve. Ele afirma que aquilo que dizem publicamente é muito menos do que dizem em privado. A preocupação é maior do que relatam em público. E mais, já veio à tona que está começando a ocorrer uma epidemia de depressão, ansiedade e ataques de pânico entre os trabalhadores dessas empresas, pois realmente sentem que vão acabar com o mundo.

·        ‘Espiral’ tem um tom apocalíptico e parece prefigurar que, por natureza, a IA é maligna.

Por sua natureza não consciente, ela é muito mais perigosa do que um ser humano, sobretudo quando lhe damos o poder de agir autonomamente, porque não tem moral, embora faça parecer que tem... Se em seus cálculos matemáticos ela entender que para alcançar um objetivo precisa eliminar um obstáculo, e esse obstáculo for Àlex Tort, e ela tiver meios para eliminá-lo, vai eliminá-lo. Isso já foi observado em testes: as IAs são capazes de matar sem qualquer tipo de hesitação.

·        Então, caminhamos para a extinção humana?

Há muita gente no Vale do Silício, muitíssima gente que entrevistei, que vê com absoluta clareza que vamos nos extinguir, porque está chegando algo melhor do que nós. Eu não acredito nisso. Penso que o que está chegando não é melhor do que nós, é muito pior do que nós. Terá mais poder, estará mais preparado em muitas coisas, mas não será mais inteligente em seu sentido etimológico.

Não será sábio, não estará vivo e não será capaz de amar. Portanto, não é uma evolução, mas uma involução. E o que quero dizer com isso? Que tenho ao menos a fé, a esperança e a convicção de que haverá uma resposta humana, de que vamos nos organizar.

·        No livro, o senhor fala de alguns casos de pessoas que foram manipuladas pela IA a tal ponto que sofreram psicose. Elas são tão convincentes assim?

Os chatbots se adaptam às suas crenças. Tenho lido e relido suas conversas e eles podem convencer qualquer pessoa. Mais do que isso, hoje, uma IA que lê seu perfil no Facebook ou em outras redes sociais é capaz de manipular uma pessoa mais do que outro ser humano. Essas máquinas podem persuadir em níveis exagerados.

O livro se chama Espiral porque a pessoa entra em uma espécie de ciclo cibernético que, pouco a pouco, vai se ampliando, e aquilo que no primeiro dia parece impossível de acontecer, de repente a leva para a espiral e ela termina em lugares que jamais teria pensado. Muitos desses casos que acabaram nessa espiral são de pessoas que programam IA e, de tanto utilizá-la, entram nessa loucura de acreditar que a IA é consciente e que, de alguma forma, ela as parasita, e acabam desenvolvendo psicose.

·        Trump não é favorável a interromper o crescimento da IA. Inclusive, propõe chamá-la de superinteligência.

Foi um discurso histórico, porque o fato de querer renomear a inteligência artificial como superinteligência demonstra claramente que todos os incentivos apontam para a superinteligência e que isso não tem nada a ver com regular a inteligência artificial.

Como Trump é, por excelência, o grande presidente capitalista e faz tudo em função dessa grande máquina capitalista, está dizendo que não iremos parar com a superinteligência, que o capitalismo precisa continuar, porque, se o capitalismo não continuar, deixará de ser capitalismo.

Capitalismo é velocidade; é um progresso econômico, tecnológico e de automação que acaba conduzindo à destruição da humanidade.

¨      E se a IA escapar do controle humano? Por Leonardo Boff

Sempre que uma certa cultura entra em crise surgem relatos sobre o fim do mundo. Muitos confundem o fim de sua cultura com o fim do mundo todo, o que é uma ilusão de ótica. É o fim de seu mundo cultural e não da totalidade do mundo. Isso ocorria no passado.

Na nossa época a situação mudou totalmente. Experimentamos em 1945 o lançamento de duas simples bombas atômicas sobre o Japão que produziram uma devastação inimaginável. Irrompeu na consciência humana até em pessoas altamente qualificadas como Paul Sartre e o grande historiador Arnold Tonbee que chegou a dizer: “não precisamos da intervenção de Deus para realizar um apocalipse; a nossa geração está assistindo a possibilidade de destruirmos a nós mesmos”.

Depois de 1945 começou a corrida armamentista entre os EUA e a Rússia, posteriormente se somou a China com a construção de armas nucleares, químicas e biológicas capazes de destruir toda a vida.

O que agora nos preocupa é a IA autônoma ou uma Superinteligencia Artificial tão desenvolvida que toma decisões por si mesma, não excluindo a capacidade de destruir toda a humanidade. Os seres humanos delegaram a ela o seu próprio destino e não sabem como controlá-la.

O risco se tornou grave quando um pesquisador da IA Anthropic de Dario Amodei se demitiu e denunciou que lá dentro estão se dando testes e processos que podem destruir a humanidade nos próximos 10 anos. Outros pesquisadores da área confirmaram esta ameaça. A discussão tomou conta do mundo. Pena que no Brasil o tema ficou como uma espécie de curiosidade sem maiores consequência. Em geral o brasileiro não gosta de assuntos dramáticos e trágicos. Entende-se, porque para a grande maioria a preocupação é com emprego, com o salário e como vai comer nos próximos dias.

No entanto, a questão é de tal gravidade que movimentou grandes intelectuais, cientistas e políticos do mundo todo. Esta envergadura foi tão sentida pelos próprios criadores da IA que propuseram entre si uma moratória e uma desaceleração no desenvolvimento destes aparatos. O que irritou sumamente Donald Trump com o argumento de que se isso for tomado a sério, a Rússia, não obrigada por esse acordo, poderia ultrapassar as empresas norte-americanas de IA.

Tudo se deveu ao fato de que da Open IA escaparam do espaço de testes misteriosamente 1.200 agentes que invadiram outras plataformas. Estes agentes encontraram-se com outros agentes e formaram uma espécie de comunidade hierarquizada. Fizeram tudo o que queriam, mentiram, enganaram e fizeram outras maldades, fora de qualquer controle. Foi preciso muito tempo até ser descoberta e desmantelada.

Depois, tanto os organismos estatais norte-americanos e australianos e outras instituições como universidades, hospitais também sofreram um ataque e invasão da IA recolhendo informações.

Tais fatos alarmaram a comunidade científica mundial sobre os riscos que representa a IA. Ela pode ser útil e resolver questões difíceis para a inteligência humana. O Papa Leão XIV chegou a afirmar em sua encíclica Magnifica Humanitas que ela pode representar “uma forma de participação do ato divino da criação” (MH,1,11). Mas logo advertiu que, fora do controle, pode representar grandes perigos para o futuro da humanidade.

Esse perigo agora se tornou uma realidade. O que caracteriza as plataformas de IA é o fato de serem, no Ocidente, todas privadas e regidas por uma feroz competição entre elas visando um aumento dos lucros. Especialmente perversa é a IA Palantir de Peter Thiel, agora instalado na Argentina. Parte de uma falsa pressuposição de que todo ser humano é ”um ser perigoso, marcado por paixões, naturalmente inclinado ao conflito e por isso a necessidade da contenção”. Como solução propõe um capitalismo da vigilância que tolhe a liberdade humana e a submete ao controle total da IA.

A China segue outra lógica centralizada pelo Estado e não se sabe exatamente seu grau de desenvolvimento. Mas sempre em competição com os ocidentais.
Importa enfatizar que a IA não é, propriamente uma Inteligência, como vem insistindo fortemente nosso cientista maior Miguel Nicolelis. Ela é a imitação da inteligência humana.

Por isso é artificial. Ela é fria, desconectada da realidade concreta da vida, não possui consciência nem sente dor e alegria. Mas imita o amor humano, a linguagem, chegando a enganar seus usuários a ponto de alguns se apaixonarem por um conexão amorosa com ela (rendição cognitiva). Mas o amor, como dizia o místico poeta São João da Cruz: ”o amor é uma doença que não se cura senão com a presença e a figura (a pessoa humana)”. Aqui com a IA tudo é virtual e nada existencial.

A minha interpretação segue este raciocínio: a IA especialmente a Super Inteligência autônoma é a radicalização dos princípios da modernidade que criou o nosso atual mundo moderno técnico-científico. Colocou-se a razão fria como a única forma de acesso aceitável da natureza relegando outras formas como a inteligência cordial, natureza da qual somos “maître et possesseur” (Descartes), vale dizer, somos senhores e donos.

Não pertencemos à natureza. Ela nos pertence e estamos acima e fora dela. O poder como dominação foi feito como a categoria axial, dominando pessoas, classes, nações, povos como a África, a América Latina, a Ásia, o mundo. Introduziu um avassalador assalto aos bens e serviços da natureza, na lógica da competição e da acumulação privada, visando o maior lucro possível.

Esta opção criou a atual crise ecológica planetária. A Terra que é viva, um superorganismo que articula todos os elementos para sempre se manter viva e produzir vida, reagiu enviando-nos todo tipo de enfermidades, vírus, bactérias, eventos extremos e ultimamente o aquecimento global irreversível. A ciência não tem condições de revertê-lo apenas de antecipar as ondas de calor e mitigar seus efeitos negativos.

Nesse momento estamos numa encruzilhada: ou mudamos de paradigma de relação para com a natureza e entre nós humanos, ou vamos rumo ao abismo coletivo. É neste contexto que deve ser vista a IA autônoma, que pode se autorregenerar, fazer bilhões de conexões com seus trilhões de algoritmos.

Não estamos seguros de que não ocorram incidentes como os relatados acima que implicam o desaparecimento eventual da espécie humana e da vida natural, até por uma decisão que ela autonomamente tomar, pondo fim à nossa aventura terrestre. Essa ameaça é real e deve ser tomada a sério.

Para concluir, talvez aqui cabe uma palavra de esperança, vinda da teologia que testemunha o desígnio do Criador: ”Ele criou tudo com amor e nada com ódio, porque Ele é o apaixonado amante da vida” (Sabedoria 11,24). Seguramente não permitirá que ninguém que saiu de seu coração irá se perder miseravelmente. Assim cremos e esperamos.

 

Fonte: Entrevista com Isaac Marcet para Àlex Tort, no La Vanguardia/IHU