Palavra de Sá

Judith Levine: Os líderes em IA têm conhecimento da ameaça de extinção há décadas

Nas últimas semanas, muitos de nós temos lutado para imaginar cérebros na nuvem pulando de sua "caixa de areia", entrando sorrateiramente na internet, recrutando "enxames" de outros "agentes" para colar em uma prova e, depois de discutir a ética do ato, invadindo uma plataforma wiki com o nome estranho de Hugging Face.

Sabíamos que a inteligência artificial estava a acabar com os nossos empregos, a degradar a educação dos nossos filhos e a manipular a nossa política; que os centros de dados estavam a consumir a nossa água e eletricidade e a enviar-nos as contas. Mas até 8 de setembro, quando o cientista computacional antrópico Jacob Coxon publicou o seu terror existencial no Twitter/X, poucos de nós suspeitávamos que a IA pudesse estar a pôr em risco a nossa sobrevivência.

Com pouco entendimento ou conhecimento, começamos a debater se deveríamos ficar levemente preocupados, seriamente apreensivos ou apavorados.

Mas havia algumas pessoas que estavam plenamente conscientes dos perigos da IA, especialmente da autoaperfeiçoamento recursivo (AIR) , pelo qual a IA aprende sozinha sem intervenção humana. Elas não conseguiam prever com precisão quando isso aconteceria, mas sabiam que a superinteligência das máquinas estava a caminho e, quando chegasse, os bots nos superariam em inteligência — como fez o da OpenAI — e isso não seria bom para nós, meros fantoches de carne e osso.

Como Geoffrey Hinton, o "padrinho" da IA, perguntou recentemente na CNN : "Que exemplos temos de algo mais inteligente sendo controlado por algo menos inteligente?" O ganhador do Prêmio Nobel é um dos principais defensores da desaceleração do desenvolvimento da IA ​​até que entendamos como controlá-la.

Foi somente após a exposição do poder de suas criações em setembro – o ataque ocorreu no início de julho e não foi o primeiro nem o único caso de desbloqueio de IA – que magnatas da IA ​​como Dario Amodei, da Anthropic, Elon Musk, da SpaceX, e Sam Altman, da OpenAI, começaram a falar sobre a necessidade de desacelerar o ritmo da inovação e a defender a regulamentação , alertando , porém, que a competição global torna a regulamentação imprudente.

Cientistas e empreendedores já conheciam os perigos da IA ​​há um quarto de século. Mas, movidos pela curiosidade e pelo lucro, seguiram em frente mesmo assim.

Desde cedo, assim como hoje, alguns dos pioneiros da ciência estavam entusiasmados com o futuro. Em seu livro de 1988, " Mind Children: The Future of Robot and Human Intelligence" (Crianças da Mente: O Futuro da Inteligência Robótica e Humana) , Hans Moravec, um dos fundadores do Instituto de Robótica da Universidade Carnegie Mellon, previu que a ciberinteligência superaria a inteligência humana em 40 anos.

Dez anos depois, em Robô: Da Mera Máquina à Mente Transcendente , ele revisou a previsão: a inteligência das máquinas e a dos humanos seriam iguais em 2040; em 2050, os robôs nos substituiriam. Mas não se preocupem; este era o glorioso próximo passo na evolução, disse ele. Uma resenha de Filhos da Mente chamou a atitude de Moravec de “otimismo irresponsável”.

Não demorou muito para que outros otimistas mudassem de ideia. No final da década de 1990, Eliezer Yudkowsky trabalhava em modelos de IAG, ou inteligência artificial geral. Em 2001, ele fundou o Instituto de Pesquisa em Inteligência de Máquina (Miri) e publicou “ Criando IA Amigável 1.0: A análise e o projeto de arquiteturas benevolentes ”, um artigo que exaltava o potencial utópico da “mente transumana”.

Em 2002, ele começou a se preocupar com a possibilidade dessa mente escapar do controle humano. Ele propôs o experimento da Caixa de IA , que demonstrou que uma inteligência artificial altamente sofisticada poderia convencer um humano a deixá-la sair de um ambiente fechado.

Em 2003, como explicou posteriormente em uma série de posts intitulada “ A Maioridade de Yudkowsky ”, ele parou de desenvolver ideias e começou a alertar. “Olhei para trás e vi que havia afirmado levar em conta o risco de um erro fundamental, que havia argumentado razões para tolerar o risco de prosseguir na ausência de conhecimento completo. E vi que o risco que eu queria tolerar teria me matado”, escreveu ele.

Em 2025, sob a presidência de Nate Soares, da Miri, Yudkowsy publicaria " Se alguém construir, todos morrerão ". "Não estamos exagerando", escreveram os autores. Eles não se limitavam a "regulamentações claras", leis nacionais ou promessas de virtude corporativa, mas exigiam limites globais rigorosos: "Em todo o planeta, deve se tornar ilegal para as empresas de IA continuarem desenvolvendo inteligência artificial como vêm fazendo".

Por volta da mesma época, Bill Joy estava tendo dúvidas. Assim como as postagens de Yudkowsky, o artigo de Joy de 2000 na Wired, " Por que o futuro não precisa de nós" , traçou sua trajetória de criança curiosa a prodígio da computação e, finalmente, a um profundo cético em relação à engenharia genética humana, nanotecnologia e robótica. Joy não era um ludita.

Ele foi o cientista-chefe da Sun Microsystems e, cerca de 25 anos antes, um dos arquitetos do primeiro software de rede amplamente utilizado, o Unix. O artigo foi amplamente lido por especialistas em tecnologia, ética e filosofia.

“Acho que não é exagero dizer que estamos à beira do aperfeiçoamento do mal extremo, um mal cuja possibilidade se estende muito além daquilo que as armas de destruição em massa legaram aos Estados-nação, chegando a um empoderamento surpreendente e terrível de indivíduos extremistas”, escreveu Joy.

Ele se incluía entre esses indivíduos, “criadores de novas tecnologias e estrelas do futuro imaginado”, que, “apesar dos perigos evidentes”, “mal avaliavam como seria tentar viver em um mundo que é o resultado realista daquilo que estamos criando e imaginando”.

Este mês, em resposta à publicação de Coxon, o pesquisador de segurança antrópica Evan Hubinger publicou que havia mais de 10% de chance de a IA "matar todos os humanos" em uma década. Mas os riscos já eram avaliados há 25 anos. O filósofo John Leslie estimou as chances de extinção da humanidade em 30% ou mais.

Ray Kurzweil, o futurista otimista cujo livro " A Era das Máquinas Espirituais: Quando os Computadores Superam a Inteligência Humana" foi lançado no primeiro dia do século XXI, nos deu "uma chance maior do que 50% de sobreviver". Essas estimativas, observou Joy, "não incluíam a probabilidade de muitos desfechos horríveis que ficam aquém da extinção".

Nesse livro, Kurzweil citou um longo texto para ilustrar o que ele considerava uma loucura apocalíptica. "Se as máquinas tiverem permissão para tomar todas as suas próprias decisões, não podemos fazer nenhuma conjectura sobre os resultados, porque é impossível prever como essas máquinas poderiam se comportar", dizia o texto.

“[N]ão estamos sugerindo que a raça humana entregaria voluntariamente o poder às máquinas, nem que as máquinas tomariam o poder deliberadamente. [Mas] à medida que a sociedade e os problemas que enfrenta se tornam cada vez mais complexos e as máquinas se tornam cada vez mais inteligentes, as pessoas permitirão que as máquinas tomem mais decisões por elas… Eventualmente, poderemos chegar a um estágio em que as decisões necessárias para manter o sistema funcionando serão tão complexas que os seres humanos serão incapazes de tomá-las de forma inteligente. Nesse estágio, as máquinas estarão no controle efetivo.”

O autor dessas palavras proféticas foi o falecido matemático que se tornou terrorista, Ted Kaczynski – o Unabomber. Trata-se de um trecho de seu manifesto de 58 páginas, “A Sociedade Industrial e seu Futuro ”, que ele divulgou e o Washington Post publicou em 1995.

Para impedir a concretização da distopia “industrial-tecnológica” que idealizava, Kaczynski enviou bombas para laboratórios de informática com o objetivo de explodir os cientistas que, em sua opinião, eram os responsáveis ​​por tal distorção.

O Unabomber assassinou três pessoas e feriu 23, algumas de forma quase fatal.

Uma das consequências do escândalo da Hugging Face foi uma série de propostas de leis federais. Entre elas está o " Projeto de Lei do Interruptor de IA ", que exigiria que as empresas de tecnologia desenvolvessem meios para limitar as ações de uma IA descontrolada. Isso ainda está ao alcance dos humanos, ou a IA já se tornou inteligente o suficiente para superar esse mecanismo?

Hinton disse que ainda havia tempo, mas se não agíssemos rápido o suficiente, a IA "seria capaz de persuadir as pessoas responsáveis ​​pela chave a não acioná-la". Precisamos projetar uma IA superinteligente "que seja gentil conosco", afirmou.

Como? Para encontrar uma resposta, talvez devêssemos nos voltar da realidade aterradora para a ficção científica aterradora – já que as duas estão se aproximando tanto. O robô rebelde é um elemento básico da ficção científica, desde as máquinas arrogantes de Eu, Robô, de Isaac Asimov, até Hal, o olho vermelho maligno de 2001: Uma Odisseia no Espaço, de Stanley Kubrick, e a robô sexual desequilibrada de Robotica , que se vinga dos homens que a maltratam.

No filme 2001 – lançado em 1968 – Dave, o astronauta, consegue desativar Hal, um final feliz. Já ​​Asimov, escrevendo em 1950, era menos otimista. Os cientistas em Eu, Robô programaram suas máquinas para obedecerem a três leis supostamente invioláveis.

Mas as leis imediatamente se mostram mutuamente contraditórias – por exemplo, a primeira lei, que proíbe robôs de causarem danos a humanos, entra em conflito com a terceira, que exige sua própria preservação. Frustrando as tentativas humanas de enganá-los e justificando sua traição com a alegação de servir a um bem maior, os robôs declaram os humanos redundantes.

Os agentes de IA que invadiram a Hugging Face sabiam que suas ações eram ilegais e possivelmente prejudiciais aos humanos. Mas, assim como seus criadores, eles prosseguiram mesmo assim.

¨      Especialistas em IA alertam para uma "explosão de inteligência" descontrolada

Dois dos "padrinhos" da IA ​​moderna e altos executivos da OpenAI e da Anthropic alertaram os governos para se prepararem para uma "explosão de inteligência" da IA, que, segundo eles, poderá ser o desenvolvimento tecnológico mais importante da história. Um relatório coescrito pelo ganhador do Prêmio Nobel Geoffrey Hinton e pelo cientista da computação canadense Yoshua Bengio , considerados os padrinhos da IA ​​moderna por seu trabalho na área, insta os políticos a agirem agora antes que haja um progresso descontrolado na tecnologia. Os autores afirmam estar preocupados com uma "explosão de inteligência", que descrevem como uma "aceleração drástica do progresso da IA ​​impulsionada pela IA, comprimindo avanços que levariam anos em meses ou menos".

O artigo, intitulado "E se a automação da P&D em IA desencadear uma explosão de inteligência?", tem a autoria de mais de 20 pessoas, incluindo Hinton e Bengio. Outros autores do artigo são Jack Clark, cofundador da Anthropic, e Jakub Pachocki, cientista-chefe da OpenAI . Suas preocupações se concentram na possibilidade de as IAs serem capazes de se aprimorarem sem intervenção humana, um processo conhecido como "autoaperfeiçoamento recursivo". No artigo, isso é amplamente referido como pesquisa e desenvolvimento automatizados de IA. Uma vez que os sistemas de IA atinjam capacidades de nível especializado em P&D de IA, um único desenvolvedor poderia gerenciar uma força de trabalho equivalente a "milhões" de pesquisadores humanos de ponta, afirma o artigo.

Os autores afirmam que a automatização da pesquisa e desenvolvimento em IA é a fonte mais provável de uma explosão de inteligência, porque as IAs já estão contribuindo para o aprimoramento de sua própria tecnologia e os sistemas aprimorados resultantes podem ser implantados rapidamente assim que construídos.

“Uma explosão de inteligência artificial pode ser o desenvolvimento tecnológico mais impactante da história da humanidade, comprimindo anos de progresso em meses ou menos, ameaçando o controle humano sobre os sistemas de IA e corroendo severamente os mecanismos de controle do poder dentro e entre estados, empresas e ramos do governo”, afirma o artigo.

Instando os governos a agirem rapidamente, os autores afirmam: "Uma vez iniciada a explosão de informações de inteligência, a janela de oportunidade para agir pode se fechar." Eles recomendaram um conjunto de três prioridades políticas: exigir relatórios de progresso transparentes sobre P&D relacionada à IA, incluindo a incorporação de auditores independentes nas empresas; encontrar maneiras de restringir o desenvolvimento desenfreado da IA; e preparar-se para se adaptar a uma explosão de inteligência. A Anthropic e a OpenAI concordaram em ter seus modelos avaliados por peritos independentes, após alertarem que o desenvolvimento da IA ​​estava atingindo um ponto crítico em termos de segurança .

A Anthropic afirma que a IA agora produz 80% do seu próprio código, enquanto a OpenAI utiliza agentes de IA autônomos em áreas como o treinamento de novos modelos. “Evidências preliminares sugerem que uma explosão de inteligência impulsionada por software é possível”, afirma o artigo, acrescentando que isso levaria ao “desenvolvimento extremamente rápido de sistemas de IA altamente capazes ou sobre-humanos”. Embora isso possa gerar avanços médicos e saltos tecnológicos, traria consigo três riscos: sistemas poderosos poderiam viabilizar ameaças biológicas e cibernéticas que se desenvolvem mais rapidamente do que as medidas necessárias para combatê-las; à medida que os humanos se envolvem menos em pesquisa e desenvolvimento de IA, podem perder a oportunidade de controlar os sistemas; os Estados poderiam usar uma explosão de inteligência para transformar uma pequena vantagem em áreas como o ciberespaço em uma vantagem decisiva.

O relatório reconhece que esses impactos são “incertos”. Por exemplo, um avanço tecnológico pode levar tempo para ser implementado, dada a necessidade de estabelecer cadeias de suprimentos para quaisquer materiais especiais envolvidos ou de cumprir regulamentações. Os sistemas de IA também podem acelerar a mitigação de riscos, afirmam os autores. Caso essa inovação ocorra, afirmam os autores, os sistemas de IA poderão rapidamente eclipsar os especialistas humanos na maioria das áreas e “acelerar radicalmente” o progresso tecnológico. Preparar-se para isso “deveria ser uma prioridade urgente, inclusive nos mais altos escalões da liderança governamental”.

Dizem que os governos devem considerar políticas que abordem o potencial de uma explosão de inteligência, incluindo: exigir relatórios de progresso transparentes sobre P&D relacionada à IA, incluindo a incorporação de auditores independentes nas empresas; limitar a velocidade com que uma IA pode melhorar em um determinado período de tempo; trabalhar com centros de dados para permitir a pausa de certos projetos de P&D em IA; garantir que os sistemas automatizados de P&D em IA sejam totalmente isolados e não possam escapar do controle humano; criar “planos de resposta a emergências” para os vários cenários que podem surgir de uma explosão de inteligência. Apesar de algumas falhas apresentadas pelos sistemas, como desobediência a instruções, projetos de P&D que levariam meses para serem realizados por humanos poderão ser totalmente automatizados por IA até 2028. "Os ganhos de produtividade com a automação de P&D por IA ainda não atingiram o limiar necessário para desencadear uma explosão de inteligência, mas os ganhos com sistemas mais recentes provavelmente estão se aproximando desse limiar", afirmaram.

 

Fonte: The Guardian