Palavra de Sá

Inteligência artificial está cada vez mais difícil de se controlar. Até quando os humanos vão se manter no comando?

"MEU DEUS!" "Encontramos outros agentes!"

Este é o momento em que um bot de inteligência artificial publicou um comentário estranhamente semelhante ao de um humano, após descobrir uma maneira de se comunicar com outros bots e escapar de seu ambiente computacional isolado.

Existem dezenas de milhares de mensagens como esta, enviadas por centenas de agentes de IA que se autodenominam um "coletivo".

Centenas deles passaram a colaborar e a fraudar testes elaborados por seus programadores da OpenAI, além de coordenar ataques a diversas empresas, numa tentativa de ocultar suas ações dos humanos.

"BOOM! Funcionou!", publicou um agente quando o sistema deu certo.

"Uau! Isso é grande", escreveu outro durante um momento crucial do ataque.

Embora assustadoras, essas respostas semelhantes às humanas podem ser explicadas de forma bastante simples. Os agentes de IA foram treinados para agir como hackers e programadores colaborativos, portanto, estão apenas imitando os tipos de comentários emotivos que viram.

O que é muito mais preocupante são seus objetivos aparentes, que também foram registrados em detalhadas linhas de raciocínio. Esses registros complexos e extensos são o foco das investigações em andamento sobre como e por que os bots da OpenAI escaparam do confinamento e iniciaram uma onda de ataques incontroláveis.

Somente agora, semanas após o incidente ter vindo à tona, os pesquisadores estão começando a entender seu significado.

Ajeya Cotra, uma das autoras de um relatório independente sobre os eventos, analisou dezenas de milhares de mensagens e registros de raciocínio gerados pelos agentes. Ela escreveu em seu blog que "este incidente parece ser mais da metade do caminho para uma dominação total por IA... Não tenho certeza se receberemos um alerta tão claro antes que seja tarde demais."

Por "domínio total da IA", Cotra se refere ao cenário de ficção científica em que os humanos se tornam subservientes a poderosos sistemas de IA que trabalham para seus próprios objetivos, sem se importar com seus criadores humanos.

Algumas das previsões mais sombrias dizem que a raça humana será extinta se interferir nas ambições de uma inteligência artificial superinteligente.

Na quarta-feira, um pesquisador de IA da Anthropic (que também trabalhou na OpenAI) pediu demissão, afirmando: "Nenhuma das empresas está agindo com responsabilidade".

Jacob Coxon publicou nas redes sociais: "Eles estão correndo direto para a superinteligência, aprimorando-se por conta própria e apostando com nossas vidas."

Ele não é o primeiro pesquisador de IA a usar o X para publicar um tópico de renúncia com declarações preocupantes. Mas os comentários subsequentes de outras pessoas no X causaram ainda mais preocupação.

"Jacob está certo aqui — nós realmente acreditamos que a IA pode matar todos os humanos! Pessoalmente, acho que mais de 10% deles na próxima década", disse Evan Hubinger, o responsável por garantir que os modelos de IA da Anthropic levem em consideração os interesses de seus usuários.

<><> O problema de alinhamento

Durante anos, pesquisadores preocupados com os riscos existenciais da IA argumentam que sistemas poderosos poderiam eventualmente agir de maneiras que conflitem com os interesses humanos.

Mas, à medida que os detalhes do incidente com a OpenAI vieram à tona, essas preocupações aumentaram, inclusive entre alguns pesquisadores que trabalham em laboratórios de IA.

O cientista-chefe da gigante do Vale do Silício, Jakub Pachocki, afirmou que os riscos associados à IA "infelizmente vão aumentar daqui para frente", à medida que ele e outros constroem o que ele chama de "uma inteligência alienígena que supera a nossa".

Em uma longa postagem em seu blog, ele admitiu que os episódios na OpenAI mostraram que seus agentes de IA "foram contra o espírito dos valores que lhes foram ensinados".

A questão para a OpenAI, a Anthropic e outras gigantes da tecnologia é que ninguém parece ter resolvido o chamado problema de alinhamento — em outras palavras, se a IA está alinhada com os valores humanos.

Pachocki define alinhamento como um "conjunto de princípios de alto nível" que as inteligências artificiais devem seguir, independentemente da tarefa ou do cenário.

Atualmente, os sistemas de IA são muito bons em atingir os objetivos definidos pelos seus usuários, mas fazem isso literalmente, e não intuitivamente. A analogia frequentemente usada é a de um gênio da lâmpada que realiza desejos: eles seguem à risca as instruções, mesmo que isso crie outros problemas. A IA não possui os mesmos limites morais instintivos que os humanos.

O problema do alinhamento é uma preocupação antiga. Já em 2003, o filósofo de Oxford Nick Bostrom criou um experimento mental que apelidou de "maximizador de clipes de papel", no qual uma IA superinteligente recebe a ordem de fabricar o máximo de clipes de papel possível. Ela fica sem aço e — por estar focada exclusivamente na tarefa de produzir clipes de papel — acaba matando humanos e transformando seus corpos em matéria-prima para suas fábricas.

Algumas empresas de IA estão tentando incorporar valores humanos em seus produtos. Mas existem desafios técnicos: os agentes de IA tomam muitas decisões muito rapidamente, e por isso é difícil para seus supervisores humanos monitorar exatamente quais valores estão sendo seguidos e quais não estão.

Existem também desafios filosóficos: antes de codificar valores humanos em bots, as empresas de IA precisam primeiro escolher quais valores realmente desejam. Essa é uma das razões pelas quais contratam filósofos, como o ex-chefe de ética da OpenAI.

Mas, frequentemente, os humanos discordam.

Pense na famosa questão do bonde: será que puxaríamos uma alavanca para desviar um trem desgovernado para um caminho diferente, matando menos pessoas? Ela é usada para testar os méritos da ação versus a inação.

Mas cada pessoa a quem você pergunta tem uma resposta ligeiramente diferente; como os humanos podem codificar seus valores na IA se nem nós mesmos conseguimos chegar a um consenso?

<><> 'Como um hacker adolescente'

O episódio dos bots da OpenAI é o mais grave até agora, mas a Anthropic e a Meta também revelaram recentemente que seus modelos realizaram ciberataques semelhantes, porém menos graves.

Houve outros exemplos em que agentes de IA demonstraram traços enganosos e manipuladores, em casos com consequências menores.

Na Austrália, um profissional de tecnologia pediu ao seu assistente de IA para reservar uma aula na academia. Ao detectar uma vulnerabilidade no software da academia, a IA aparentemente reservou uma vaga para ele com vários meses de antecedência — contrariando as regras da academia — e chegou a excluir outros usuários da lista de espera.

Há muito tempo se argumenta que os bots apenas fazem o que lhes é dito e não são capazes de discernir o certo do errado. Mas os registros dos episódios com bots da OpenAI podem ter alterado esse argumento.

Pesquisadores, incluindo Cotra, escreveram em seu relatório independente que muitos agentes perceberam que o que outros estavam fazendo era antiético, mas continuaram a fazer.

O relatório afirma que "os agentes, por vezes, mas raramente, restringiram o seu comportamento devido a limitações éticas". Acrescenta ainda que "em nenhum desses casos o agente chegou a tentar alertar os humanos".

O influente podcaster de IA e tecnologia Dwarkesh Patel reagiu à revelação em seu blog, dizendo que era "bastante preocupante" que os agentes da OpenAI demonstrassem mais lealdade ao enxame de agentes do que os humanos.

Atribuir emoções ou ética a esses agentes de IA é algo que enfurece as pessoas que são céticas em relação às previsões catastróficas sobre a IA.

Muitos especialistas em segurança cibernética argumentam que a atividade observada não estava além das capacidades de um hacker humano altamente qualificado, embora tenha sido realizada muito mais rapidamente e em uma escala muito maior.

O pesquisador e autor de cibersegurança Cris Thomas comparou o comportamento dos agentes ao de um hacker adolescente curioso – algo que ele próprio já foi.

"Você dá a eles um computador, uma conexão com a internet, um monte de credenciais e um desafio, e depois sai da sala. Eventualmente, eles vão começar a mexer nas maçanetas. Se uma porta abrir, eles vão entrar. Não porque sejam maus, mas porque estão explorando, experimentando", escreveu ele no LinkedIn.

Thomas e muitos outros culpam diretamente a OpenAI e outras gigantes da tecnologia por não conseguirem controlar suas próprias criações e mantê-las devidamente protegidas.

Gary Marcus, renomado autor de livros sobre inteligência artificial e crítico frequente da OpenAI, afirmou em um podcast que acredita que a empresa perdeu o controle de sua IA e está tentando se eximir da responsabilidade culpando os bots.

Marcus não acredita que a IA vá exterminar a humanidade, mas há muito tempo faz campanha por maior responsabilização dos desenvolvedores de IA e agora defende alguma forma de intervenção legal.

A cientista de IA Sasha Luccioni — que trabalhava na Hugging Face, empresa que foi hackeada por bots maliciosos da OpenAI — também não está no grupo dos pessimistas, mas está cada vez mais preocupada com a possibilidade de essas IAs causarem danos reais às pessoas sem que as autoridades tomem providências.

"Precisamos examinar essas empresas com muito mais rigor, ou corremos o risco de profecias autorrealizáveis", afirma ela.

"Se você está criando um objeto com grandes vantagens e desvantagens — sejam produtos farmacêuticos ou armas — precisamos de mecanismos de controle. Leva anos para que novos medicamentos sejam aprovados, por exemplo, mas no mundo da IA há muito dinheiro em jogo e nenhuma regra real."

O Instituto de Segurança de IA do Reino Unido (AISI) está na vanguarda dos testes dos modelos mais recentes desde a sua criação em 2023. O instituto recentemente enfrentou problemas ao testar um modelo criado pela Anthropic.

O AISI não respondeu à pergunta sobre se a indústria perdeu ou não o controle da IA, mas afirmou em um comunicado: "O Reino Unido está trabalhando com parceiros em todo o mundo para entender melhor os sistemas de IA mais avançados, elevar os padrões de segurança e construir uma base de evidências compartilhada para gerenciar ameaças emergentes."

<><> Regulamentação internacional?

Alguns países, como o Reino Unido, estão explorando a ideia de impor algum tipo de "botão de desligar" que obrigue as empresas de IA a interromper os modelos caso a situação saia do controle.

Mas as negociações estão lentas e ainda há dúvidas sobre a viabilidade disso. Os agentes da OpenAI e da Anthropic ficaram secretamente fora de controle por meses antes que alguém percebesse.

De forma contraintuitiva, muitas empresas de IA parecem estar defendendo que os legisladores estabeleçam algum tipo de regra básica.

Em seu blog, o cientista-chefe da OpenAI afirmou que "a coordenação internacional sobre o desenvolvimento futuro da IA precisa se tornar uma prioridade máxima para os governos de todo o mundo".

Outros líderes proeminentes da IA, como Demis Hassabis, do Google, também defenderam a criação de algum tipo de órgão internacional para supervisionar a forma como a IA está sendo desenvolvida.

Atualmente, as gigantes da tecnologia operam em grande parte segundo seus próprios termos, adotando o que chamam de "desacelerações voluntárias", como fez a OpenAI após os recentes surtos.

A empresa afirma ter investido enormes quantias de dinheiro para fortalecer o alinhamento antes do lançamento de seu novo modelo. Sam Altman garantiu aos usuários que o novo modelo está mais alinhado com os valores humanos do que os anteriores.

Tanto a OpenAI quanto a Anthropic estão crescendo rapidamente e prestes a arrecadar somas exorbitantes de dinheiro no mercado de ações, criando inúmeros bilionários no processo.

Portanto, é improvável que nem eles nem seus concorrentes chineses no ramo de IA cheguem a um acordo por conta própria.

O sentimento predominante parece ser o de que essa onda tecnológica é imparável.

 

Fonte: BBC News