Palavra de Sá

Laís Martins: Como a IA abre caminho para o tecnofascismo

O desenvolvimento da inteligência artificial, as atuais inovações tecnológicas, como algoritmos e redes sociais, e a governança das empresas por trás desses processos têm aberto caminho para uma versão repaginada de um antigo movimento político, o fascismo, defende Mark Coeckelbergh, professor titular de Filosofia da Mídia e Tecnologia no Departamento de Filosofia da Universidade de Viena, na Áustria, em um artigo publicado no fim de janeiro. Para ele, embora sejam vendidas como promissoras e inovadoras, são justamente essas tecnologias e as empresas que as desenvolvem que têm introduzido mecanismos de controle, padrões de pensamento e formas de organização da sociedade que se assemelham aos adotados por essa ideologia. Na sua visão, estamos acompanhando a ascensão do tecnofascismo.

Seu argumento é de que a tecnologia está longe de ser politicamente neutra. No atual contexto econômico – em que há concentração de poder sem precedentes na mão de poucas empresas – e político – com uma ascensão do populismo de extrema direita e do autoritarismo –, existe um ambiente muito favorável para que essa versão adaptada da ideologia se desenvolva.

Por meio de uma revisão de teorias clássicas, Coeckelbergh aponta como a tecnologia atual caminha para replicar características do fascismo na nossa sociedade. A obsessão por mitos nacionais – comum em regimes como o de Benito Mussolini, na Itália, na primeira metade do século 20 –, por exemplo, é substituída por mitos sobre o futuro da inteligência artificial, como a hipótese de que a IA poderá ultrapassar a inteligência humana. Outra característica é a valorização da eficiência acima dos valores humanos. A automação de decisões por algoritmos, removendo a responsabilidade moral e o julgamento humano, leva ao que Coeckelbergh descreve como uma nova “banalidade do mal”.

Todos esses efeitos são exacerbados, de acordo com o pesquisador, pelo controle exercido pelas big techs sobre as mídias sociais. Isso permite a amplificação de narrativas dominantes e a supressão de vozes dissidentes.

A diferença, segundo ele, é que, enquanto líderes autoritários como Adolf Hitler lançavam mão abertamente de violência, repressão a vozes dissidentes e dependiam de movimentos de massa para ter legitimidade, o tecnofascismo oferece ferramentas de controle mais silenciosas, menos visíveis e mais precisas: os algoritmos. Diferentemente do fascismo clássico, o tecnofascismo não precisou forçar as pessoas ou criar medo. As ferramentas tecnológicas atuais, como os algoritmos, conseguem saber do que você precisa antes mesmo que imagine. Com isso, as pessoas foram dominadas pelo prazer e pela conveniência oferecidos pela IA e suas corporações, tornando-se seres dóceis e obedientes.

Nascido em Lovaina, na Bélgica, Coeckelbergh é autor de livros como “Ética na inteligência artificial” (traduzido pela editora Ubu), e “Why AI undermines democracy and what to do about it” (“Por que a IA corrói a democracia e o que fazer sobre isso”, em tradução livre para o português; a obra ainda não foi lançada no Brasil).

Coeckelbergh disse ao Intercept Brasil que enfrentou certa hesitação de editores em publicar o artigo sobre o tecnofascismo. “Ainda há bastante resistência a esse termo em particular, talvez porque achem muito forte, mas, desde então, acho que a realidade se impôs”, diz. Ele se refere, claro, ao governo de Donald Trump nos Estados Unidos, onde tem ficado cada dia mais evidente a relação simbiótica das big techs com o projeto autoritário trumpista.

Mas o alerta de Coeckelbergh sobre o espelho entre a IA, novas tecnologias e o fascismo histórico aplica-se mesmo para contextos democráticos, como é o caso do Brasil hoje. Segundo ele, devemos prestar atenção não apenas aos líderes autoritários e regimes atuais, mas também às condições que apoiam a ascensão do tecnofascismo, inclusive por meio da IA e de outras tecnologias e de como elas se inserem dentro dos nossos governos.

<><> Leia a seguir os principais trechos da entrevista:

•        No seu artigo, você argumenta que o modo como a IA está tomando conta de processos de decisão pode levar a algo semelhante à banalidade do mal, como proposto por Hannah Arendt. Gostaria que você explicasse isso melhor.

Mark Coeckelbergh – A ideia da banalidade do mal é que você tem uma burocracia com regras, e elas são cegamente seguidas porque as pessoas dizem que são ordens. A raiz disso está no que aconteceu na Segunda Guerra Mundial, particularmente com os nazistas. Eles fizeram atrocidades e davam a desculpa de que estavam apenas seguindo ordens.

No caso da IA, há algo pelo menos semelhante no sentido de que, assim que há uma recomendação da IA, é muito fácil segui-la. Exige um esforço ser crítico. Exige um esforço usar o julgamento humano. Seres humanos são essencialmente preguiçosos, é por isso que desenvolvemos tecnologia. E tendemos a usar tecnologia de uma maneira que não usamos nosso julgamento. Mas, segundo Arendt, deveríamos usar o julgamento.

Só que essas tecnologias dificultam isso. Há uma tentação de só seguir o que a IA diz e, portanto, também as regras que estão na IA e o que ela aprende dos dados ali. Isso significa não só que vieses podem ser reproduzidos, mas que as pessoas podem se eximir de serem responsabilizadas pelo resultado.

O cenário “pesadelo” é que um dia você acorda e a polícia está na sua porta para te prender. Ou então um dia você deixa de receber dinheiro do governo quando estiver desempregado ou doente apenas porque um algoritmo decidiu isso – e você não tem ideia do porquê.

No artigo, eu defendo que responsabilidade seja também sobre explicabilidade e responsabilidade de responder com razões. Há um perigo de que alguém apenas diga “o algoritmo decidiu, ou a IA decidiu”. Isso significa que a responsabilidade foi contornada e que as pessoas são tratadas como não-humanos, objetos de decisões algorítmicas.

•        Nesse exato momento estamos vendo os Estados Unidos usarem IA nos ataques contra o Irã. Tem tudo a ver com esse tema. A pergunta é: quem deveria ser responsável? A pessoa que deu o prompt, já que não há gatilho sendo apertado? Talvez haja muita ênfase no papel das plataformas, mas alguém as contratou.

Sim, eu também olharia para a responsabilidade do usuário e, neste caso, o usuário pode significar as pessoas da administração que usam a tecnologia de maneira acrítica e as outras pessoas são as vítimas. A responsabilidade é parcialmente de quem desenvolve e parcialmente de quem emprega a tecnologia para algum fim particular que não deveria ser automatizado.

Eu, por exemplo, não acho que os atendimentos de saúde mental deveriam ser completamente automatizados ou decisões sobre a vida das pessoas, se elas vão presas ou não, se elas recebem auxílio do governo ou não. Acredito que deve sempre haver uma pessoa encarregada, alguém que assuma responsabilidade. Do contrário, teremos essa espécie de burocracia completamente impessoal, na qual você não tem ideia do que acontece. Algo parecido com o que [Franz] Kafka escreve sobre em “O processo”.

•        Imagino que, quando você finalizou este artigo, a relação entre big techs e governo dos Estados Unidos não estava tão avançada. Houve muitas mudanças depois disso. Por exemplo, Elon Musk não está mais no governo. Como você vê essas mudanças?

Sim, eu escrevi esse artigo há mais de um ano e foi muito difícil conseguir que ele fosse publicado porque os editores estavam hesitantes. Ainda há bastante resistência a esse termo particular [tecnofascismo], talvez porque achem muito forte, mas desde então, acho que a realidade se impôs. Eu gostaria de ter publicado antes.

Sim, é verdade que Musk não está mais no governo e que essa colaboração, em específico, não seja mais tão falada. Mas, desde que ele saiu, temos visto reiteradas vezes esses diferentes oligarcas tecnológicos em bons termos com Trump. Eles querem estar em bons termos. Há definitivamente alinhamentos mútuos ali, como [Bill] Gates. Acredito que eles não se levantaram contra o autoritarismo de Trump porque eles parecem estar felizes com isso enquanto os beneficia.

E esse também era, claro, o caso dos nazistas e das empresas que se beneficiaram daquilo. Acho que o caso da Palantir é bastante claro. É uma empresa de tecnologia que basicamente lucra com o que a administração Trump fizer, os serviços secretos fizerem, o Exército. Há um elo forte aí que me relembra o fascismo histórico.

E desde que os arquivos [de Jeffrey] Epstein saíram, tem ficado claro que, seja lá o que aconteça em termos de abuso de pessoas, há uma rede poderosa por trás disso, com pessoas poderosas unidas de um modo que não beneficia a maioria dos cidadãos. Mas há uma cultura de elite de se proteger. Esses tipos de redes são também instrumentais para realizar todo tipo de coisa com tecnologia que seja perigosa politicamente e em termos de direitos humanos. Então acho que estamos entendendo cada vez mais que o atual regime nos Estados Unidos já não é mais democrático.

•        Sim, é difícil talvez chamar as coisas pelo que elas são, mas acho que a história e a perspectiva nos darão a chance de olhar para trás e ver que essa realmente era a encarnação do estado tecnofascista, em que um não existe sem o outro. Tecnologia e IA são necessárias para o governo executar seus objetivos, mas os grandes contratos das big techs são com governos também.

E isso é uma coisa maluca, certo? Os EUA e o Vale do Silício têm essa ideologia neoliberal, muito anti-Estado, livre-mercado, libertários. Mas ao mesmo tempo, a tecnologia nos EUA é definitivamente financiada pelo governo através do Departamento de Defesa, por exemplo, agora chamado de Departamento da Guerra. Há definitivamente ligações financeiras entre governos e big techs. A consequência é que o elo mais fraco, os atores mais vulneráveis, que são os cidadãos comuns, são as vítimas.

•        Você escreve no seu artigo sobre os mitos do Vale do Silício. Claro que essas empresas usam suas próprias plataformas e CEOs para avançar nesses mitos e lançá-los no debate público, usam também relações públicas. Mas eu acho que ainda há outro ator importante nesse jogo que é a imprensa, que dá oxigênio para esses mitos e o hype. Como você enxerga o papel da imprensa?

A mídia valida sim essas narrativas, como você disse. E temos que olhar para dois tipos de mídia aqui. Primeiro, as redes sociais digitais, as plataformas, das quais a maioria são de propriedade das big techs. Então o principal meio de comunicação hoje, o lugar onde as pessoas recebem notícias, é propriedade de pessoas como Musk etc. E isso é muito preocupante, certo? Para a democracia, para o ambiente epistêmico e de conhecimento que estamos criando como base para democracia, e que vai se erodindo.

Mas também a imprensa tradicionalmente falando, como o ambiente em que você trabalha – eu também não vejo uma narrativa diferente aí. Ainda que haja alguma crítica ou textos de opinião contrários de vez em quando, eu acredito que, de maneira geral, o modo como a imprensa reporta sobre big techs não é crítico o bastante, e definitivamente não é crítico sobre essas narrativas específicas que são promovidas. Elas não são questionadas.

E isso também se deve em parte ao fato de que a imprensa busca cientistas, e alguns dos principais cientistas nessa área também dão consultoria política e eles mesmos acreditam nessas narrativas. Então não é só sobre as big techs, mas também sobre esses cientistas que frequentemente têm elos com as big techs. E mesmo quando não têm, é dentro da ciência que essas narrativas são promovidas e muita gente acredita.

Isso torna muito difícil para que o cidadão comum saiba o que realmente está acontecendo. A mídia fala, a ciência fala, a empresa fala. E as vozes críticas não ganham atenção o suficiente.

•        No Brasil, teremos eleições federais esse ano e a extrema direita está aí. Na conclusão do artigo, você diz que é importante permanecer vigilante e que não devemos prestar atenção apenas aos líderes e regimes atuais, mas também às condições que apoiam a ascensão do tecnofascismo, inclusive IA e outras tecnologias. Mas em termos de solução, você também fala sobre redirecionar emoções – que são capturadas pelas big techs – e nossa imaginação em direção a horizontes mais democráticos. Como nós podemos, na nossa vida online, exercitar mais essa imaginação, pensar nesses futuros?

Você está certa em dizer que não é sobre certas figuras, porque o Trump vai morrer em algum momento. Haverá outro líder eleito no Brasil e assim por diante. Mas como a tecnologia está inserida na estrutura, essas estruturas podem acabar permanecendo iguais.

É importante que as pessoas entendam que muitas das coisas sobre as quais eu falo no artigo não dependem de uma só pessoa. É o mesmo para o nazismo histórico, por exemplo. Não era só sobre o Hitler. Era também sobre essas condições que tornaram o Hitler possível. E o mesmo vale para o Trump.

Agora, imaginar alternativas e também restaurar algum aspecto de comunidade é um grande problema porque, na modernidade, meio que abolimos a comunidade. Talvez ainda seja mais forte no Brasil do que em algum país do norte global, mas acho que precisamos encontrar novos modos de comunidade e comunicação. É difícil porque várias das tecnologias que temos hoje tendem a nos prender na nossa bolha, nos trancar nos nossos telefones e nos isolar. Eu defendo uma visão em que os seres humanos se relacionem mais entre si, e um futuro que tenha mais essa característica. Precisamos de tecnologias que são agregadoras, que unam as pessoas em vez de isolá-las, que permitam ação coletiva, deliberação. E que permitam que a razão fale e não só a emoção.

É uma pergunta difícil, mas acho que criar tecnologias amigáveis à comunidade e de maneira mais democrática é ótimo. E isso não precisa acontecer só no nível das grandes empresas, porque aí estaríamos olhando para elas esperando uma solução, certo? As pessoas estão sempre esperando algo que resolverá tudo. Primeiro foi um deus, depois uma grande empresa, depois um governo, depois uma pessoa. Mas isso é a coisa mais antidemocrática que pode haver.

Precisamos de iniciativas de baixo para cima, ou de pessoas que, por exemplo, tenham bons conhecimentos em tecnologia para trabalhar com outras pessoas de forma comunitária ou em pequena escala para tentar resistir às big techs e também tentar pensar alternativas. É sobre experimentar.

 

Fonte: The Intercept