Palavra de Sá

As lutas sociais precisam do pensamento crítico que a IA destrói

Milhões de pessoas agora pedem a chatbots que resumam livros, redijam e-mails e até expliquem eventos políticos. Mas o que, de uma perspectiva, parece uma revolução da produtividade pode também ser algo mais perturbador: a terceirização silenciosa do próprio julgamento.

Autores que escrevem sobre inteligência artificial há muito afirmam que ela representa um risco existencial porque, por exemplo, pode se tornar tão poderosa a ponto de se voltar contra os seres humanos. Mas a IA pode criar um tipo diferente de risco existencial, como observa o filósofo Nir Eisikovits  — não no sentido apocalíptico frequentemente imaginado, mas em relação à questão do que significa ser humano. Um dos perigos mais subestimados desses sistemas reside na crescente tendência dos usuários de delegar a tarefa de fazer julgamentos e formar opiniões às saídas algorítmicas de chatbots, arriscando, assim, a erosão gradual de nossa capacidade de pensamento independente.

Os efeitos colaterais negativos que acompanham o uso de grandes modelos de linguagem (LLMs) são vividamente ilustrados pelo fenômeno da “dívida cognitiva”. De uma perspectiva econômica, os ganhos de produtividade a curto prazo obtidos com o uso de sistemas de IA são difíceis de contestar. Ao delegar inúmeras tarefas anteriormente realizadas por humanos à IA, observam-se ganhos significativos de eficiência: os fluxos de trabalho são acelerados, os processos são racionalizados e as rotinas organizacionais, de modo geral, tornam-se mais eficientes.

No entanto, a resiliência e a eficiência geradas pela delegação de tarefas a sistemas de IA podem ameaçar uma perda gradual das capacidades cognitivas que estão sendo terceirizadas para eles. Um estudo recente do MIT, por exemplo, que constatou uma redução significativa na atividade cerebral entre usuários regulares de chatbots, oferece algum suporte inicial para essa preocupação.

Embora os debates sobre a ameaça que as corporações de IA contemporâneas representam para a democracia tendam a se concentrar no fato de que os dados (e, portanto, o controle sobre os algoritmos) estão cada vez mais concentrados nas mãos de grandes empresas de tecnologia que, em grande parte, evitam a supervisão pública, outra questão importante é surpreendentemente relegada a segundo plano. Trata-se da questão das condições necessárias para que as pessoas possam participar de processos democráticos e projetos políticos emancipatórios.

A terceirização do pensamento não é, obviamente, um fenômeno novo. É, na verdade, o tema principal do clássico ensaio de Immanuel Kant de 1784, “O que é esclarecimento?”. Para Kant, o processo de emancipação consiste em libertar-se da “imaturidade autoimposta” de deixar que outros pensem por você e, em vez disso, utilizar as próprias capacidades de raciocínio. Ele escreve:

É tão conveniente ser imaturo. Se tenho um livro que me entende, um pastor que me sensibiliza, um médico que avalia minha dieta, e assim por diante, então não preciso me preocupar com nada. Não preciso pensar se posso pagar; outros prontamente assumirão a tarefa desagradável por mim.

No entanto, com o surgimento dos chatbots LLM, a terceirização do pensamento — e, portanto, também o questionamento crítico das normas sociais e relações de poder existentes — está assumindo uma nova forma.

<><> Um sujeito sem subjetividade

Mas por que a terceirização do próprio pensamento (e, em muitos casos, até mesmo dos próprios sentimentos) para chatbots deveria ser motivo de preocupação? E, mais especificamente, por que o uso de chatbots ameaça a capacidade das pessoas de participarem de mobilizações políticas democráticas ou emancipatórias?

Sugiro — seguindo livremente Slavoj Žižek — que os chatbots representam uma manifestação altamente tecnologizada do que eu chamaria de uma forma descafeinada de subjetividade. As sociedades capitalistas liberais, argumenta Žižek, são caracterizadas por uma tendência estrutural a evitar a ambivalência. Essa dinâmica torna-se visível primeiramente no nível do comportamento do consumidor: em vez de aceitar o álcool ou a cafeína, com seus conhecidos efeitos colaterais negativos, os consumidores estão cada vez mais optando por cerveja sem álcool ou café descafeinado.

O chatbot, em sua forma mais avançada, é um sujeito “descafeinado” simplesmente porque lhe falta algo essencial aos seres humanos: o próprio princípio da subjetividade. O desejo humano por ferramentas de comunicação descafeinadas, como os chatbots, expressa um anseio por contato com o que poderíamos descrever como um “sujeito sem subjetividade”.

A observação de Žižek sobre a lógica consumista das sociedades capitalistas liberais pode, à primeira vista, parecer banal. Mas adquire um significado profundo quando suas implicações são consideradas no nível da subjetividade e da política. A crescente atração das pessoas por chatbots como companheiros é sintomática de uma sistemática procura por evitar o confronto com o Outro, ou seja, com outro sujeito humano real.

Por que as pessoas prefeririam conversar com alguém descafeinado? Derek Thompson explica claramente: “Ao contrário dos cônjuges mais pacientes, eles poderiam nos dizer que estamos sempre certos. Ao contrário do melhor amigo do mundo, eles poderiam responder instantaneamente às nossas necessidades sem a distração, tão humana, de ter que viver a própria vida.”

O aspecto “estimulado por cafeína” da existência humana — manifestado, por exemplo, na agressividade passiva e na ambiguidade que desempodera, mas também no necessário confronto com as próprias falhas e fragilidades — está sendo cada vez mais substituído pelas interações com bots, porque eles são parceiros de conversa que sempre nos dão a sensação de sermos as melhores versões de nós mesmos.

A filósofa da tecnologia Shannon Vallor, em seu livro The AI ​​mirror [O espelho de IA], explica o perigo desses chatbots da seguinte forma:

O que os espelhos de IA fazem é extrair, amplificar e impulsionar os poderes dominantes e os padrões mais frequentemente registrados em nosso passado documentado e datado. Ao fazer isso, eles desviam nossa visão das possibilidades mais novas, mais raras, mais sábias, mais maduras e humanas que devemos abraçar para o futuro. Em vez de nos perguntarmos o que podemos nos tornar agora, pedimos aos espelhos de IA que nos mostrem quem já somos e quem fomos, e que prevejam a partir daí o que deve vir a seguir.

Os chatbots podem ser considerados sujeitos sem subjetividade porque lhes faltam as características que nos tornam sujeitos de fato: trajetórias biográficas do passado, que são, por sua vez, pré-condições para a autorreflexão e, com ela, para os esforços de transformação social. As respostas da IA ​​não surgem da experiência real, mas da agregação estatística do passado de outras pessoas.

Enquanto a subjetividade humana envolve essencialmente a reflexão sobre o próprio passado e, portanto, é capaz de autotransformação, o chatbot apenas reproduz o pensamento dominante do passado documentado. Nesse sentido, tende à estabilização e reprodução do status quo.

Por exemplo, como destacado pela especialista em ética de IA, Zinnya del Villar, modelos de linguagem como o GPT e o BERT frequentemente associam profissões como “enfermeira” a mulheres e “cientista” a homens, refletindo estereótipos presentes em seus dados de treinamento, provenientes de textos e mídias históricas. Da mesma forma, quando treinados com exemplos de contratações passadas repletos de viés — como currículos que favoreciam homens para funções técnicas — esses sistemas perpetuam a discriminação de gênero ao filtrar candidaturas de maneiras que reforçam normas ultrapassadas, em vez de inovar e superá-las por meio da reflexão crítica.

<><> O desaparecimento da experiência

Avantika Tewari argumenta que a perda de subjetividade decorrente do uso crescente da IA ​​pode contribuir para o fortalecimento do sistema capitalista:

Assim como o capitalismo reduz o trabalho a uma mera função dentro de um sistema maior, a IA reduz a criatividade a um processo mecânico, despojando-a de suas dimensões subjetivas e intencionais. A suposta “igualdade” entre textos gerados por IA e a criatividade humana diz respeito menos à qualidade intrínseca do resultado e mais ao seu papel dentro de um sistema que prioriza a eficiência e a produtividade em detrimento da genuína expressão artística.

Se a intenção e a subjetividade são centrais para o que significa ser humano, esse fato ajuda a explicar como a IA intensifica as tendências alienantes endêmicas ao capitalismo. A substituição da cognição humana pela IA em diversos domínios, semelhante à automação do trabalho humano de forma mais geral, implica assumir que o pensamento é simplesmente um processo técnico — algo que pode ser dividido em etapas e automatizado — em vez de algo que surge da vivência real no mundo e é moldado por ela.

Mas o pensamento humano não funciona assim. Nossos julgamentos e escolhas nascem de nossas histórias e conflitos pessoais. Os sistemas de IA não possuem essas experiências próprias. Eles reduzem o pensamento a padrões em dados existentes — o que foi registrado no passado — e os processam estatisticamente. Falta-lhes o que torna o pensamento humano criativo e aberto à mudança.

O sujeito proletário, tal como concebido por Karl Marx — apesar de ser reduzido a mera força de trabalho pela organização capitalista da produção — permanece um sujeito cujas ações e percepções estão ancoradas em sua própria experiência concreta. Isso se ilustra pelo fenômeno da alienação no processo de trabalho, conforme Marx o entendia.

A alienação pressupõe a existência de uma forma de subjetividade que carrega consigo seu próprio passado, expectativas e reivindicações sobre o mundo, e que agora confronta o processo produtivo capitalista como algo estranho. Precisamente porque os trabalhadores, enquanto sujeitos, trazem sua própria história e experiência para o processo de trabalho, eles podem vivenciá-lo como algo alienante.

Para Marx, essa lacuna entre o trabalhador e o processo produtivo capitalista abre espaço para uma sensação subjetiva de descontentamento — e, em última instância, também para possibilidades de ação voltadas à transformação da ordem vigente. Esse descontentamento surge da tensão entre a experiência subjetiva do trabalhador e a estrutura objetiva do processo produtivo, que priva os trabalhadores de sua capacidade de agir, mesmo utilizando sua força de trabalho.

Com o surgimento dos chatbots, porém, algo novo está acontecendo: é possível que até mesmo nossa capacidade de sentir insatisfação — de perceber que algo não está certo — seja corroída.

O chatbot aparenta ser um sujeito que se expressa, mas não possui passado próprio, nenhuma história de experiência e, portanto, nenhuma subjetividade. Suas respostas não surgem da reflexão sobre uma experiência vivida, mas da agregação estatística dos passados ​​já documentados de outros.

Na medida em que as pessoas terceirizam cada vez mais a reflexão, a crítica e até mesmo a expressão do descontentamento para esses sistemas, a possibilidade de pensamento e ação emancipatórios pode definhar. Isso porque o impulso para a mudança surge da tensão entre a experiência de uma pessoa e as condições sociais existentes — uma tensão que os chatbots não nos proporcionam nem são capazes de gerar por si mesmos.

 

Fonte: Por Florian Maiwald - Tradução Pedro Silva para Jacobin Brasil