Palavra de Sá

Armas autônomas: a banalidade do mal digital

A crescente naturalização da automatização tecnológica revela um paradoxo perturbador. Pesquisadores da Science and Technology Studies (jornal oficial da Associação Europeia para o Estudo da Ciência e Tecnologia) alertam para a aparente autonomia e neutralidade atribuída aos artefatos tecnológicos, tecendo uma reflexão crítica sobre o que, de fato, significa “autonomia” nas máquinas.

Ao deslocar decisões humanas para sistemas algorítmicos sob a aparência de neutralidade e eficiência, a tecnologia cria uma zona de conforto moral em que os programadores e desenvolvedores são progressivamente eximidos de responsabilidade pelos resultados de suas próprias criações.

A ausência de reflexão ética diante dessa questão remete diretamente à percepção aguda de Hannah Arendt, filósofa alemã de origem judaica, sobre a banalidade do mal, segundo a qual os atos mais devastadores podem ser cometidos por indivíduos comuns. Ao abdicar do pensamento crítico, estes tornam-se engrenagens de sistemas que operam sem questionamento moral.

No campo da inteligência artificial (IA) e dos sistemas autônomos, a obediência cega é transferida ao código, à crença de que lógica algorítmica decide melhor porque o faz “sem emoção”. Assim, a automatização não apenas executa ordens, mas naturaliza o afastamento entre ação e responsabilidade, configurando o que podemos chamar de uma banalidade do mal digital.

<><> Debate limitado nas Nações Unidas

O debate sobre armas autônomas vem crescendo na Organização das Nações Unidas (ONU), mas continua incipiente e preocupante. Apesar do avanço das discussões multilaterais, a maioria das formulações se limita a questões operacionais e de regulação, sem questionar a racionalidade que sustenta a própria ideia de “autonomia” nas máquinas. Ao que tudo indica,

Essa racionalidade naturaliza a substituição da decisão humana pela eficiência algorítmica, eximindo de responsabilidade toda a cadeia envolvida na concepção, no treinamento e na implementação desses sistemas. Assim, a ONU discute os efeitos, mas raramente aborda as causas estruturais, como se por omissão estivesse valiando o discurso de neutralidade tecnológica que torna invisíveis os agentes humanos por trás da escolha dos algoritmos das novas armas de guerra.

Os riscos éticos e discriminatórios na maneira como se está lidando com as tecnologias autônomas, especialmente as da guerra, são profundos. Algoritmos alimentados por bases de dados enviesadas podem reproduzir e amplificar desigualdades sociais, comprometendo o princípio da distinção, essencial para a proteção de civis.

Um grupo de especialistas da ONU alertou que critérios de decisão automatizada podem ser influenciados por fatores como gênero, idade ou raça, transformando erros técnicos em injustiças humanitárias e falhas algorítmicas em novas formas de violência sistêmica.

Neste aspecto, a campanha Stop Killer Robots desempenha um papel fundamental ao mobilizar governos e organizações da sociedade civil pelo banimento das armas autônomas ao redor do mundo. Voltada a aspectos jurídicos e normativos, busca criar um acordo internacional que regule ou proíba o uso de armas autônomas letais, especialmente aquelas capazes de tirar vidas humanas sem supervisão direta.

O problema é que essa abordagem não questiona o ponto central que sustenta o desenvolvimento dessas tecnologias: a crença de que a autonomia algorítmica é sinônimo de objetividade e eficiência. Sem enfrentar esse pressuposto ou seja, as bases epistêmicas e políticas dessa lógica, o movimento corre o risco de reforçar dissociação entre as criação e produção de uma tecnologia, a responsabilidade e a moralidade.

<><> Decisão mais justa para quem?

Como alerta Silvana Bahia em [Pode um robô ser racista?], a tecnologia é sempre uma expressão da experiência e da visão de mundo de quem a cria. A crença em sua neutralidade mascara o fato de que cada escolha técnica carrega decisões políticas, éticas e culturais. Essa crítica é evidente nas tecnologias de reconhecimento facial (TRFs), cujos algoritmos reproduzem vieses raciais e de gênero já presentes na sociedade. Os bancos de dados que alimentam essas ferramentas refletem essas desigualdades e produzem uma vigilância seletiva, na qual certos corpos são considerados mais “suspeitos” que outros.

O estudo Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification, conduzido por Joy Buolamwini e Timnit Gebru, mostrou como sistemas de reconhecimento facial de grandes corporações apresentavam taxas elevadas de erro na identificação de rostos de mulheres negras. Se tecnologias incapazes de identificar rostos com precisão já produzem exclusões e injustiças, delegar a elas decisões sobre vida e morte representa um risco ético e humanitário extremo.

As análises de Tarcízio Silva, em Racismo Algorítmico, e de Ruha Benjamin, em Race After Technology, também ajudam a compreender como os processos invisíveis da automação naturalizam a perpetuação de problemas sociais estruturais sob um selo de desafio de acurácia técnica. Isso leva a uma questão ética inevitável sobre quais dados alimentam os sistemas autônomos. Sobretudo, é aceitável que dados concebidos para aplicações civis sejam reutilizados para a tomada de decisões algorítmicas letais?

Quando essa lógica chega ao campo militar, a consequência é ainda mais grave, assumindo a forma de automação da morte. Aqui, é possível perceber um eco direto da análise de Achille Mbembe sobre a necropolítica, na qual o poder de decidir quem vive e quem morre é transferido a dispositivos técnicos, sem qualquer mediação ética.

Ao se eximirem da responsabilidade moral e atribuírem à máquina o poder de decidir sobre a vida e a morte, os fabricantes de armas autônomas reproduzem a mesma lógica de obediência sem pensamento que Hannah Arendt denunciou em Adolf Eichmann. Ele, o burocrata nazista que, entre 1941 e 1945, organizou a deportação em massa de judeus para campos de extermínio e que, ao ser julgado em 1961, alegava apenas “cumprir ordens”.

A autoridade agora não é o Estado totalitário, mas o algoritmo: uma nova forma de poder que legitima o afastamento entre ação e consciência. Assim, na tentativa de “aperfeiçoar” a guerra, a humanidade aperfeiçoa apenas sua capacidade de dissociar a violência da responsabilidade, transformando a morte em mero cálculo técnico e o mal em operação banal.

 

Fonte: Por Lauro Accioly Filho, no The Conversation