Como redes sociais direcionam imagens de
violência para meninos: 'Fica marcado na mente'
O ano era 2022 e Cai,
com 16 anos na época, estava usando seu smartphone.
Ele diz que um dos
primeiros vídeos que apareceram em seus feeds de rede social foi de um
cachorro fofo. Mas, de repente, houve uma guinada.
Cai conta que "do
nada" começaram a aparecer recomendações de vídeos de alguém sendo
atropelado por um carro, um monólogo de um influenciador compartilhando
opiniões misóginas e cenas de brigas violentas. Ele se pegou perguntando:
"Por que eu?"
Em Dublin, capital da
Irlanda, Andrew Kaung estava trabalhando como analista de segurança do usuário
no TikTok, função que ocupou por 19 meses, de
dezembro de 2020 a junho de 2022.
Ele diz que ele e um
colega decidiram analisar o que os algoritmos do
aplicativo estavam recomendando aos usuários do Reino Unido, incluindo alguns
jovens de 16 anos.
Pouco tempo antes, ele
havia trabalhado para a Meta, empresa concorrente que é dona do Facebook e
do Instagram — outra
plataforma que Cai usa.
Quando Andrew analisou
conteúdo do TikTok, ficou assustado ao descobrir como postagens com conteúdo de
violência e pornografia, e promovendo
opiniões misóginas, estavam sendo mostradas a alguns adolescentes, ele contou ao
programa Panorama, da BBC.
Ele diz que, em geral,
adolescentes do sexo feminino recebiam recomendações de conteúdo muito
diferente com base em seus interesses.
O TikTok e outras
empresas de rede social usam ferramentas de inteligência artificial (IA)
para remover a grande maioria do conteúdo prejudicial e sinalizar outros
conteúdos para que sejam analisados por moderadores humanos, independentemente
do número de visualizações que tiveram.
Mas as ferramentas de
IA não conseguem identificar tudo.
Andrew Kaung afirma
que durante o tempo em que trabalhou no TikTok, todos os vídeos que não fossem
removidos ou repassados para moderadores humanos pela inteligência artificial —
ou denunciados por outros usuários aos moderadores — só seriam analisados novamente manualmente se atingissem um determinado patamar de
audiência.
Ele diz que, em dado
momento, este patamar foi definido como 10 mil visualizações ou mais.
Ele temia que isso
significasse que alguns usuários mais jovens estivessem sendo expostos a vídeos
prejudiciais.
A maioria das
principais empresas de rede social permite que pessoas com 13 anos ou mais se
inscrevam.
O TikTok afirma que
99% do conteúdo que remove por violar suas regras é retirado por inteligência
artificial ou moderadores humanos antes de alcançar 10 mil visualizações.
A plataforma também
diz que realiza investigações proativas em vídeos com menos visualizações do
que isso.
Quando trabalhou na
Meta entre 2019 e dezembro de 2020, Andrew Kaung conta que havia um problema
diferente.
Segundo ele, embora a
maioria dos vídeos fosse removida ou repassada para moderadores por ferramentas
de inteligência artificial, a plataforma dependia de usuários para denunciar
outros vídeos depois de já tê-los visto.
Ele diz que levantou
preocupações enquanto estava em ambas as empresas, mas se deparou sobretudo com
a inércia, segundo ele, devido a temores sobre a quantidade de trabalho ou o
custo envolvido.
Ele conta que foram
feitas algumas melhorias posteriormente no TikTok e na Meta, mas que os
usuários mais jovens, como Cai, foram deixados em situação de risco nesse meio
tempo.
Vários ex-funcionários
das empresas de redes sociais disseram à BBC que as preocupações de Andrew
Kaung eram legítimas.
Os algoritmos de todas
as grandes empresas de rede social têm recomendado conteúdo prejudicial para
crianças, mesmo que involuntariamente, afirmou o Ofcom, o órgão regulador de
mídia do Reino Unido, à BBC.
"As empresas têm
feito vista grossa e têm tratado as crianças como tratam os adultos", diz
Almudena Lara, diretora de desenvolvimento de políticas de segurança online do
Ofcom.
·
'Meu amigo precisava
de um choque de realidade'
O TikTok disse à BBC
que tem configurações de segurança "líderes do setor" para
adolescentes — e emprega mais de 40 mil pessoas para manter os usuários
seguros.
A plataforma afirmou
que só neste ano espera investir "mais de US$ 2 bilhões em segurança"
— e encontra proativamente 98% do conteúdo que remove por violar suas regras.
Já a Meta,
proprietária do Instagram e do Facebook, diz que conta com mais de 50
ferramentas, recursos e funcionalidades diferentes para oferecer aos
adolescentes "experiências positivas e adequadas à idade".
Cai contou à BBC que
tentou usar uma das ferramentas do Instagram, e uma semelhante no TikTok, para
dizer que não estava interessado em conteúdo violento ou misógino — mas diz que
continuou recebendo recomendações.
Ele se interessa por
UFC, competição de artes marciais mistas. E também se viu assistindo a vídeos
de influenciadores controversos quando foram recomendados para ele, mas diz que
não queria receber esse tipo de conteúdo mais extremo.
"Você fica com a
imagem na cabeça, e não consegue tirar de lá. [Isso] fica marcado na mente. E
você fica pensando naquilo pelo resto do dia", relata.
Ele acrescenta que as
meninas que ele conhece, que têm a mesma idade, recebem recomendações de vídeos
sobre temas como música e maquiagem, em vez de violência.
Agora com 18 anos, Cai
conta que continuam oferecendo para ele conteúdo violento e misógino no
Instagram e no TikTok.
Quando navegamos pelos
Reels (vídeos curtos) do Instagram dele, vemos uma imagem menosprezando a violência doméstica. Ela
mostra dois personagens lado a lado, um deles com hematomas, com a legenda:
"Minha linguagem do amor". Outra mostra uma pessoa sendo atropelada
por um caminhão.
Cai diz que percebeu
que vídeos com milhões de curtidas podem persuadir outros jovens da sua idade.
Ele conta, por
exemplo, que um dos seus amigos foi atraído pelo conteúdo de um influenciador
controverso — e começou a adotar opiniões misóginas.
Segundo Cai, o amigo
dele "foi longe demais".
"Ele começou a
dizer coisas sobre as mulheres. É como se você tivesse que dar ao seu amigo um
choque de realidade."
Cai diz que comentou
em postagens para dizer que não gostava delas e, quando acidentalmente curtiu
vídeos, tentou "descurtir", na esperança de que isso reiniciasse os
algoritmos. Mas ele afirma que acabou com mais vídeos inundando seus feeds.
Mas, afinal de contas,
como os algoritmos do TikTok funcionam?
De acordo com Andrew
Kaung, o que fomenta os algoritmos é o engajamento, independentemente de o
engajamento ser positivo ou negativo. Isso pode explicar, em parte, por que os
esforços de Cai para manipular os algoritmos não estavam funcionando.
O primeiro passo para
os usuários é especificar quais são seus interesses quando se inscrevem. Andrew
diz que parte do conteúdo inicialmente oferecido pelos algoritmos para,
digamos, um jovem de 16 anos, é baseado nas preferências que eles indicam, e
nas preferências de outros usuários de idade semelhante, em locais semelhantes.
De acordo com o
TikTok, os algoritmos não são informados pelo gênero do usuário. Mas Andrew
afirma que os interesses que os adolescentes manifestam quando se inscrevem,
geralmente têm o efeito de dividi-los de acordo com o gênero.
O ex-funcionário do
TikTok diz que alguns meninos de 16 anos podem ser expostos a conteúdo violento
"imediatamente", porque outros usuários adolescentes com preferências
semelhantes manifestaram interesse por este tipo de conteúdo —mesmo que isso
signifique apenas gastar mais tempo em um vídeo que prenda a atenção deles por
um pouco mais de tempo.
Os interesses
indicados por muitas adolescentes do sexo feminino nos perfis que ele analisou
— "cantoras pop, músicas, maquiagem" — significavam que esse conteúdo
violento não era recomendado para elas, diz ele.
Andrew explica que os
algoritmos utilizam o "aprendizado por reforço" — um método em que os
sistemas de inteligência artificial aprendem por tentativa e erro — e se
treinam para detectar o comportamento em relação a diferentes vídeos.
Ele diz que eles são
desenvolvidos para maximizar o engajamento, mostrando vídeos que eles esperam
que você passe mais tempo assistindo, comentando ou curtindo — tudo isso para
que você volte para ver mais.
O algoritmo que
recomenda conteúdo para a aba "Para Você" do TikTok, ele diz, nem
sempre diferencia entre conteúdo prejudicial e não prejudicial.
De acordo com Andrew,
um dos problemas que ele identificou quando trabalhava no TikTok era que as
equipes envolvidas no treinamento e codificação desse algoritmo nem sempre
sabiam a natureza exata dos vídeos que ele estava recomendando.
"Eles veem o
número de espectadores, a idade, a tendência, esse tipo de dado muito abstrato.
Eles não seriam necessariamente expostos ao conteúdo", explica o
ex-analista do TikTok.
Foi por isso que, em
2022, ele e um colega decidiram dar uma olhada em que tipos de vídeos estavam
sendo recomendados para uma variedade de usuários, incluindo alguns de 16 anos.
Ele conta que eles
ficaram preocupados com o conteúdo violento e prejudicial sendo oferecido a
alguns adolescentes — e sugeriram ao TikTok que atualizasse seu sistema de
moderação.
Eles queriam que o
TikTok rotulasse claramente os vídeos para que todos que trabalham lá pudessem
ver por que eles eram prejudiciais — violência extrema, abuso, pornografia e
assim por diante —, e contratasse mais moderadores especializados nestas diferentes
áreas. Andrew diz que suas sugestões foram rejeitadas na época.
O TikTok afirmou que
tinha moderadores especializados na época e, conforme a plataforma cresceu,
continuou a contratar mais. Também disse que separou diferentes tipos de
conteúdo prejudicial — no que chama de filas — para os moderadores.
·
'É como pedir a um
tigre para não comer você'
Andrew Kaung afirma
que, de dentro do TikTok e da Meta, foi muito difícil fazer as mudanças que ele
achava necessárias.
"Estamos pedindo
a uma empresa privada, cujo interesse é promover seus produtos, que se modere,
o que é como pedir a um tigre para não comer você", diz ele.
Ele também acredita
que a vida de crianças e adolescentes seria melhor se eles parassem de usar
smartphones.
Mas, para Cai, proibir
adolescentes de usar celular ou redes sociais não é a solução. O smartphone é
parte integrante da sua vida — uma maneira muito importante de se comunicar com
os amigos, navegar quando está fora de casa e comprar coisas.
Em vez disso, ele quer
que as empresas de rede social deem mais ouvidos ao que os adolescentes não
querem ver. Ele quer que as empresas tornem as ferramentas que permitem que os
usuários indiquem suas preferências mais eficazes.
"Sinto que as
empresas de rede social não respeitam sua opinião, desde que renda dinheiro a
elas", diz Cai.
No Reino Unido, uma
nova lei vai forçar as empresas de rede social a verificar a idade das
crianças, e impedir que as plataformas recomendem pornografia ou outro tipo de
conteúdo prejudicial aos jovens. O Ofcom, órgão regulador de mídia do Reino
Unido, é responsável por aplicá-la.
Almudena Lara,
diretora de desenvolvimento de políticas de segurança online do Ofcom, afirma
que, embora o conteúdo prejudicial que afeta predominantemente mulheres jovens
— como vídeos que promovem transtornos alimentares e automutilação — tenha
estado, com razão, sob os holofotes, as vias algorítmicas que levam o ódio e a
violência sobretudo para adolescentes e jovens do sexo masculino receberam
menos atenção.
"Tende a ser uma
minoria de [crianças] que é exposta ao conteúdo mais prejudicial. Mas sabemos,
no entanto, que uma vez que você é exposto a esse conteúdo prejudicial, ele se
torna inevitável", diz Lara.
O Ofcom afirma que
pode multar as empresas e abrir processos criminais se elas não fizerem o
suficiente, mas as medidas só vão entrar em vigor em 2025.
No Brasil, o debate sobre a regulação e moderação de conteúdo nas plataformas
digitais vem ficando mais acirrado nos últimos
anos — com o avanço de alguns projetos de lei em tramitação no Congresso. Entre
eles, o PL 2.628/2022, que prevê a criação de mecanismos para proteger
especificamente crianças e adolescentes em ambientes digitais, como as redes
sociais.
A resolução 245 do
Conselho Nacional dos Direitos da Criança e do Adolescente (Conanda), publicada
neste ano, também representa um avanço neste sentido, estabelecendo entre
outras coisas diretrizes que as empresas provedoras de produtos e serviços
digitais devem adotar para garantir e proteger os direitos deste público.
O TikTok diz que usa
"tecnologia inovadora" e fornece configurações de segurança e
privacidade "líderes do setor" para adolescentes, incluindo sistemas
para bloquear conteúdo que pode não ser adequado, e que não permite violência
extrema ou misoginia.
A Meta, dona do
Instagram e do Facebook, afirma que conta com mais de "50 ferramentas,
recursos e funcionalidades diferentes" para oferecer aos adolescentes
"experiências positivas e adequadas à idade". De acordo com a Meta, a
empresa busca feedback de suas próprias equipes, e potenciais mudanças de
política passam por um processo sólido.
Fonte: BBC Panorama
Nenhum comentário:
Postar um comentário