Palavra de Sá

Dá para identificar texto gerado por inteligência artificial?

O professor de Ciência da Computação da Universidade Federal de Minas Gerais (UFMG) Adriano Machado, 47 anos, comemorou, no último 12 de junho, o 28º dia dos namorados com sua esposa, Maira Pereira.

Decidiu, para surpreendê-la, dar uma joia e uma carta de amor.

Na hora de começar a escrever vieram muitas lembranças da trajetória do casal, mas lhe faltaram palavras para elaborar um texto mais romântico, como ele queria.

Ele decidiu, então, entregar parte da tarefa para o ChatGPT.

"Coloquei todo o meu pensamento, com começo, meio e fim. Deu uma página. Mas eu não estava inspirado e queria alguma coisa mais poética, como se estivesse narrando essa história de 28 anos de namoro. E queria terminar com o texto de um autor que eu gosto muito."

Ele foi ajustando a resposta gerada, pedindo novas versões para alguns trechos, até chegar a um resultado que o agradou. E então mandou imprimir.

Maira adorou o presente e disse que a carta estava "linda". Mas achou estranho.

O marido confessou: "Eu escrevi o conteúdo, mas pedi ajuda para uma IA". Ela respondeu na hora que já tinha percebido algo diferente.

"Me conhecendo, ela sabia. Ou eu tinha estudado e me tornado mais romântico e poético do dia pra noite, ou tinha usado alguma ferramenta."

Adriano usa essa história pessoal para discutir, na vida profissional, os desafios que ele e outros professores enfrentam para distinguir, de maneira clara, qual conteúdo foi gerado por humanos e qual foi gerado por inteligência artificial — e a necessidade de se fazer uso ético dessas ferramentas, com transparência.

O uso genérico desse tipo de IA pode deixar impressões claras de que o conteúdo foi gerado por uma máquina, como falta de criatividade, frases óbvias, ausência de erros gramaticais e estruturas parecidas, diz Machado.

Mas a evolução dos modelos, inclusive em língua portuguesa, e a facilidade de refinar os resultados iniciais, como no exemplo da carta, tornam praticamente impossível saber o que foi gerado por humanos ou robôs.

Existem diversos tipos de programas no mercado que dizem conseguir identificar a escrita gerada por IA. Alguns prometem acurácia de 99%.

Na prática, não é tão simples. "É possível detectar indícios do uso, mas com uma certeza relativa, não absoluta", diz o professor.

Para Machado, o maior desafio não é saber se o conteúdo foi ou não gerado por IA, mas se seus alunos estão ou não aprendendo.

"Se eu tenho conhecimento do que eu preciso e souber usar a IA a meu favor, isso pode poupar muito tempo. Mas a maior preocupação hoje é com os alunos, porque tenho de ensiná-los a avançar na linha de conhecimento."

<><> 'Engenharia de prompt'

O ato de "refinar" as respostas geradas pela IA, como fez Adriano ao escrever sua carta, praticamente inviabiliza a detecção do que foi escrito por um chatbot ou por um humano.

A BBC News Brasil testou uma popular ferramenta do mercado para analisar três textos diferentes, todos escritos por uma IA.

O primeiro foi gerado a partir de uma solicitação genérica: escrever alguns parágrafos (cerca de 100 palavras) sobre o impacto da IA na educação.

O rascunho foi detectado facilmente pelo software, que apontou problemas como "precisão mecânica" e "tom impessoal".

Pedimos então à IA para refazer o texto, dessa vez escrevendo "como um humano, de forma menos robótica". Dessa vez o detector apontou apenas 30% de conteúdo gerado por IA.

<><> 'Todo mundo está usando'

"Pelo bem ou pelo mal, é muito difícil hoje alguém dizer se é ou não (gerado por IA) se não tiver um parâmetro anterior", avalia a professora de sociolinguística da Universidade Federal do Sergipe (UFS) Raquel Freitag.

"É uma região muito nebulosa para tomar uma decisão", diz.

O motivo, diz, está na própria evolução das ferramentas. Freitag diz que os modelos dessas tecnologias são aprimorados constantemente com a inclusão de amostras de mais variações linguísticas, tornando-os cada vez mais precisos.

"Hoje há um volume de dados em português e as pistas que antes podiam ajudar hoje não são mais suficientes. Quanto mais diversidade de dados linguísticos para treinar o modelo, mais fidedigno ele fica para a sensibilidade humana."

A especialista defende que a educação precisa se adaptar a essa nova realidade.

"A questão não é mais usar ou não usar. Todo mundo está usando. E sempre esteve usando. O corretor ortográfico do Word, por exemplo, é um tipo de IA, o que não significa que a gente não deva aprender sobre ortografia", lembra.

"Posso gerar textos pela IA? Sim, mas se eu não for uma leitora proficiente, isso não quer dizer nada."

Na ausência de diretrizes claras, educadores têm buscado soluções práticas. Freitag lembra que ainda não há regras definidas sobre o uso dessas tecnologias em sala de aula.

"Professores estão adaptando suas práticas. Em um primeiro momento houve a reação de voltar a fazer prova escrita, à mão. Mas isso não faz tanto sentido se depois eu tiver de lidar com a IA em outras esferas da formação profissional."

O professor da Faculdade de Ciências Aplicadas da Unicamp Leonardo Tomazeli Duarte, que é coordenador de um centro de referência de IA na mesma instituição, diz que os modelos de linguagem natural têm avançado muito em questões de estilo de escrita, o que também dificulta a identificação.

"Eu já fiz uns testes tentando fazer com que eles usem o meu estilo. E usam muito bem. Eu mesmo tenho dificuldade de descobrir se fui eu que escrevi o texto ou não."

<><> E o travessão?

Se você usa o LinkedIn com alguma frequência, é possível que já tenha se deparado com alguma das centenas de publicações que discutiam se o uso de travessões é indício de que um texto foi produzido por inteligência artificial, tema que ficou em destaque na plataforma por semanas.

A conversa não se resume ao contexto brasileiro — em abril, o jornal americano The Washington Post tratava do mesmo assunto em uma reportagem.

Uma porta-voz da OpenAI, criadora do ChatGPT admitiu ao jornal que "é possível que a escrita produzida pelo ChatGPT favoreça os travessões ("em dash", em inglês)", mas que isso "não é uma regra rígida" e que o resultado é "fortemente influenciado pela forma como os usuários respondem aos resultados (gerados pela ferramenta)."

A professora da Faculdade de Letras da UFMG Adriana Pagano diz que também percebe um uso mais frequente de travessões em textos.

"O texto do modelo de linguagem é quase 100% correto. Tem um uso do travessão que é mais frequente, de fato. A gente imagina que isso seja impacto de um treinamento, provavelmente com língua inglesa", diz.

Mas a simples presença de um ou outro elemento não é o que vai diferenciar o texto gerado pela IA, afirma ela.

"Detectar se um texto foi feito por modelo de linguagem, não é qualquer um que detecta. Quando se trabalha muito com produção de texto, muito hábito de ler e corrigir, fica mais fácil de perceber isso. Mesmo assim as últimas versões têm avançado muito em formas coloquiais."

Para Rodrigo Nogueira, fundador e CEO da Maritaca AI, empresa que desenvolve inteligência artificial em português, o avanço do uso desse tipo de tecnologia nos textos é inevitável — e não necessariamente deve ser encarado como problema.

"Se eu escrevo um e-mail informal, cheio de erros, e peço para a IA organizar melhor as ideias, ela vai inserir um pouco da inteligência dela. Vai usar palavras ou estruturas que talvez eu não usasse. No fim, não é mais 100% meu. As IAs já estão presentes nas nossas frases e, consequentemente, nas nossas ações."

Ele acredita que a distinção entre o que é humano e o que é artificial tende a se dissolver.

"Mesmo com ferramentas precisas para detectar IA, a discussão real é: quem gerou esse pensamento, o humano ou a IA? Vai ficar tudo mesclado. Essa é a beleza da coisa. E se em 2025 já é assim, imagine no futuro."

<><> Comissão de IA nas universidades

Instituições de ensino de todo mundo têm discutido diretrizes de como ferramentas de inteligência artificial podem ser incorporadas, tanto por professores quanto por funcionários da administração e alunos.

Na UFMG está instalada, desde o ano passado, a Comissão Permanente de IA, que debate seu uso ético na universidade, a elaboração de uma política para este tipo de tecnologia, dentre outras ações.

"Percebemos que havia risco em ter uma atitude meramente proibitiva, sobretudo porque as pessoas estão usando IA das formas mais variadas", disse o presidente da comissão, o professor do Departamento de Ciência Política Ricardo Fabrino Mendonça.

A primeira missão da comissão foi mapear políticas usadas por outras instituições de ensino. Mas o grupo logo percebeu que pouco havia sido publicado sobre o assunto.

O primeiro material produzido foi justamente uma lista de recomendações. Dentre elas, transparência no uso de IA em trabalhos acadêmicos e a inclusão de debates em sala de aula sobre impactos da IA, positivos e negativos, para seu uso no ambiente acadêmico.

Outra recomendação é não usar sistemas de IA para identificar se o conteúdo foi ou não gerado por um humano. Por duas razões, diz Mendonça: a falta de acurácia adequada na detecção e a necessidade de dar privacidade às informações, que podem fazer parte, por exemplo, de uma pesquisa ainda não publicada.

<><> A 'geração LLM'

Leonardo Tomazeli Duarte, professor da Unicamp, avalia que o desafio dos próximos anos será educar uma geração de "nativos LLM" — jovens que cresceram em meio a grandes modelos de linguagem, como o ChatGPT.

"O uso vai ficando mais natural pela disponibilidade, pela convivência. Não dá pra fechar os olhos ou dizer para não usar."

"Paradoxalmente, nós, das gerações anteriores, tivemos um aprendizado mais crítico, estruturado na busca por informação."

Ele já incorpora o uso de IA em alguns exercícios em sala, com a condição de que os alunos expliquem como usaram a ferramenta.

"Quero saber o processo. Se não pedir isso, vão usar do mesmo jeito e não me contar."

Duarte acredita que, em breve, a IA será integrada ao currículo de diversas áreas, como já ocorre com a estatística.

"Logo vai ter aula de IA em Biologia, como já existe bioestatística. O ganho é aproximar essas técnicas de outras áreas, desmistificar e deixar claro o que a tecnologia pode ou não fazer."

Um artigo publicado no ano passado por pesquisadores da Universidade da Pensilvânia (e outras instituições) reforça a preocupação com o aprendizado apoiado por IA.

Em um experimento com cerca de mil alunos do ensino médio, pesquisadores constataram que estudantes que usaram o ChatGPT para resolver exercícios de matemática tiveram desempenho significativamente melhor, mas pioraram nas provas feitas sem ajuda da IA.

A explicação, segundo os autores, é que os alunos passaram a usar a IA como "muleta", deixando de aprender conceitos fundamentais.

Quando a IA foi programada para apenas dar dicas, em vez de respostas completas, o efeito negativo desapareceu.

"Para manter a produtividade no longo prazo, é preciso cautela ao utilizar IA generativa, garantindo que os humanos continuem a aprender habilidades essenciais", escreveram os autores.

<><> IAs treinadas em português brasileiro

Lançado em 2024, o Plano Brasileiro de Inteligência Artificial (2024–2028) tem entre suas metas o desenvolvimento de modelos de linguagem em português, com dados nacionais "que abarcam nossa diversidade cultural, social e linguística."

Rodrigo Nogueira, fundador da Maritaca AI, vê duas razões principais em discussão para apostar nesse caminho.

"A primeira é a soberania. Uma vez que essas IAs estão cada vez mais participando do nosso dia a dia, o que você quer é dominar esse stack (conjunto) de tecnologia para não depender lá de fora. Imagina se você é um órgão de justiça do Brasil, ou uma empresa que toma decisões com ajuda de IA. Não é legal depender 100% de uma inteligência que vem de fora. Você está mandando todo seu conhecimento para uma empresa estrangeira."

O segundo ponto, destaca, é o conhecimento contextual.

"Se eu treino a IA com base nas leis brasileiras, ela já nasce sabendo de cabeça todas as nossas normas. Como essas IAs estão se atualizando cada vez mais rápido, uma IA feita no Brasil já vai nascer sabendo onde está, quais são as regras, os problemas, as instituições locais. Isso dá uma vantagem enorme em relação a um modelo genérico feito para o mundo todo. Pode até saber de tudo, mas não tão bem quanto a nossa

 

Fonte: BBC News Brasil