Professores descobrem que ChatGPT é inútil para identificar plágio em trabalhos de alunos

Apesar de ter sido lançado no final de 2022, a popularidade do ChatGPT decolou mesmo apenas neste ano. Isso significa que o mês de julho marca o final do primeiro semestre escolar com alto uso do chatbot – a comunidade acadêmica passou o período assombrada segundo Bruna Arimathea, do Estadão, sobre as possibilidades da inteligência artificial (IA). Porém, depois de seis meses, professores e alunos também esbarram em uma limitação importante da ferramenta e descobriram que ela é inútil para corrigir e identificar possíveis plágios em trabalhos acadêmicos.

Um dos casos que chamou a atenção para a situação aqui no Brasil foi contado pela usuária @carollingian, no Twitter. Em seu perfil, ela contou que o tio teve o TCC barrado pela banca orientadora por conter trechos supostamente plagiados de outros autores. O veredito teria sido dado pelo ChatGPT, depois de analisar o trabalho e afirmar que o conteúdo era uma produção sua — ela afirma que o texto foi feito integralmente por um humano.

“Meu tio está terminando graduação e redigiu o TCC, enviou pro professor da banca e a resposta foi: ‘o ChatGPT dedurou vocês de que esse texto é de autoria dele. Escreva com suas próprias palavras’. Agora, meu tio está tendo que fazer uma reunião com a banca avaliadora para provar algo que não é de responsabilidade dele”, explicou a usuária na publicação, que foi excluída pela autora.

Em diversos outros relatos na rede, alunos também afirmam ter tido trabalhos devolvidos por “acusação” de plágio após serem analisados pelo ChatGPT. Com o fechamento de notas no semestre, a corrida foi para justificar não só as atividades, mas também a autoria deles.

ChatGPT detecta plágio?

Tentar buscar plágio por meio do ChatGPT é um caminho destinado ao erro. A IA por trás do ChatGPT foi desenvolvida para produzir, a partir de modelos probabilísticos, conteúdos de estrutura similar a que um humano pode fazer. Para isso, o modelo amplo de linguagem (LLM) é alimentado por dados de diversos bancos disponíveis na internet.

Embora isso possa dar a ideia de que ele seria possível reconhecer plágio (como se o sistema procurasse por blocos de palavras como a ferramenta de buscas do Google faz), a lógica computacional do ChatGPT não se resume a mostrar um agregados de textos já existentes.

A IA do chatbot gera textos a partir de um sofisticado algoritmo de predição de palavras, ou seja, a partir da informação fornecida pelo usuário, o chatbot gera frases usando dados para completar um texto com a sequência de palavras mais provável. É por isso também que o ChatGPT não é uma ferramenta apropriada para pesquisar informações na internet.

Além disso, com uma base limitada a dados até 2021, o ChatGPT não tem memória recente bem desenvolvida e se confunde com a geração de textos e as informações que armazena. Ao final, a ferramenta vai tentar gerar um texto coerente, ainda que errado – a ciência ainda tenta lidar com o fato de que os LLMs são ainda piores com o conceito de “não”.

“Eles falham porque não tem como saber se o texto foi escrito por um humano ou por uma máquina, uma vez que o modelo de linguagem do ChatGPT reproduz muito bem o texto criado por humanos”, explica o professor Fernando Osório, professor da Universidade de São Paulo (USP) em São Carlos. “Não existe um critério preciso e exato que diferencia um texto gerado pelo ChatGPT ou por um humano. Se forem dadas as mesmas informações para uma pessoa, e o ChatGPT tiver acesso no treino a essas mesmas informações, o texto de saída será tão bom, seja ele feito por um humano ou por uma máquina”.

Algumas outras ferramentas, como o ZeroGPT, aparecem como tentativa para descobrir se trabalho foi feito usando a ferramenta da OpenAI — a empresa, inclusive, também oferece um recurso para a verificação. Mas elas estão longes de resultados satisfatórios.

Um estudo feito pela University of Applied Sciences (HTW Berlin) confirmou aquilo que professores perceberam neste semestre. A partir de uma seleção de textos, os cientistas descobriram que as ferramentas anti plágio, como o ZeroGPT, não são capazes de detectar textos gerados pelo ChatGPT que foram ligeiramente modificados por humanos.

Apenas 42% dos textos que continha partes escritas pelo ChatGPT foram “deduradas” pelo recurso — o restante passou ileso, mesmo que fossem produções com grandes volumes de conteúdo gerados pela IA. Ou seja, basta mudar algumas palavras saídas do chatbot para ganhar sinal verde.

ChatGPT gera debate acadêmico

A ineficiência do chatbot repercutiu entre professores e instituições. “O ChatGPT não tem histórico do que gerou e pode acusar muitos falsos positivos. Não dá para usar, então estamos no limbo, porque as outras ferramentas tem performance baixa”, afirma o professor Diogo Cortiz, da Pontifícia Universidade Católica de São Paulo (PUC-SP). O falso positivo é o que tem acontecido em casos que viralizaram no Twitter.

Gustavo Rigueira, professor da rede pública estadual de São Paulo, afirma que tem abordado com os próprios alunos quando acredita que algum trabalho foi feito com a ajuda da IA, mas que não confia totalmente no recurso.

“Quando eu suspeito do texto, acabo fazendo isso (usando a IA) e dou mais umas pesquisadas em software anti plágio. Em um caso específico, confrontei o aluno e ele assumiu ter usado o ChatGPT, mas aconteceu essa falha (da ferramenta) em outra ocasião”, afirma Rigueira.

Para Felipe Campelo, que faz estágio docente na Faculdade de Psicologia da USP, a experiência tanto como aluno como à frente da sala de aula no último semestre mostrou como será inevitável aprender mais sobre as propriedades do ChatGPT daqui para frente.

Segundo o mestrando, a ferramenta trouxe uma experiência diferente na hora de receber trabalhos e que é preciso entender melhor a ferramenta para utilizá-la.

“Tem pouco tempo que isso veio à tona (uso do ChatGPT por alunos), então eu ainda estou elaborando, procurando conhecimento porque sei pouco sobre o chatbot. Mas já estou percebendo que isso vai moldar como a minha vida no futuro vai funcionar”, afirma o mestrando.

Cortiz corrobora que a ferramenta não deve ser ignorada e que é preciso que as instituições determinem como elas devem ser utilizadas – a ideia é não cair mais em “pegadinhas”.

“As instituições precisam criar diretrizes de uso do ChatGPT. Não dá pra ignorar. Precisa especificar onde ele pode ser usado, porque ele está aí. Dá pra revisar e gerar conteúdo. O que não dá é pegar um texto inteiramente gerado pela máquina e colocar nos trabalhos”.