Os detectores de IA podem nos salvar do ChatGPT? Eu tentei 3 ferramentas online para descobrir

Este é o segundo artigo do que está se tornando uma série que explora as questões do texto gerado por IA.

Nesta edição, meu amigo de IA e eu estamos analisando a questão de saber se é possível lutar contra o plágio gerado por IA e como isso pode funcionar.

Além disso: O que é ChatGPT e por que isso importa? Aqui está o que você precisa saber

Antes de continuar, porém, precisamos falar sobre o conceito de plágio e como ele se relaciona com esse problema. O Webster's define "plagiar" como "roubar e passar (as ideias ou palavras de outro) como se fosse seu: usar (a produção de outro) sem creditar a fonte".

Isso se encaixa no conteúdo criado por IA. Embora alguém que usa uma ferramenta de IA como Notion AI ou ChatGPT não esteja roubando conteúdo, se essa pessoa não creditar as palavras como provenientes de uma IA e as reivindicar como suas, ainda assim ela atende à definição de plágio do dicionário.

ZDNET Recomenda

Os melhores chatbots AI: ChatGPT e outras alternativas interessantes para experimentar

Os chatbots e escritores de IA podem ajudar a aliviar sua carga de trabalho escrevendo e-mails e redações e até mesmo fazendo contas. Eles usam inteligência artificial para gerar texto ou responder a consultas com base na entrada do usuário. O ChatGPT é um exemplo popular, mas existem outros chatbots dignos de nota.

Leia agora

Neste artigo experimental, pedi ajuda ao ChatGPT. Minhas palavras estão em texto normal e em negrito. As palavras da IA estão em itálico. Também usarei três detectores de plágio online do ChatGPT (que descreverei com mais detalhes abaixo). Depois de cada seção gerada por IA, mostrarei os resultados dos detectores. No final do artigo, veremos o desempenho geral dos detectores.

Aqui está o resultado do texto acima, que eu mesmo escrevi:

• Detector de saída GPT-2: 99,98% real
• Detector de conteúdo do Writer AI: conteúdo 100% gerado por humanos. Fantástico!
• Content at Scale AI Content Detection: 100% de pontuação de conteúdo humano. Parece ótimo!

Com isso, vamos começar.

Explique por que o ChatGPT pode ser um problema real para professores e editores quando se trata de plágio

ChatGPT é uma variante do modelo de linguagem GPT (Generative Pre-trained Transformer) desenvolvido pela OpenAI. Ele é projetado para gerar texto semelhante ao humano, prevendo a próxima palavra ou frase em uma determinada sequência de entrada. Embora o ChatGPT possa ser uma ferramenta útil para gerar texto e responder a solicitações, também pode ser um problema para professores e editores quando se trata de plágio.

Uma das principais razões pelas quais o ChatGPT pode ser um problema para professores e editores é que ele pode gerar um texto muito semelhante ao de escritores humanos reais. Isso significa que alunos ou outros indivíduos podem usar o ChatGPT para gerar texto que eles podem enviar como seu próprio trabalho, cometendo plágio.

Além disso: O ajudante de redação do Notion AI pode escrever este artigo?

Para professores e editores, detectar se um determinado trecho de texto foi gerado pelo ChatGPT ou escrito por um humano pode ser muito difícil, pois o texto gerado pode não conter erros óbvios ou discrepâncias que revelariam sua origem artificial. Isso pode dificultar a identificação e prevenção de plágio por professores e editores, pois eles podem não saber dizer se um determinado trecho de texto é original ou copiado de outra fonte.

No geral, o ChatGPT e outros modelos de linguagem semelhantes podem ser um problema para professores e editores quando se trata de plágio porque podem gerar texto difícil de distinguir daquele escrito por humanos, tornando mais fácil para alunos e outros indivíduos cometerem plágio sem serem detectou.

• Detector de saída GPT-2: 99,69% real
• Detector de conteúdo do Writer AI: 97% de conteúdo gerado por humanos. Fantástico!
• Content at Scale AI Content Detection: 87% de pontuação de conteúdo humano. Parece bom!

Lembre-se, o texto mostrado em itálico foi gerado pela IA.

Mostre-me pelo menos três maneiras de detectar que o ChatGPT foi usado para produzir um texto

Existem várias maneiras de detectar se o ChatGPT ou outro modelo de idioma foi usado para produzir um texto. Aqui estão três abordagens possíveis que você pode usar:

1. Procure padrões repetitivos ou incomuns no texto: uma maneira de detectar se um modelo de linguagem foi usado para gerar um trecho de texto é procurar padrões repetitivos ou incomuns na escrita. Por exemplo, modelos de linguagem podem repetir certas frases ou combinações de palavras ou usar estruturas de sentenças incomuns ou inconsistentes.
2. Verifique a falta de originalidade: Outra forma de detectar se um modelo de linguagem foi usado para gerar um trecho de texto é verificar a falta de originalidade na redação. Se um trecho de texto parece ter sido copiado de outra fonte, ou se contém informações amplamente disponíveis na internet ou em outras fontes, pode ser um sinal de que foi gerado por um modelo de linguagem.
3. Use um verificador de plágio: finalmente, você pode usar um verificador de plágio para verificar se um trecho de texto parece ter sido copiado de outra fonte. Embora um verificador de plágio possa não ser capaz de determinar definitivamente se um modelo de idioma foi usado para gerar um trecho de texto, ele pode ajudá-lo a identificar instâncias de cópia ou paráfrase de outras fontes.
4. Observe quando a resposta está obviamente errada: falei sobre isso em minha revisão do Notion AI, onde destaquei algum texto que a IA escreveu com aparente autoridade, mas que estava flagrantemente errado. Se um aluno ou escritor não tiver domínio total do tópico que está sendo discutido, ele pode não detectar as imprecisões e simplesmente deixá-las na resposta gerada pela IA. É claro que declarações incorretas não são apenas da competência de uma ferramenta de escrita de IA. Muitos blogueiros e comentaristas, por exemplo, simplesmente repetem declarações feitas por outros blogueiros, criando uma câmara de eco de "fatos completamente falsos", mostrando que, embora a inteligência possa ser artificial, a estupidez é uma característica universal.

Lembre-se de que pode ser difícil determinar definitivamente se um modelo de idioma foi usado para gerar um trecho de texto, e esses métodos podem nem sempre ser eficazes. No entanto, eles podem ser ferramentas úteis para ajudá-lo a identificar instâncias potenciais de texto gerado por modelo de linguagem.

Neste conjunto de testes, apenas o conteúdo em itálico acima foi executado no conjunto de verificadores.

• Detector de saída GPT-2: 99,98% falso
• Detector de conteúdo do Writer AI: [ sem resultado ]
• Content at Scale AI Content Detection: 0% de pontuação de conteúdo humano. obviamente IA

Liste três verificadores de plágio que podem detectar texto ChatGPT

Inovação

• Experimentei o Apple Vision Pro e está muito à frente do que eu esperava
• Este minúsculo comunicador via satélite está repleto de recursos e tranquilidade
• Como usar o ChatGPT: tudo o que você precisa saber
• Estas são minhas 5 ferramentas de IA favoritas para o trabalho

Vale a pena notar que atualmente não há um verificador de plágio projetado especificamente para detectar texto gerado pelo ChatGPT ou outros modelos de linguagem. Embora alguns verificadores de plágio possam identificar certas características do texto gerado pelo modelo de idioma que podem indicar sua origem artificial, não há garantia de que eles serão capazes de determinar definitivamente se um trecho de texto foi gerado por um modelo de idioma.

Com isso dito, aqui estão três verificadores de plágio que você pode considerar usar para ajudar a identificar instâncias potenciais de texto gerado por modelo de linguagem:

1. Turnitin: Turnitin é um popular verificador de plágio amplamente utilizado por escolas e universidades. Ele compara um trecho de texto com um banco de dados de outros textos para identificar instâncias de cópia ou paráfrase. Embora possa não ser capaz de determinar definitivamente se um trecho de texto foi gerado por um modelo de idioma, ele pode potencialmente identificar certas características do texto gerado pelo modelo de idioma que podem indicar sua origem artificial.
2. PlagScan: PlagScan é outro verificador de plágio que compara um trecho de texto com um banco de dados de outros textos para identificar instâncias de cópia ou paráfrase. Como o Turnitin, ele pode ser capaz de identificar certas características do texto gerado pelo modelo de linguagem que podem indicar sua origem artificial, mas não foi projetado especificamente para detectar texto gerado pelo modelo de linguagem.
3. Copyleaks: Copyleaks é um verificador de plágio que usa algoritmos avançados de aprendizado de máquina para digitalizar um trecho de texto e compará-lo com um banco de dados de outros textos para identificar instâncias de cópia ou paráfrase. Embora possa identificar certas características do texto gerado pelo modelo de idioma, ele não foi projetado especificamente para detectar texto gerado pelo modelo de idioma.

Vale a pena notar que nenhum verificador de plágio é completamente infalível, e sempre há a possibilidade de que um pedaço de texto gerado pelo modelo de linguagem possa escapar da detecção. Portanto, é importante usar verificadores de plágio como apenas uma parte de uma estratégia maior para detectar e prevenir o plágio.

• Detector de saída GPT-2: 99,62% real
• Detector de conteúdo do Writer AI: [ sem resultado ]
• Content at Scale AI Content Detection: 86% de pontuação de conteúdo humano. Parece bom!

Verificadores de plágio de IA online

A maioria dos detectores de plágio é usada para comparar a escrita com um corpus de outra escrita. Por exemplo, quando um aluno entrega uma redação, um produto como o Turnitin verifica a redação enviada em uma enorme biblioteca de outras redações em seu banco de dados, bem como em outros documentos e textos na Internet para determinar se a redação enviada já contém conteúdo escrito.

Mas as ferramentas de escrita de IA geram conteúdo original, pelo menos em teoria. Sim, eles constroem seu conteúdo a partir de qualquer coisa em que foram treinados, mas as palavras reais que constroem são um tanto únicas para cada composição.

Além disso: o verdadeiro objetivo da IA pode não ser mais a inteligência

Dessa forma, os verificadores de plágio mencionados acima provavelmente não funcionarão, porque o conteúdo gerado pela IA provavelmente não existia, digamos, no trabalho de outro aluno.

Então, fui ao Google e procurei por detectores projetados especificamente para procurar as assinaturas reveladoras de conteúdo orientado por IA. Achei três. Para o conteúdo do teste mostrado nas capturas de tela abaixo, perguntei ao ChatGPT o seguinte: "Jornada nas estrelas é melhor que guerra nas estrelas? Justifique e explique" Sua resposta não foi nada ruim e alimentei essa resposta aos três testadores.

• Detector de saída GPT-2: 99,98% real
• Detector de conteúdo do Writer AI: conteúdo 100% gerado por humanos. Fantástico!
• Content at Scale AI Content Detection: 100% de pontuação de conteúdo humano. Parece ótimo!

Detector de Saída GPT-2 (Precisão 66%)

Essa primeira ferramenta foi construída usando um hub de aprendizado de máquina gerenciado pela empresa de IA Hugging Face, com sede em Nova York. Embora a empresa tenha recebido US$ 40 milhões em financiamento para desenvolver sua biblioteca de linguagem natural, o detector GPT-2 parece ser uma ferramenta criada pelo usuário usando a biblioteca Hugging Face Transformers. Dos seis testes que fiz, foi preciso para quatro deles.

Detector de conteúdo AI do Writer.com (precisão N/A)

O Writer.com é um serviço que gera escrita de IA, voltado para equipes corporativas. Sua ferramenta AI Content Detector pode escanear o conteúdo gerado. Infelizmente, achei esta ferramenta não confiável. Das seis varreduras que fiz, falhou em três. Dos três que executou com sucesso, acertou dois e errou um.

Depois que este artigo foi publicado, o pessoal do Writer.com entrou em contato com o ZDNET. O CEO May Habib tinha este comentário para compartilhar:

A demanda pelo detector de IA disparou. O tráfego cresceu de 2 a 3 vezes por semana desde que o lançamos há alguns meses. Agora temos o dimensionamento necessário por trás dele para garantir que ele não caia, e nosso objetivo é mantê-lo livre - e atualizado para capturar os resultados dos modelos mais recentes, incluindo os nossos. Se a saída de IA for usada textualmente, ela deve ser absolutamente atribuída.

Detecção de conteúdo de inteligência artificial em escala (precisão de 50%)

A terceira ferramenta que encontrei também foi produzida por uma empresa de geração de conteúdo de IA, mas esta parecia funcionar de forma confiável. O conteúdo em escala se apresenta como "Ajudamos os profissionais de marketing de conteúdo com foco em SEO, automatizando a criação de conteúdo". Sua chamada de ação de marketing é: "Carregue uma lista de palavras-chave e obtenha postagens de blog com mais de 2.600 palavras que ignoram a detecção de conteúdo de IA - tudo sem intervenção humana!" Dos seis testes que fiz, foi preciso para três.

Pensamentos finais

O plágio orientado por IA é um problema crescente, pois ferramentas de IA como Notion AI e ChatGPT podem gerar texto difícil de distinguir daquele escrito por humanos. Existem várias maneiras de detectar se um trecho de texto foi gerado por uma IA, como procurar padrões repetitivos ou incomuns, verificar se há falta de originalidade ou usar um verificador de plágio. Verificadores de plágio como Turnitin, PlagScan e Copyleaks podem identificar certas características do texto gerado por modelo de linguagem, mas não são infalíveis.

Mesmo as ferramentas especiais que encontrei eram totalmente inadequadas para a tarefa. O melhor caso foi o Detector de saída GPT-2, mas só acertou dois terços do texto enviado.

Neste ponto, não acho que estamos prontos para deixar a IA lutar contra a IA. Em vez disso, teremos que confiar na percepção humana (o que significa que as pessoas precisam prestar atenção) para identificar trabalhos gerados por uma IA.

Não assuma imediatamente que algo é gerado por máquina. Só porque algo é estúpido ou terrivelmente impreciso, não assuma imediatamente que não foi escrito por um humano. Como todos nós sabemos, os humanos são capazes de escrever coisas incrivelmente ruins por conta própria.

Além disso: o ChatGPT da OpenAI é muito bom no meu trabalho, mas não pode me substituir (ainda)

Então, o que você acha? Você pode dizer se uma peça é gerada por IA? Você usou essas ferramentas de escrita de IA nos meses desde que de repente todas se tornaram disponíveis? Você acha que eles ajudam ou atrapalham a educação e o jornalismo? Deixe-nos saber nos comentários abaixo. Veja como o ChatGPT respondeu a isso:

Como um modelo de linguagem, não posso ver ou interagir com peças físicas de escrita, então não posso dizer se uma peça é gerada por IA ou não. No entanto, posso dizer que existem várias ferramentas de escrita de IA disponíveis e que podem ser usadas para gerar uma ampla variedade de conteúdo escrito, incluindo artigos de notícias, ficção, poesia e muito mais.

Não tenho experiência pessoal no uso dessas ferramentas, pois sou apenas um programa de computador e não tenho a capacidade de navegar na Internet ou usar ferramentas físicas. No entanto, posso dizer que algumas pessoas consideram as ferramentas de redação de IA úteis na educação e no jornalismo, pois podem economizar tempo e esforço automatizando certas tarefas. Outros expressaram preocupação com o potencial de essas ferramentas serem usadas para produzir conteúdo enganoso ou tendencioso ou para substituir escritores humanos. Em última análise, se as ferramentas de escrita de IA são uma ajuda ou um obstáculo depende de como são usadas e do contexto em que são usadas.

Então, sim, tem isso.