Desde o lançamento do ChatGPT e de seus rivais, as opiniões sobre o chatbot de IA estão divididas. Enquanto alguns acham que é vital e economiza tempo, alguns outros estão preocupados com as pessoas que usam IA para espalhar desinformação e plagiar o trabalho. A OpenAI, a empresa por trás do bot viral de IA ChatGPT e do gerador de texto para imagem DALL-E, lançou uma nova ferramenta de classificação de IA para identificar texto escrito por IA. Em um comunicado de imprensa oficial, detalhes da OpenAI como o classificador foi treinado, suas limitações e outras métricas. Confira todos os detalhes abaixo.
O classificador da OpenAI distingue o texto AI da escrita humana
Em um comunicado de imprensa recente, a empresa detalhou como esta nova ferramenta AI Classifier destina-se a ajudar as pessoas a identificar o texto AI. A ferramenta faz isso recebendo informações dos usuários e, em seguida, executando-as em seus dados treinados para classificá-las como IA ou conteúdo gerado por humanos.
O AI Classifier é um modelo de linguagem e foi treinado em um conjunto de dados que compreende pares de texto humano e escrito por IA sobre o mesmo tópico. A OpenAI observa que os dados humanos foram coletados de várias fontes que eles acreditam serem escritos por humanos. Este texto foi dividido em prompts e respostas sobre os quais o texto AI foi gerado para reunir um conjunto de dados completo.
O classificador de IA ainda não é totalmente confiável
Embora a nova ferramenta seja destinada a facilitar nossas vidas (especialmente professores e professores) quando se trata de IA, a empresa afirmou claramente que o AI Classifier não é totalmente confiável e sujeito a erros. Nas avaliações internas da empresa, o classificador identificou corretamente 26% do texto escrito por IA como “provavelmente escrito por IA”.
Identificou ainda incorretamente 9% do texto humano como escrito por IA. Embora a margem de erro seja bastante baixa, é evidente que o Classificador não é infalível. Além disso, o OpenAI menciona que não é confiável em textos curtos abaixo de 1.000 caracteres.
“Nosso classificador tem várias limitações importantes. Não deve ser usado como uma ferramenta primária de tomada de decisão, mas sim como um complemento para outros métodos de determinação da origem de um trecho de texto.”OpenAI
A ferramenta tem algumas outras limitações , incluindo suporte apenas para entradas em inglês, dificuldade em textos previsíveis e sendo mal calibrado fora de seus dados de treinamento. Por todas essas razões e mais, este novo classificador de IA não deve ser usado como uma ferramenta de tomada de decisão primária ainda. No entanto, com o passar do tempo, podemos esperar melhorias à medida que mais dados são alimentados nele.
Como o classificador OpenAI se sai em nossos testes
Classificador de texto AI da OpenAI (link do site) é uma ferramenta online de uso gratuito. Então, decidimos dar uma volta curta e ele funciona tão bem quanto você esperaria neste estágio. Eu testei vários artigos de tamanho moderado em nosso site. Estes incluíam notícias e artigos especiais. Depois de colar o texto e executar a ferramenta, obtivemos a resposta “O Classificador considera o texto muito improvável gerado por IA”.
Para testar como funciona, pedi ao ChatGPT que escrevesse uma história curta e usei o Classificador para ver se ele conseguia identificar que a história foi escrita por seu próprio irmão de IA. Felizmente, deu a resposta de que o texto foi “provavelmente gerado por IA”. Eu tentei o mesmo com alguns outros textos como O Mercador de Veneza de Shakespeare e a IA detectou um envolvimento improvável da IA.
Como mencionado acima, o classificador OpenAI deve melhorar à medida que seu conjunto de dados aumenta. No entanto, até que isso aconteça, você é livre para usar a ferramenta e se divertir com ela. Então, quais são seus pensamentos sobre detectores de texto AI? Você acha que eles são uma necessidade em 2023? Deixe seus dois centavos nos comentários abaixo.
Deixe um comentário