En torno al plagio académico, ha aumentado la preocupación acerca del avance tanto en la técnica como en la facilidad de uso de distintas aplicaciones basadas en grandes modelos de lenguaje y especializadas en generación de texto, como Chat-GPT, Google Gemini o Microsoft Copilot. Debido a esto, existen, por otro lado, aplicaciones basadas en estos mismos modelos creadas para tratar de discernir entre un texto escrito por una IA de uno hecho por un humano (ZeroGPT, OpeanAI AI Content Detector…). En este Trabajo de Fin de Máster (TFM), vamos a presentar una comparativa entre distintos modelos entrenados y ajustados para detectar texto generado, DistilBert, Academic-ai-detector, Bert y Bert large, con detectores de plagio en una serie de textos generados tanto por IA como por un humano a modo de ground truth. Además, se comprobará la utilidad del método TfidfTransformer en la detección. Para la generación de estos textos se utilizarán las aplicaciones en línea, Chat-GPT 3.5, Google Gemini, Microsoft Copilot y Perplexity. A todas se les introducirá la misma prompt en cada prueba. Estas consultas, así como el texto humano, están en inglés pues, los modelos que usamos han sido preentrenados y optimizados para este idioma. OpeanAI AI Content Detector, ZeroGPT y GPTZero serán usados para determinar la naturaleza del texto a modo de control de rendimiento que nos permita comparar nuestros resultados con aplicaciones ya instauradas. Este trabajo busca descubrir qué herramienta para la detección de plagio o uso de IA es más efectiva, además de responder a preguntas como ”¿qué es plagio?” o ”¿merecen la pena acercamientos no basados en inteligencia artificial? Al conjunto de texto creado, así como los modelos preentrenados ajustados, podrá accederse a través de un repositorio en GitHub.
ABSTRACT
Regarding academic plagiarism, there has been growing concern about the progress in both the technique and the ease of use of different applications based on large language models and specialized in text generation, such as Chat-GPT, Google Gemini or Microsoft Copilot. Because of this, there are, on the other hand, applications based on these same models created to try to discern between a text written by an AI and one made by a human (ZeroGPT, OpeanAI AI Content Detector…). In this Master’s Thesis (TFM), we will present a comparison between different models trained and tuned to detect generated text, DistilBert, Academic-ai-detector, Bert and Bert large, with plagiarism detectors in a series of texts generated both by AI and by a human as a ground truth. In addition, the usefulness of the TfidfTransformer method in detection will be tested. The online applications Chat-GPT 3.5, Google Gemini, Microsoft Copilot and Perplexity will be used to generate these texts. All of them will be introduced the same Òtextitprompt in each test. These queries, as well as the human text, are in English as the models we use have been pre-trained and optimized for this language. OpeanAI AI Content Detector, ZeroGPT and GPTZero will be used to determine the nature of the text as a performance check to allow us to compare our results with established applications. This work seeks to discover which plagiarism detection or AI tool is most effective, in addition to answering questions such as ”what is plagiarism” or ”are non-AI approaches worthwhile”? The set of text created, as well as the adjusted pre-trained models, will be accessible through a repository on GitHub.
En torno al plagio académico, ha aumentado la preocupación acerca del avance tanto en la técnica como en la facilidad de uso de distintas aplicaciones basadas en grandes modelos de lenguaje y especializadas en generación de texto, como Chat-GPT, Google Gemini o Microsoft Copilot. Debido a esto, existen, por otro lado, aplicaciones basadas en estos mismos modelos creadas para tratar de discernir entre un texto escrito por una IA de uno hecho por un humano (ZeroGPT, OpeanAI AI Content Detector…). En este Trabajo de Fin de Máster (TFM), vamos a presentar una comparativa entre distintos modelos entrenados y ajustados para detectar texto generado, DistilBert, Academic-ai-detector, Bert y Bert large, con detectores de plagio en una serie de textos generados tanto por IA como por un humano a modo de ground truth. Además, se comprobará la utilidad del método TfidfTransformer en la detección. Para la generación de estos textos se utilizarán las aplicaciones en línea, Chat-GPT 3.5, Google Gemini, Microsoft Copilot y Perplexity. A todas se les introducirá la misma prompt en cada prueba. Estas consultas, así como el texto humano, están en inglés pues, los modelos que usamos han sido preentrenados y optimizados para este idioma. OpeanAI AI Content Detector, ZeroGPT y GPTZero serán usados para determinar la naturaleza del texto a modo de control de rendimiento que nos permita comparar nuestros resultados con aplicaciones ya instauradas. Este trabajo busca descubrir qué herramienta para la detección de plagio o uso de IA es más efectiva, además de responder a preguntas como ”¿qué es plagio?” o ”¿merecen la pena acercamientos no basados en inteligencia artificial? Al conjunto de texto creado, así como los modelos preentrenados ajustados, podrá accederse a través de un repositorio en GitHub.
ABSTRACT
Regarding academic plagiarism, there has been growing concern about the progress in both the technique and the ease of use of different applications based on large language models and specialized in text generation, such as Chat-GPT, Google Gemini or Microsoft Copilot. Because of this, there are, on the other hand, applications based on these same models created to try to discern between a text written by an AI and one made by a human (ZeroGPT, OpeanAI AI Content Detector…). In this Master’s Thesis (TFM), we will present a comparison between different models trained and tuned to detect generated text, DistilBert, Academic-ai-detector, Bert and Bert large, with plagiarism detectors in a series of texts generated both by AI and by a human as a ground truth. In addition, the usefulness of the TfidfTransformer method in detection will be tested. The online applications Chat-GPT 3.5, Google Gemini, Microsoft Copilot and Perplexity will be used to generate these texts. All of them will be introduced the same Òtextitprompt in each test. These queries, as well as the human text, are in English as the models we use have been pre-trained and optimized for this language. OpeanAI AI Content Detector, ZeroGPT and GPTZero will be used to determine the nature of the text as a performance check to allow us to compare our results with established applications. This work seeks to discover which plagiarism detection or AI tool is most effective, in addition to answering questions such as ”what is plagiarism” or ”are non-AI approaches worthwhile”? The set of text created, as well as the adjusted pre-trained models, will be accessible through a repository on GitHub. Read More
Related posts:
BERT-NAR-BERT: A Non-Autoregressive Pre-Trained Sequence-to-Sequence Model Leveraging BERT Checkpoints
Validación de explicabilidad post-hoc de modelos de tipo caja-negra usando grandes modelos de lenguaje
Transformers for extracting breast cancer information from Spanish clinical narratives
Improvements in Ciao Prolog’s development environment: developing a rich development environment for Ciao on visual studio code
ChromeOS will ’embrace’ more Android — for more AI features, faster
AWS, Microsoft and Google urge datacentre kit suppliers to improve Scope 3 data collection