Evaluación Experimental de Modelos de Lenguaje Generativo en la Detección de Correos Electrónicos de Phishing
DOI:
https://doi.org/10.5281/zenodo.20369356Palabras clave:
antiphishing, inteligencia artificial, modelos de lenguaje, seguridad de la informaciónResumen
Este estudio evalúa el desempeño de Claude AI, ChatGPT, Copilot y Gemini en la detección de correos electrónicos de phishing. En un experimento controlado, se analizaron 80 mensajes reales, 40 legítimos y 40 maliciosos, obtenidos del Catálogo de Fraudes de la RNP y del SpamAssassin Public Corpus. Mediante un prompt estandarizado, cada modelo clasificó los mensajes y atribuyó una probabilidad de riesgo. Se calcularon exactitud, precisión, sensibilidad (recall) y F1-score. ChatGPT, Copilot y Gemini alcanzaron 100% en las métricas binarias, mientras Claude AI registró un falso positivo. Los resultados indican que los LLMs pueden apoyar la detección antiphishing como capa complementaria y deben validarse en bases más amplias.
Descargas
Citas
ALOM, M.; HAQUE, M.; SIDDIQUE, R. A survey on phishing detection techniques using machine learning. Journal of Network and Computer Applications, v. 170, p. 102-150, 2020.
ALVES, Jéssica; SALANDIN, Amanda Torette; NEVES, João Emmanuel D Alkmin. Clonagem de voz por IA: avaliando a eficácia em ataques de phishing por voz. Revista Tecnológica da Fatec de Americana, v. 13, n. 1, p. 22-44, 2025. DOI: 10.47283/3ycgwz89.
CHEN, L.; HUANG, X.; DENG, Y. Evaluating prompt-based large language models for cybersecurity tasks. In: ACM INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND SECURITY, 2024. Anais [...]. [S. l.]: ACM, 2024. p. 55-68.
GERMANO, Arthur. Experimentação do uso de inteligência artificial generativa para contenção de phishing. 2024. Trabalho de Conclusão de Curso (Segurança da Informação) – Faculdade de Tecnologia de Americana, Americana, 2024. Disponível em: http://ric.cps.sp.gov.br/bitstream/123456789/29245/1/20242S_Arthur%20Germano_OD2467.pdf. Acesso em: 25 maio 2025.
KIM, J.; PARK, S. Human factors in phishing susceptibility: behavioral and cognitive analysis. Computers in Human Behavior, v. 145, p. 107-120, 2023.
LI, J.; WANG, Z. Comparing traditional filters and LLM-based approaches for email security. International Journal of Information Security, v. 23, p. 221-238, 2024.
REDE NACIONAL DE ENSINO E PESQUISA (RNP). Catálogo de fraudes da RNP. Disponível em: https://catalogodefraudes.rnp.br/. Acesso em: 21 nov. 2025.
SHAH, R.; PATEL, M.; SINGH, V. Phishing email classification using transformer-based deep learning models. Computers & Security, v. 130, p. 102-118, 2023.
SPAMASSASSIN. SpamAssassin public corpus. Apache Software Foundation. Disponível em: https://spamassassin.apache.org/publiccorpus/. Acesso em: 21 nov. 2025.
TONEZER, Leonardo Nabarro; SILVA, Ana Clara Matthiesen; ALMEIDA, Alisson Henrique de; NEVES, João Emmanuel D Alkmin. Simulações multiagentes e phishing: explorando a segurança em ambientes de nuvem. Revista Tecnológica da Fatec de Americana, v. 11, n. 2, p. 1-17, 2024. DOI: 10.47283/sg6gph88.
VERIZON. 2023 data breach investigations report. [S. l.]: Verizon, 2023. Disponível em: https://www.verizon.com/business/resources/reports/dbir/. Acesso em: 25 maio 2025.
ZHAO, Q.; REN, P.; LI, F. Understanding LLM vulnerabilities in social engineering and phishing scenarios. IEEE Security & Privacy, v. 23, n. 1, p. 14-27, 2025.
ZHANG, Y.; LIU, M.; GUO, X. The evolution of email phishing techniques in the era of AI-generated content. Journal of Cybersecurity, v. 12, n. 4, p. 1-17, 2023.
ZHOU, Y.; LIU, H.; WANG, T. LLM-based email threat detection: challenges and advances. IEEE Transactions on Information Forensics and Security, v. 19, p. 1123-1137, 2024.
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2026 Daniele Aparecida Pereira de Mendonça, Fernanda Cardozo Gomes, João Emmanuel D Alkmin Neves
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
Política de derechos de autor
Al enviar un manuscrito para su publicación en la revista Advances in Global Innovation & Technology (@_GIT), los autores aceptan, por adelantado y sin restricciones, los siguientes términos:
- Los autores conservan los derechos de autor y conceden a la revista Advances in Global Innovation & Technology (@_GIT) el derecho de primera publicación del manuscrito, sin ninguna carga financiera, y renuncian a cualquier otra remuneración por su publicación en la revista Journal of Advances in Global Innovation & Technology (@_GIT).
- Al enviarlo al Journal of Advances in Global Innovation & Technology (@_GIT), el manuscrito se licencia automáticamente bajo la Licencia Creative Commons Attribution, que permite compartir el trabajo con el reconocimiento de la autoría y la publicación inicial en la revista Journal Advances in Global Innovation & Technology (@_GIT).
- Los autores están autorizados a celebrar contratos adicionales por separado, para la distribución no exclusiva de la versión del trabajo publicado en la Revista Advances in Global Innovation & Technology (@_GIT) (publicar en repositorios o como capítulo de libro), con reconocimiento de la publicación inicial en la Revista Advances in Global Innovation & Technology (@_GIT), siempre que dicho acuerdo no implique una aprobación del contenido del manuscrito o del nuevo vehículo por parte del Journal of Advances in Global Innovation & Technology (@_GIT).
- A los autores se les permite y se les anima a publicar y distribuir su trabajo en línea, en repositorios institucionales, por ejemplo, después de que se complete el proceso editorial.
- Los autores garantizan que han obtenido el permiso adecuado de sus empleadores para la transferencia de derechos en virtud de este acuerdo, si dichos empleadores poseen algún derecho de autor sobre el manuscrito. Además, los autores asumen toda responsabilidad por posibles infracciones de derechos de autor de estos empleadores, eximiendo a Advances in Global Innovation & Technology (@_GIT) de toda responsabilidad al respecto.
- Los autores asumen toda la responsabilidad por el contenido del trabajo, incluidas las debidas y necesarias autorizaciones para la divulgación de los datos recopilados y los resultados obtenidos, eximiendo al Journal of Advances in Global Innovation & Technology (@_GIT) de toda responsabilidad al respecto.
