Avaliação Experimental de Modelos de Linguagem Generativa na Detecção de e-mails de Phishing
DOI:
https://doi.org/10.5281/zenodo.20369356Palavras-chave:
antiphishing, inteligência artificial, modelos de linguagem, segurança da informaçãoResumo
Este estudo avalia o desempenho de Claude AI, ChatGPT, Copilot e Gemini na detecção de e-mails de phishing. Em experimento controlado, foram analisadas 80 mensagens reais, sendo 40 legítimas e 40 maliciosas, obtidas do Catálogo de Fraudes da RNP e do SpamAssassin Public Corpus. Com o uso de um prompt padronizado, cada modelo classificou as mensagens e atribuiu probabilidade de risco. Foram calculadas acurácia, precisão, sensibilidade (recall) e F1-score. ChatGPT, Copilot e Gemini alcançaram 100% nas métricas binárias, enquanto Claude AI registrou um falso positivo. Os resultados indicam que LLMs podem apoiar a triagem antiphishing, desde que usados como camada complementar e validados em bases maiores.
Downloads
Referências
ALOM, M.; HAQUE, M.; SIDDIQUE, R. A survey on phishing detection techniques using machine learning. Journal of Network and Computer Applications, v. 170, p. 102-150, 2020.
ALVES, Jéssica; SALANDIN, Amanda Torette; NEVES, João Emmanuel D Alkmin. Clonagem de voz por IA: avaliando a eficácia em ataques de phishing por voz. Revista Tecnológica da Fatec de Americana, v. 13, n. 1, p. 22-44, 2025. DOI: 10.47283/3ycgwz89.
CHEN, L.; HUANG, X.; DENG, Y. Evaluating prompt-based large language models for cybersecurity tasks. In: ACM INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND SECURITY, 2024. Anais [...]. [S. l.]: ACM, 2024. p. 55-68.
GERMANO, Arthur. Experimentação do uso de inteligência artificial generativa para contenção de phishing. 2024. Trabalho de Conclusão de Curso (Segurança da Informação) – Faculdade de Tecnologia de Americana, Americana, 2024. Disponível em: http://ric.cps.sp.gov.br/bitstream/123456789/29245/1/20242S_Arthur%20Germano_OD2467.pdf. Acesso em: 25 maio 2025.
KIM, J.; PARK, S. Human factors in phishing susceptibility: behavioral and cognitive analysis. Computers in Human Behavior, v. 145, p. 107-120, 2023.
LI, J.; WANG, Z. Comparing traditional filters and LLM-based approaches for email security. International Journal of Information Security, v. 23, p. 221-238, 2024.
REDE NACIONAL DE ENSINO E PESQUISA (RNP). Catálogo de fraudes da RNP. Disponível em: https://catalogodefraudes.rnp.br/. Acesso em: 21 nov. 2025.
SHAH, R.; PATEL, M.; SINGH, V. Phishing email classification using transformer-based deep learning models. Computers & Security, v. 130, p. 102-118, 2023.
SPAMASSASSIN. SpamAssassin public corpus. Apache Software Foundation. Disponível em: https://spamassassin.apache.org/publiccorpus/. Acesso em: 21 nov. 2025.
TONEZER, Leonardo Nabarro; SILVA, Ana Clara Matthiesen; ALMEIDA, Alisson Henrique de; NEVES, João Emmanuel D Alkmin. Simulações multiagentes e phishing: explorando a segurança em ambientes de nuvem. Revista Tecnológica da Fatec de Americana, v. 11, n. 2, p. 1-17, 2024. DOI: 10.47283/sg6gph88.
VERIZON. 2023 data breach investigations report. [S. l.]: Verizon, 2023. Disponível em: https://www.verizon.com/business/resources/reports/dbir/. Acesso em: 25 maio 2025.
ZHAO, Q.; REN, P.; LI, F. Understanding LLM vulnerabilities in social engineering and phishing scenarios. IEEE Security & Privacy, v. 23, n. 1, p. 14-27, 2025.
ZHANG, Y.; LIU, M.; GUO, X. The evolution of email phishing techniques in the era of AI-generated content. Journal of Cybersecurity, v. 12, n. 4, p. 1-17, 2023.
ZHOU, Y.; LIU, H.; WANG, T. LLM-based email threat detection: challenges and advances. IEEE Transactions on Information Forensics and Security, v. 19, p. 1123-1137, 2024.
Downloads
Publicado
Como Citar
Edição
Seção
Licença
Copyright (c) 2026 Daniele Aparecida Pereira de Mendonça, Fernanda Cardozo Gomes, João Emmanuel D Alkmin Neves
Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Política de Direito Autoral
Ao submeter um manuscrito para publicação na Revista Advances in Global Innovation & Technology (@_GIT), os autores concordam, antecipada e irrestritamente, com os seguintes termos:
- Os autores mantêm os direitos autorais e concedem à Revista Advances in Global Innovation & Technology (@_GIT) o direito de primeira publicação do manuscrito, sem nenhum ônus financeiro, e renunciam a qualquer outra remuneração pela sua publicação na Revista Advances in Global Innovation & Technology (@_GIT).
- Ao ser submetido à Revista Advances in Global Innovation & Technology (@_GIT), o manuscrito fica automaticamente licenciado sob a Licença Creative Commons Attribution, que permite o compartilhamento do trabalho com reconhecimento da autoria e da publicação inicial na Revista Advances in Global Innovation & Technology (@_GIT).
- Os autores têm autorização para assumir contratos adicionais separadamente, paradistribuição não exclusiva da versão do trabalho publicada na Revista Advances in Global Innovation & Technology (@_GIT) (publicar em repositórios ou como capítulo de livro), com reconhecimento da publicação inicial na Revista Advances in Global Innovation & Technology (@_GIT), desde que tal contrato não implique num endosso do conteúdo do manuscrito ou do novo veículo pela Revista Advances in Global Innovation & Technology (@_GIT).
- Os autores têm permissão e são estimulados a publicar e distribuir seu trabalho online, em repositórios institucionais, por exemplo depois de concluído o processo editorial.
- Os autores garantem ter obtido a devida autorização dos seus empregadores para a transferência dos direitos nos termos deste acordo, caso esses empregadores possuam algum direito autoral sobre o manuscrito. Além disso, os autores assumem toda e qualquer responsabilidade sobre possíveis infrações ao direito autoral desses empregadores, isentando a Revista Advances in Global Innovation & Technology (@_GIT) de toda e qualquer responsabilidade neste sentido.
- Os autores assumem toda responsabilidade sobre o conteúdo do trabalho, incluindo as devidas e necessárias autorizações para divulgação de dados. coletados e resultados obtidos, isentando a Revista Advances in Global Innovation & Technology (@_GIT) de toda e qualquer responsabilidade neste sentido.
