Automatic Complaints Classification in E-Commerce: A Case Study Using CRISP-DM

Matheus Konrad Xavier; Gislaine Camila Lapasini Leal; Guilherme Corredato Guerino; Thiago Adriano Coleti; Renato Balancieri

doi:10.5753/jis.2025.4661

Authors

Matheus Konrad Xavier State University of Paraná https://orcid.org/0009-0009-3163-8895
Gislaine Camila Lapasini Leal State University of Maringá https://orcid.org/0000-0001-8599-0776
Guilherme Corredato Guerino State University of Paraná https://orcid.org/0000-0002-4979-5831
Thiago Adriano Coleti State University of Northern Paraná https://orcid.org/0000-0002-1078-4334
Renato Balancieri State University of Maringá https://orcid.org/0000-0002-8532-2011

DOI:

https://doi.org/10.5753/jis.2025.4661

Keywords:

Automatic Classification, E-commerce, CRISP-DM, Machine Learning

Abstract

The growth of e-commerce has been remarkable in recent years, driven by increasing consumer demand for attention and quick responses. Given the large volume of transactions and complaints accompanying this increase, automating the classification of these complaints can help quickly route them to the appropriate departments. This paper presents a computational approach using the Cross Industry Standard Process for Data Mining (CRISP-DM) methodology to automate the complaints screening process. We categorized 600 real complaints from three e-commerce platforms in Brazil. The learning model was trained progressively, using an initial set of 25 complaints in each category. The classification model obtained an accuracy of 85% and an average of over 80% across all relevant metrics, including precision, recall, and F1-Score. The results confirmed the effectiveness of the developed model for automated complaint classification in e-commerce, providing a computational strategy that improves the customer service process and allows for quicker problem resolution.

Downloads

Download data is not yet available.

References

Associação Brasileira de Comércio Eletrônico (ABComm) (2023). Principais indicadores do e-commerce no Brasil. Relatório online. Disponível em: [link]. Acesso em: 01 jul. 2024.

Ayanoğlu, E., Çolak, Z., Tanyel, T., Sarıoğlu, H. Y., & Diri, B. (2023). Detection and classification of customer comments containing complaints. Avrupa Bilim ve Teknoloji Dergisi, 2023(52), 37–45.

Bokrantza, J., Subramaniyan, M., & Skoogh, A. (2024). Realising the promises of artificial intelligence in manufacturing by enhancing CRISP-DM. Production Planning Control, 35(16), 2234–2254. https://doi.org/10.1080/09537287.2023.2234882.

Chapman, P., Clinton, J., Kerber, R., Khabaza, T., Reinartz, T., Shearer, C., & Wirth, R. (2000). CRISP-DM 1.0 Step-by-Step Data Mining Guide. Technical report, The CRISP-DM Consortium.

de Leaniz, P. M. G., & del Bosque Rodríguez, I. R. (2016). Corporate image and reputation as drivers of customer loyalty. Corporate Reputation Review, 19, 166–178. https://doi.org/10.1057/crr.2016.2.

Falcão, H. S., Lovato, A. V., Santos, A., Oliveira, L., Maniçoba, R. H. C., Guimarães, M. A., & Santana, M. S. (2013). Classificação de vagas de estacionamento com utilização de rede perceptron multicamadas. Revista de Sistemas de Informação da FSMA, 2013(12), 41–48.

Filho, F. S., Paillard, G., Carmo, R., Lima, E., & Bonfim, M. (2023). Classificação do diálogo freireano em mensagens de fóruns de discussão: Uma análise de desempenho do TF-IDF e o BERT para sentenças. In Anais do XXXIV Simpósio Brasileiro de Informática na Educação (pp. 1477–1488). Porto Alegre, RS, Brasil: SBC. https://doi.org/10.5753/sbie.2023.235298.

Fleck, L., Tavares, M. H. F., Eyng, E., Helmann, A. C., & Andrade, M. A. M. (2016). Redes neurais artificiais: Princípios básicos. Revista Eletrônica Científica Inovação e Tecnologia, 1(13), 47–57.

Gonçalves, C. A. (2016). Análise de sentimentos em reclamações: Uma aplicação no maior site de reclamações do Brasil. Dissertação de mestrado, Escola de Matemática Aplicada, Fundação Getulio Vargas, Rio de Janeiro, Brasil.

Gorgens, E. B., Leite, H. G., Santos, H. N., & Gleriani, J. M. (2009). Estimação do volume de árvores utilizando redes neurais artificiais. Revista Árvore, 33, 1141–1147. https://doi.org/10.1590/S0100-67622009000600016.

Grandini, M., Bagli, E., & Visani, G. (2020). Metrics for multi-class classification: An overview. arXiv. https://doi.org/10.48550/arXiv.2008.05756.

Haykin, S. (2001). Redes neurais: Princípios e prática. Bookman Editora.

Itsari, M. Y. I., & Budi, I. (2022). Classification of complaint categories in e-commerce: A case study of PT Bukalapak. In 2022 5th International Conference on Information and Communications Technology (ICOIACT) (pp. 317–324). https://doi.org/10.1109/ICOIACT55506.2022.9971933.

Jackson, P., & Moulinier, I. (2007). Natural Language Processing for Online Applications: Text Retrieval, Extraction and Categorization (Vol. 5). John Benjamins Publishing. https://doi.org/10.1075/nlp.5.

Just, J. (2024). Natural language processing for innovation search – Reviewing an emerging non-human innovation intermediary. Technovation, 129, 102883. https://doi.org/10.1016/j.technovation.2023.102883.

Madanchian, M. (2024). The impact of artificial intelligence marketing on e-commerce sales. Systems, 12, 429. https://doi.org/10.3390/systems12100429.

Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.

Mitchell, T. M. (2006). The Discipline of Machine Learning. Technical Report CMU-ML-06-108, Carnegie Mellon University.

Monard, M. C., & Baranauskas, J. A. (2003). Conceitos sobre aprendizado de máquina. In O. N. Oliveira Jr. (Ed.), Sistemas Inteligentes: Fundamentos e Aplicações (pp. 81–108). Edusp.

Olujimi, P. A., & Ade-Ibijola, A. (2023). NLP techniques for automating responses to customer queries: A systematic review. Technovation, 3, 102883. https://doi.org/10.1007/s44163-023-00065-5.

Osisanwo, F. Y., Akinsola, J. E. T., Awodele, O., Hinmikaiye, J. O., Olakanmi, O., & Akinjobi, J. (2017). Supervised machine learning algorithms: Classification and comparison. International Journal of Computer Trends and Technology (IJCTT), 48(3), 128–138.

Peixoto, L. H. R. (2021). Aprendizado de Máquina Aplicado no Atendimento de Reclamações de Clientes. Tese (doutorado), Universidade de São Paulo, São Paulo, Brasil.

Pinto, S. C. S. (2015). Processamento de linguagem natural e extração de conhecimento. Dissertação de mestrado, Universidade de Coimbra, Coimbra, Portugal.

Rabbi, B., Klug, D. B., Gonçalves, V. S., Júnior, E. R. G., & Brasil, J. A. (2018). Análise de reclamações sobre produtos e serviços no programa de proteção e defesa do consumidor utilizando mineração de dados. Engevista, 20(5), 649–660.

Rauber, T. W. (2005). Redes Neurais Artificiais. Universidade Federal do Espírito Santo, 29, 39.

Rodriguez, M. Z., Comin, C. H., Casanova, D., Bruno, O. M., Amancio, D. R., Rodrigues, F. A., & da F. Costa, L. (2019). Clustering algorithms: A comparative approach. PLOS ONE, 14(1), e0210236. https://doi.org/10.1371/journal.pone.0210236.

Rodríguez, M. M. M. S., & Bezerra, B. L. D. (2020). Processamento de linguagem natural para reconhecimento de entidades nomeadas em textos jurídicos de atos administrativos (portarias). Revista de Engenharia e Pesquisa Aplicada, 5(1), 67–77. https://doi.org/10.25286/repa.v5i1.1204.

Runeson, P., & Höst, M. (2009). Guidelines for conducting and reporting case study research in software engineering. Empirical Software Engineering, 14(2), 131–164. https://doi.org/10.1007/s10664-008-9102-8.

Sanches, M. K. (2003). Aprendizado de máquina semissupervisionado: Proposta de um algoritmo para rotular exemplos a partir de poucos exemplos rotulados. Mestrado em Ciência da Computação e Matemática Computacional, Universidade de São Paulo, São Carlos.

Santos, K. B. C. et al. (2019). Categorização de textos por aprendizagem de máquina. Mestrado em Modelagem Computacional de Conhecimento, Universidade Federal de Alagoas, Maceió.

Santouridis, I., & Veraki, A. (2017). Customer relationship management and customer satisfaction: The mediating role of relationship quality. Total Quality Management & Business Excellence, 28, 1122–1133. https://doi.org/10.1080/14783363.2017.1303889.

Shearer, C. (2000). The CRISP-DM model: The new blueprint for data mining. Journal of Data Warehousing, 5(4), 13–22.

Silva, A. P. C. (2022). E-commerce: Impactos no consumo do segmento de beleza e saúde durante a pandemia COVID-19. Graduação em Logística, Universidade Federal do Tocantins, Araguaína.

van Engelen, J. E., & Hoos, H. H. (2020). A survey on semi-supervised learning. Machine Learning, 109(2), 373–440. https://doi.org/10.1007/s10994-019-05855-6.

Vinayak, V., & Jyotsna, C. (2023). Consumer complaints classification using deep learning & word embedding models. In 2023 14th International Conference on Computing Communication and Networking Technologies (ICCCNT) (pp. 1–5). https://doi.org/10.1109/ICCCNT56998.2023.10307286.

Wirth, R., & Hipp, J. (2000). CRISP-DM: Towards a standard process model for data mining. In Proceedings of the 4th International Conference on the Practical Applications of Knowledge Discovery and Data Mining (Vol. 1, pp. 29–39). Manchester, UK.

Yanai, F. K. et al. (2020). Detecção de anomalias no funcionamento de software com machine learning. Mestrado em Tecnologias da Inteligência e Design Digital, Pontifícia Universidade Católica de São Paulo, São Paulo.

Zhou, Z.-H. (2021). Machine Learning. Springer Nature.

Zuin, G. L., Magalhães, L. F. G., & Loures, T. C. (2016). MAL-FITT: MyAnimeList forum interpreter through text. In XIII Encontro Nacional de Inteligência Artificial e Computacional (SBC ENIAC-2016) (pp. 205–216). Recife-PE: SBC.