An investigation of usability issues in the Administrative Process Management Software of the Federal Government of Brazil
DOI:
https://doi.org/10.5753/isys.2024.4141Keywords:
E-government, Electronic information system, Usability, System usability scale, Heuristic evaluationAbstract
The Electronic Information System (SEI) proposes greater efficiency for the creation and processing of documents and administrative processes in a digital format. However, the literature points to several usability problems in the system. This work investigated the usability of the SEI, raising demographic questions and using as instruments the System Usability Scale (SUS) questionnaire, with the participation of 104 users, and a heuristic evaluation, which identified 99 potential usability problems. The results suggest the need for optimization and improvements to the SEI to improve the efficiency of use and the satisfaction of people who interact with the system.
Downloads
References
Bangor, A., Kortum, P., and Miller, J. (2009). Determining what individual sus scores mean: Adding an adjective rating scale. Journal of usability studies, (3):114–123.
Bangor, A., Kortum, P. T., and Miller, J. T. (2008). An empirical evaluation of the system usability scale. Intl. Journal of Human–Computer Interaction, 24 6):574–594.
Barbosa, S. and Silva, B. (2010). Interação humano-computador. Elsevier Brasil.
Barbosa, S. D. J., Silva, B. d., Silveira, M. S., Gasparini, I., Darin, T., and Barbosa, G. D. J. (2021). Interação humano-computador e experiência do usuario. Auto publicação.
Bevan, N. (1995). Usability is quality of use. In Advances in Human Factors/Ergonomics, volume 20, pages 349–354. Elsevier.
Bevan, N., Barnum, C., Cockton, G., Nielsen, J., Spool, J., and Wixon, D. (2003). The"magic number 5"is it enough for web testing? In CHI’03 extended abstracts on Human factors in computing systems, pages 698–699.
Botella, F., Alarcon, E., and Peñalver, A. (2014). How to classify to experts in usability evaluation. In Proceedings of the XV International Conference on Human Computer Interaction, pages 1–4. Brandão, S. M. (2012). Indutores e barreiras à inovação em gestão em organizações públicas do governo federal brasileiro: análise da percepção de dirigentes.
Brasil (2015). Decreto n.º 8.539 de 8 de outubro de 2015. Disponível em: [link]. Acesso em: 12 jan. 2023.
Brooke, J. (2013). Sus: a retrospective. Journal of usability studies, 8(2):29–40.
Brooke, J. et al. (1996). Sus-a quick and dirty usability scale. Usability evaluation in industry, 189(194):4–7.
Chin, J. P., Diehl, V. A., and Norman, K. L. (1988). Development of an instrument measuring user satisfaction of the human-computer interface. In Proceedings of the SIGCHI conference on Human factors in computing systems, pages 213–218.
Cochran, W. G. (1977). Sampling techniques. john wiley & sons.
Courage, C. and Baxter, K. (2005). Understanding your users: A practical guide to user requirements methods, tools, and techniques. Gulf Professional Publishing.
de Farias, F. G., Carvalho, A. L. M., de Melo Rodrigues, R. L., de Oliveira, N. I., and Maia, D. L. (2021). Impacto da descontinuidade da tecnologia flash na disponibilidade dos objetos de aprendizagem em repositórios educacionais. In Anais do VI Congresso sobre Tecnologias na Educação, pages 90–99. SBC.
de Lima Salgado, A. and de Mattos Fortes, R. P. (2016a). Heuristic evaluation for novice evaluators. In Design, User Experience, and Usability: Design Thinking and Methods: 5th International Conference, DUXU 2016, Held as Part of HCI International 2016, Toronto, Canada, July 17–22, 2016, Proceedings, Part I 5, pages 387–398. Springer. de Lima Salgado, A. and de Mattos Fortes, R. P. (2016b). Heuristic evaluation for novice evaluators. In Marcus, A., editor, Design, User Experience, and Usability: Design Thinking and Methods, pages 387–398, Cham. Springer International Publishing.
de Souza, C. S. (1993). The semiotic engineering of user interface languages. International journal of man-Machine Studies, 39(5):753–773.
ENAP (2022). Capacitação sei! usar. Disponível em: [link]. Acesso em: 12 jan. 2023.
Farias, Emília Galdino; Santos, L. A. d. S. N. R. L. S. (2022). Análise do sistema eletrônico de informações (sei) na perspectiva dos usuários: Um estudo de caso em uma empresa estatal pernambucana. Revista Interdisciplinar Científica Aplicada, 16(3):72–95.
Gerhardt, T. E. and Silveira, D. T. (2009). Métodos de pesquisa. Plageder.
Gigerenzer, G. and Gaissmaier, W. (2011). Heuristic decision making. Annual review of psychology, 62(1):451–482.
Gil, A. C. (2008). Métodos e técnicas de pesquisa social. 6. ed. Ediitora Atlas SA.
Harrison, R., Flood, D., and Duce, D. Usability of mobile applications: literature review and rationale for a new usability model. j interact sci 2013; 1.
Hexsel, R. A. (2003). Software livre. Paraná: Universidade Federal do Paraná, (2).
Hix, D. and Hartson, H. R. (1993). Developing user interfaces: ensuring usability through product & process. John Wiley & Sons, Inc.
Houde, S., Hill, C., Helander, M., Landauer, T., and Prabhu, P. (1997). Handbook of human–computer interaction.
Inostroza, R., Rusu, C., Roncagliolo, S., Rusu, V., and Collazos, C. A. (2016). Developing smash: A set of smartphone’s usability heuristics. Computer Standards & Interfaces, 43:40–52.
ISO/IEC 25010 (2011). ISO/IEC 25010:2011, systems and software engineering — systems and software quality requirements and evaluation (square) — system and software quality models.
Israel, G. D. (1992). Determining sample size.
Khairat, S., Coleman, C., Ottmar, P., Bice, T., Koppel, R., and Carson, S. S. (2019). Physicians’ gender and their use of electronic health records: findings from a mixed-methods usability study. Journal of the American Medical Informatics Association, 26(12):1505–1514.
Kortum, P. T. and Bangor, A. (2013). Usability ratings for everyday products measured with the system usability scale. International Journal of Human-Computer Interaction, 29(2):67–76.
Lakatos, E. M. and Marconi, M. d. A. M. d. (2001). Do trabalho científico. São Paulo: Atlas.
Lewis, J. R. and Sauro, J. (2018). Item benchmarks for the system usability scale. Journal of Usability Studies, 13(3).
Likert, R. (1932). A technique for the measurement of attitudes. Archives of psychology.
Lourenço, D. F., Carmona, E. V., and de Moraes Lopes, M. H. B. (2022). Tradução e adaptação transcultural da system usability scale para o português do brasil. Aquichan, 22(2):4.
Lourenço, E. d. O. (2019). Avaliação do sistema eletrônico de informações (sei) em uma instituição federal de ensino superior. Orientadora: Daniela rosim. 65 f. dissertação (mestrado em administração), Faculdade de Administração, Ciências Contábeis e Ciências Econômicas — FACE (RG), Universidade Federal de Goiás, Goiânia.
Maslow, A. (1954). Motivation and personality (book).
McKight, P. E. and Najab, J. (2010). Kruskal-wallis test. The corsini encyclopedia of psychology.
McKnight, P. E. and Najab, J. (2010). Mann-whitney u test. The Corsini encyclopedia of psychology, pages 1–1.
Murphy, K. R. and Davidshofer, C. O. (1988). Psychological testing. Principles, and Applications, Englewood Cliffs, 18.
Nascimento, P. R. D. S. (2017). Impactos da implantação do sistema eletrônico de informação (sei): estudo de caso da universidade de brasília.
Nielsen, J. (1994a). Enhancing the explanatory power of usability heuristics. In Proceedings of the SIGCHI conference on Human Factors in Computing Systems, pages 152–158.
Nielsen, J. (1994b). Usability engineering. Morgan Kaufmann.
Oliveira, N. d. V. (2009). O cotidiano da burocracia: o amadorismo no dia-a-dia do serviço público federal.
Padovani, S. (2002). Avaliação ergonômica de sistemas de navegação em hipertextos fechados. Rio de Janeiro: Iuser.
Padrini-Andrade, L., Balda, R. d. C. X., Areco, K. C. N., Bandiera-Paiva, P., Nunes, M. d. V., Marba, S. T. M., Carvalho, W. B. d., Rugolo, L. M. S. d. S., Almeida, J. H. C. d., Procianoy, R. S., et al. (2018). Avaliação da usabilidade de um sistema de informação em saúde neonatal segundo a percepção do usuário. Revista Paulista de Pediatria, 37:90–96.
Rams, D. (2014). Less but better. Berlin: Gestalten.
Revelle, W. (2019). Psych: Procedures for psychological, psychometric, and personality research.[r package]. Retrieved from [left angle bracket] https://cran. r-project.org/package= psych [right angle bracket].
Rogers, Y., Sharp, H., and Preece, J. (2013). Design de interação: além dea interação humano-computador.
Sauro, J. (2011). Sustisfied? little-known system usability scale facts. User Experience Magazine, 10(3).
Sauro, J. and Lewis, J. R. (2011). When designing usability questionnaires, does it hurt to be positive? In Proceedings of the SIGCHI conference on human factors in computing systems, pages 2215–2224.
Sauro, J. and Lewis, J. R. (2016). Quantifying the user experience: Practical statistics for user research. Morgan Kaufmann.
Silveira, M. S. (2002). MetacomunicaçãO Designer-USUáRio na InteraçãO humano-Computador Design E ConstruçãO do sistema de ajuda. PhD thesis, Pontifical Catholic University of Rio de Janeiro, Brazil.
TRF4 (2022). Trf4 assina cessão de uso do sei com seis instituições. Disponível em: [link]. Acesso em: 12 jan. 2023.
Uchôa, C. E. and Amaral, V. L. d. (2013). Processo eletrônico nacional: uma solução universal de processo eletrônico. (p.13).
União Europeia, C. d. C. E. (2004). Comunicação da comissão europeia ao concelho, ao parlamento europeu, ao comité económico e social europeu e ao comité das regiões–para uma estratégia temática sobre o ambiente urbano.
Van Cauter, L., Verlet, D., Snoeck, M., and Crompvoets, J. (2017). The explanatory power of the delone & mclean model in the public sector: A mixed method test. Information Polity, 22(1):41–55.
Wang, Y.-S. and Liao, Y.-W. (2008). Assessing egovernment systems success: A validation of the delone and mclean model of information systems success. Government information quarterly, 25(4):717–733.
West, M. T. (2011). Ubiquitous computing. In Proceedings Of The 39Th Annual Acm Siguccs Conference On User Services, pages 175–182. ACM.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2024 iSys - Brazilian Journal of Information Systems
This work is licensed under a Creative Commons Attribution 4.0 International License.
