A Method Based on Item Response Theory for Automatic Assessment and Feedback in the Context of Digital Education
DOI:
https://doi.org/10.5753/rbie.2021.29.0.746Keywords:
Formative Feedback, Item Response Theory, Automatic Evaluation, Virtual Learning Environment, IRT, VLEAbstract
The assessment of students’ knowledge is a common task in the field of education, either to assess learning or to mediate the selection of candidates in entrance exams. Exams that employ an assessment based on multiple choice questions, in which the student marks items during the exam time and then receives feedback on his grade, do not offer the student significant contributions to understanding his performance. The general objective of this study is to provide, for both students and teachers, formative feedback from the estimation of the ability of students and difficulty of the items, through a statistical technique called Item Response Theory (IRT). This technique produces a model of data on student performance based on the analysis of the responses collected in the exams. An experiment was carried out using data from an exam applied in a public high school in Amazonas. The results obtained indicate that there is a valuable amount of information that allows analyzing the relationship between the various items and the estimated abilities. It is possible to classify students on a hability scale so that the student himself can locate his position in a discipline and simulate which topics can be studied to obtain greater hability. From the teacher’s point of view, it is possible to analyze which topics were more difficult for the class, as well as to analyze whether an elaborated item is in accordance with the classes taught. Otherwise, the teacher can redo the item or change the difficulty level. The results provided significant information that allows the elaboration of formative feedback capable of providing the examinees and evaluators with the necessary guidelines to investigate difficulties and contribute to a better performance in the teaching-learning process.
Downloads
References
Andrade, D. F. d., Tavares, H. R., e Valle, R. d. C. (2000). Teoria da resposta ao item: conceitos e aplicações. ABE, São Paulo. [GS Search]
Araujo, E. A. d. C., de Andrade, D. F., e Bortolotti, S. L. V. (2009). Teoria da resposta ao item. Revista da Escola de Enfermagem da USP, 43(1), 1000–1008. doi: 10.1590/S0080-62342009000500003. [GS Search]
Baker, F. B., e Kim, S. -H. (2017). The basics of item response theory using R. Springer. doi: 10.1007/978-3-319-54205-8. [GS Search]
Birnbaum, A. L. (1968). Some latent trait models and their use in inferring an examinee's ability. Statistical theories of mental test scores. [GS Search]
Caldas, V. M., e Favero, E. L. (2009). Uma ferramenta de avaliação automática para mapas conceituais como auxílio ao ensino em ambientes de educação a distância. Simpósio Brasileiro de Informática na Educação-SBIE. [GS Search]
Chen, C.-M., e Duh, L.-J. (2008). Personalized web-based tutoring system based on fuzzy item response theory. Expert systems with applications, 34(4), 2298–2315. doi: 10.1016/j.eswa.2007.03.010. [GS Search]
Chen, C.-M., Lee, H.-M., e Chen, Y.-H. (2005). Personalized e-learning system using item response theory. Computers & Education, 44(3), 237–255. doi: 10.1016/j.compedu.2004.01.006. [GS Search]
El Falaki, B., El Faddouli, N. -E., Idrissi, M. K., e Bennani, S. (2013). Individualizing hci in e-learning through assessment approach. The International journal of engineering education, 29(3), 650-659. [GS Search]
Esichaikul, V., Lamnoi, S., e Bechter, C. (2011). Student modelling in adaptive e-learning systems. Knowledge Management & E-Learning: An International Journal, 3(3), 342-355. doi: 10.34105/j.kmel.2011.03.025. [GS Search]
Fletcher, P. R. (2010). Da teoria clássica dos testes para os modelos de resposta ao item. Rio de Janeiro: Escola Nacional de Ciências Estatísticas. [GS Search]
Giraffa, L. M. M. (2013). Jornada nas escol@s: A nova geração de professores e alunos. Tecnologias, Sociedade E Conhecimento, 1(1), 100–118. [GS Search]
Henderson, M., Ajjawi, R., Boud, D., e Molloy, E. (2019). The impact of feedback in higher education: Improving assessment outcomes for learners. Springer Nature. [GS Search]
Iahad, N., Dafoulas, G. A., Kalaitzakis, E., e Macaulay, L. A. (2004). Evaluation of online assessment: The role of feedback in learner-centered e-learning. 37th Annual Hawaii International Conference on System Sciences. doi: 10.1109/HICSS.2004.1265051. [GS Search]
Isotani, S., e de Oliveira Brandão, L. (2004). Ferramenta de avaliação automática no igeom. Simpósio Brasileiro de Informática na Educação-SBIE, 319-328. [GS Search]
Juniwal, G. (2014). Cpsgrader: Auto-grading and feedback generation for cyber-physical systems education. EECS department, University of California, Berkeley. [GS Search]
Leitão, G. d. S. (2017). Uma plataforma de suporte ao docente no contexto da educação digital. UFAM, Universidade Federal do Amazonas. [GS Search]
Lord, F. (1952). A theory of test scores. Psychometric Monographs. [GS Search]
Meyer, A. I. d. S., e Mont´Alverne, C. R. d. S. A. (2021). Proposta pedagógica do moodle. Revista Ibero-Americana de Humanidades, Ciências e Educação, 7, 226–241. doi: 10.51891/rease.v7i5.1187. [GS Search]
Moreira, M. P., e Favero, E. L. (2009). Um ambiente para ensino de programação com feedback automático de exercícios. Workshop sobre Educação em Computação. [GS Search]
Myung, I. J. (2003). Tutorial on maximum likelihood estimation. Journal of mathematical Psychology, 47(1), 90–100. doi: 10.1016/S0022-2496(02)00028-7. [GS Search]
Paek, I., e Cole, K. (2019). Using R for item response theory model applications. Routledge. [GS Search]
Petrassi, A. C. A., Bornia, A. C., e Andrade, D. F. (2021). Avaliação do nível de satisfação discente de uma instituição de ensino superior: uma análise dos métodos da teoria clássica da medida e da teoria da resposta ao item. Ensaio: Avaliação e Políticas Públicas em Educação. doi: 10.1590/S0104-40362021002902192. [GS Search]
Pieretti, A. A. R. (2015). Efeito da variação do feedback e da possibilidade de repetição de itens incorretos no desempenho em uma instrução programada. Programa de estudos pós-graduados em psicologia experimental: Análise do Comportamento. Pontifícia Universidade Católica de São Paulo. [GS Search]
Pimentel, E. P., Real, E. M., Braga, J. C., e Botelho, W. T. (2020). Análise dos resultados de insucesso escolar com o suporte de mineração de processos educacionais. Simpósio Brasileiro de Informática na Educação, 132-141. doi: 10.5753/cbie.sbie.2020.132. [GS Search]
Rajamani, K., e Kathiravan, V. (2013). An adaptive assessment system to compose serial test sheets using item response theory. International Conference on Pattern Recognition, Informatics and Mobile Engineering, 120-124. doi: 10.1109/ICPRIME.2013.6496458. [GS Search]
Rocha, F. E. L. d. (2007). Avaliação da aprendizagem: uma abordagem qualitativa baseada em mapas conceituais, ontologias e algoritmos genéticos. Centro tecnológico, Universidade Federal do Pará, Brasil. [GS Search]
Santo, J. d. E., Castelano, K., e Almeida, J. d. (2012). Uso de tecnologias na prática docente: um estudo de caso no contexto de uma escola pública do interior do Rio de Janeiro. II Congresso Internacional TIC e Educação. Universidade Tecnológica Federal do Paraná. Espírito Santo: Revista Educação & Tecnologia, 1023–1031. [GS Search]
Santos, L. (2016). A articulação entre a avaliação somativa e a formativa, na prática pedagógica: uma impossibilidade ou um desafio? Ensaio: avaliação e políticas públicas em Educação, 24(92), 637–669. [GS Search]
Spearman, C. (1961). “general intelligence” objectively determined and measured. The American Journal of Psychology, 15(2), 201–292. doi: 10.1037/11491-006. [GS Search]
Umrani-Khan, F., e Iyer, S. (2009). ELAM: a Model for acceptance and use of e-Learning by teachers and students. Proceedings of the International Conference on e-Learning, 475-485. [GS Search]
Valente, J. A. (2010). O computador auxiliando o processo de mudança na escola. NIED-UNICAMP e CED-PUCSP. [GS Search]
Van der Kleij, F., Feskens, R., e Eggen, T. (2015). Effects of feedback in a computer-based learning environment on students’ learning outcomes: A meta-analysis. Review of educational research, 475–511. doi: 10.3102/0034654314564881. [GS Search]
Veloso, B. (2021). Paulo Freire e educação a distância: visão propositiva para explorar a autonomia no ensino-aprendizagem. Congresso Brasileiro de Ensino Superior a Distância. [GS Search]
Wright, B. D., e Mead, R. J. (1980). Bical: Calibrating items and scales with the rasch model. Research memorandum, 23. [GS Search]
Yarandi, M., Jahankhani, H., e Tawil, A.-R. (2013). Towards adaptive e-learning using decision support systems. International Journal of Emerging Technologies in Learning. [GS Search]
Additional Files
Published
How to Cite
Issue
Section
License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
