Um Método Baseado na Teoria da Resposta ao Item para Avaliação e Feedback Automático no Contexto de Educação Digital
DOI:
https://doi.org/10.5753/rbie.2021.29.0.746Keywords:
Feedback Formativo, Teoria da Resposta ao Item, Avaliação Automática, Ambiente Virtual de Aprendizagem, TRI, AVAAbstract
A avaliação dos conhecimentos de estudantes é tarefa corriqueira no âmbito da educação, seja para avaliar o aprendizado ou mediar a seleção de candidatos em vestibulares. Os exames que empregam uma avaliação baseada em questões de múltipla escolha, onde o aluno assinala itens durante o tempo de prova e, depois, recebe um feedback sobre a sua nota, não oferecem ao estudante contribuições significativas para o entendimento de seu desempenho. O objetivo geral deste estudo é fornecer, tanto para estudantes quanto para professores, um feedback formativo a partir da estimação das habilidades do examinando e dificuldade dos itens, por meio de uma técnica estatística denominada Teoria da Resposta ao Item (TRI). Esta técnica produz um modelo de dados sobre o desempenho dos estudantes baseado na análise das respostas coletadas nos exames. Um experimento foi realizado utilizando dados de um exame aplicado em uma escola pública de ensino médio do Amazonas. Os resultados obtidos indicam que há uma quantidade valiosa de informações que permitem analisar a relação entre os diversos itens e as habilidades estimadas. É possível classificar os alunos em uma escala de habilidade de modo que o próprio discente pode localizar sua posição em uma disciplina e simular quais tópicos podem ser estudados para obter uma maior habilidade. Do ponto de vista do professor é possível analisar quais tópicos foram mais difíceis para a turma, assim como analisar se um item elaborado está em conformidade com as aulas ministradas. Caso contrário, o professor pode refazer o item ou alterar o nível de dificuldade. Os resultados proporcionaram informações significativas que permitem a elaboração um feedback formativo capaz de fornecer aos examinandos e avaliadores as diretrizes necessárias para investigar dificuldades e contribuir para um melhor rendimento no processo de ensino-aprendizagem.
Downloads
Referências
Andrade, D. F. d., Tavares, H. R., e Valle, R. d. C. (2000). Teoria da resposta ao item: conceitos e aplicações. ABE, São Paulo. [GS Search]
Araujo, E. A. d. C., de Andrade, D. F., e Bortolotti, S. L. V. (2009). Teoria da resposta ao item. Revista da Escola de Enfermagem da USP, 43(1), 1000–1008. doi: 10.1590/S0080-62342009000500003. [GS Search]
Baker, F. B., e Kim, S. -H. (2017). The basics of item response theory using R. Springer. doi: 10.1007/978-3-319-54205-8. [GS Search]
Birnbaum, A. L. (1968). Some latent trait models and their use in inferring an examinee's ability. Statistical theories of mental test scores. [GS Search]
Caldas, V. M., e Favero, E. L. (2009). Uma ferramenta de avaliação automática para mapas conceituais como auxílio ao ensino em ambientes de educação a distância. Simpósio Brasileiro de Informática na Educação-SBIE. [GS Search]
Chen, C.-M., e Duh, L.-J. (2008). Personalized web-based tutoring system based on fuzzy item response theory. Expert systems with applications, 34(4), 2298–2315. doi: 10.1016/j.eswa.2007.03.010. [GS Search]
Chen, C.-M., Lee, H.-M., e Chen, Y.-H. (2005). Personalized e-learning system using item response theory. Computers & Education, 44(3), 237–255. doi: 10.1016/j.compedu.2004.01.006. [GS Search]
El Falaki, B., El Faddouli, N. -E., Idrissi, M. K., e Bennani, S. (2013). Individualizing hci in e-learning through assessment approach. The International journal of engineering education, 29(3), 650-659. [GS Search]
Esichaikul, V., Lamnoi, S., e Bechter, C. (2011). Student modelling in adaptive e-learning systems. Knowledge Management & E-Learning: An International Journal, 3(3), 342-355. doi: 10.34105/j.kmel.2011.03.025. [GS Search]
Fletcher, P. R. (2010). Da teoria clássica dos testes para os modelos de resposta ao item. Rio de Janeiro: Escola Nacional de Ciências Estatísticas. [GS Search]
Giraffa, L. M. M. (2013). Jornada nas escol@s: A nova geração de professores e alunos. Tecnologias, Sociedade E Conhecimento, 1(1), 100–118. [GS Search]
Henderson, M., Ajjawi, R., Boud, D., e Molloy, E. (2019). The impact of feedback in higher education: Improving assessment outcomes for learners. Springer Nature. [GS Search]
Iahad, N., Dafoulas, G. A., Kalaitzakis, E., e Macaulay, L. A. (2004). Evaluation of online assessment: The role of feedback in learner-centered e-learning. 37th Annual Hawaii International Conference on System Sciences. doi: 10.1109/HICSS.2004.1265051. [GS Search]
Isotani, S., e de Oliveira Brandão, L. (2004). Ferramenta de avaliação automática no igeom. Simpósio Brasileiro de Informática na Educação-SBIE, 319-328. [GS Search]
Juniwal, G. (2014). Cpsgrader: Auto-grading and feedback generation for cyber-physical systems education. EECS department, University of California, Berkeley. [GS Search]
Leitão, G. d. S. (2017). Uma plataforma de suporte ao docente no contexto da educação digital. UFAM, Universidade Federal do Amazonas. [GS Search]
Lord, F. (1952). A theory of test scores. Psychometric Monographs. [GS Search]
Meyer, A. I. d. S., e Mont´Alverne, C. R. d. S. A. (2021). Proposta pedagógica do moodle. Revista Ibero-Americana de Humanidades, Ciências e Educação, 7, 226–241. doi: 10.51891/rease.v7i5.1187. [GS Search]
Moreira, M. P., e Favero, E. L. (2009). Um ambiente para ensino de programação com feedback automático de exercícios. Workshop sobre Educação em Computação. [GS Search]
Myung, I. J. (2003). Tutorial on maximum likelihood estimation. Journal of mathematical Psychology, 47(1), 90–100. doi: 10.1016/S0022-2496(02)00028-7. [GS Search]
Paek, I., e Cole, K. (2019). Using R for item response theory model applications. Routledge. [GS Search]
Petrassi, A. C. A., Bornia, A. C., e Andrade, D. F. (2021). Avaliação do nível de satisfação discente de uma instituição de ensino superior: uma análise dos métodos da teoria clássica da medida e da teoria da resposta ao item. Ensaio: Avaliação e Políticas Públicas em Educação. doi: 10.1590/S0104-40362021002902192. [GS Search]
Pieretti, A. A. R. (2015). Efeito da variação do feedback e da possibilidade de repetição de itens incorretos no desempenho em uma instrução programada. Programa de estudos pós-graduados em psicologia experimental: Análise do Comportamento. Pontifícia Universidade Católica de São Paulo. [GS Search]
Pimentel, E. P., Real, E. M., Braga, J. C., e Botelho, W. T. (2020). Análise dos resultados de insucesso escolar com o suporte de mineração de processos educacionais. Simpósio Brasileiro de Informática na Educação, 132-141. doi: 10.5753/cbie.sbie.2020.132. [GS Search]
Rajamani, K., e Kathiravan, V. (2013). An adaptive assessment system to compose serial test sheets using item response theory. International Conference on Pattern Recognition, Informatics and Mobile Engineering, 120-124. doi: 10.1109/ICPRIME.2013.6496458. [GS Search]
Rocha, F. E. L. d. (2007). Avaliação da aprendizagem: uma abordagem qualitativa baseada em mapas conceituais, ontologias e algoritmos genéticos. Centro tecnológico, Universidade Federal do Pará, Brasil. [GS Search]
Santo, J. d. E., Castelano, K., e Almeida, J. d. (2012). Uso de tecnologias na prática docente: um estudo de caso no contexto de uma escola pública do interior do Rio de Janeiro. II Congresso Internacional TIC e Educação. Universidade Tecnológica Federal do Paraná. Espírito Santo: Revista Educação & Tecnologia, 1023–1031. [GS Search]
Santos, L. (2016). A articulação entre a avaliação somativa e a formativa, na prática pedagógica: uma impossibilidade ou um desafio? Ensaio: avaliação e políticas públicas em Educação, 24(92), 637–669. [GS Search]
Spearman, C. (1961). “general intelligence” objectively determined and measured. The American Journal of Psychology, 15(2), 201–292. doi: 10.1037/11491-006. [GS Search]
Umrani-Khan, F., e Iyer, S. (2009). ELAM: a Model for acceptance and use of e-Learning by teachers and students. Proceedings of the International Conference on e-Learning, 475-485. [GS Search]
Valente, J. A. (2010). O computador auxiliando o processo de mudança na escola. NIED-UNICAMP e CED-PUCSP. [GS Search]
Van der Kleij, F., Feskens, R., e Eggen, T. (2015). Effects of feedback in a computer-based learning environment on students’ learning outcomes: A meta-analysis. Review of educational research, 475–511. doi: 10.3102/0034654314564881. [GS Search]
Veloso, B. (2021). Paulo Freire e educação a distância: visão propositiva para explorar a autonomia no ensino-aprendizagem. Congresso Brasileiro de Ensino Superior a Distância. [GS Search]
Wright, B. D., e Mead, R. J. (1980). Bical: Calibrating items and scales with the rasch model. Research memorandum, 23. [GS Search]
Yarandi, M., Jahankhani, H., e Tawil, A.-R. (2013). Towards adaptive e-learning using decision support systems. International Journal of Emerging Technologies in Learning. [GS Search]
Arquivos adicionais
Published
Como Citar
Issue
Section
Licença
Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
