Ir al contenido

Documat

Evaluación educativa y modelado determinista: Un marco simplificado con la Teoría de Respuesta al Ítem

  • Rico-Juan, J.R [1] Árbol académico ; Arevalillo Herráez, M. [2] Árbol académico ; Luján Mora, Sergio [1] Árbol académico ; Meliá, S. [1] Árbol académico ; Navarro Soria, I. [1]
    1. [1] Universitat d'Alacant

      Universitat d'Alacant

      Alicante, España

    2. [2] Universitat de València

      Universitat de València

      Valencia, España

  • Localización: Redes de Investigación e Innovación en Docencia Universitaria: Volumen 2025 / coord. por Rosana Satorre Cuerda Árbol académico, María J. Hernández Amorós, Maximiliano Sáiz Noeda Árbol académico, Neus Pellín Buades, 2025, ISBN 978-84-09-76835-6, págs. 257-269
  • Idioma: español
  • Enlaces
  • Resumen

    • La evaluación de habilidades en la educación superior mediante tests de respuesta cerrada presenta desafíos significativos debido a la heterogeneidad en la dificultad de los ítems. El objetivo de este trabajo es proponer una metodología determinista que integra elementos de la Teoría de Respuesta al Ítem (IRT) y la Teoría Clásica de los Tests (CTT) para simplificar los cálculos y mejorar la transparencia en la interpretación de los resultados. El método propuesto define la facilidad y dificultad de un ítem a partir de la proporción de respuestas correctas e incorrectas, mientras que la habilidad del participante se establece como la diferencia entre su respuesta y la facilidad del ítem. La capacidad de discriminación de cada ítem se estima mediante la correlación de Pearson entre la habilidad mostrada en el ítem y la habilidad global del estudiante. Esta metodología fue aplicada en dos asignaturas con 88 participantes y un total de 450 ítems. Entre los resultados destacables, el marco propuesto permitió identificar eficazmente los ítems problemáticos y clasificar a los participantes con notable precisión.Además, se logró una reducción significativa del coste computacional y se facilitó la trazabilidad del proceso evaluativo. En conclusión, la metodología se presenta como una alternativa viable que, si bien sacrifica parte de la invarianza de los modelos IRT más complejos, ofrece una solución mássencilla, transparente y computacionalmente eficiente para la evaluación educativa.

  • Referencias bibliográficas
    • Allen, M. J., & Yen, W. M. (2001). Introduction to measurement theory. Waveland Press.
    • Baker, F. B. (2001). The Basics of Item Response Theory. ERIC Clearinghouse on Assessment and Evaluation.
    • Baker, F. B., & Kim, S. H. (2004). Item response theory: Parameter estimation techniques. CRC press.
    • Berg, D. A., Schaughency, E., van der Meer, J., & Smith, J. K. (2017). Using Classical Test Theory in higher education. In Handbook on...
    • Birnbaum, Z.W. (1969) On the Importance of Different Components in a Multicomponent System. In: Krishnaiah, P.R., Ed., Multivariate Analysis—II,...
    • Bock, R. D. (1997). The nominal categories model. In Handbook of modern item response theory (pp. 33-49). New York, NY: Springer New York.
    • Bond, T. G., & Fox, C. M. (2013). Applying the Rasch model: Fundamental measurement in the human sciences. Psychology Press.
    • Bradlow, E. T., Wainer, H., & Wang, X. (1999). A Bayesian random effects model for testlets. Psychometrika, 64, 153-168.
    • Chalmers, R. P. (2012). mirt: A multidimensional item response theory package for the R environment. Journal of statistical Software, 48,...
    • Clauser, B. E. (2021). A history of classical test theory. In The History of Educational Measurement (pp. 157-180). Routledge.
    • Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. Holt, Rinehart and Winston, 6277 Sea Harbor Drive,...
    • DeMars, C. E. (2018). Classical test theory and item response theory. The Wiley handbook of psychometric testing: A multidisciplinary reference...
    • De Ayala, R. J. (2013). The theory and practice of item response theory. Guilford Publications.
    • Embretson, S. E., & Reise, S. P. (2013). Item Response Theory for Psychologists. Psychology Press.
    • Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of Item Response Theory. Sage Publications.
    • Hambleton, R. K., & Swaminathan, H. (2013). Item response theory: Principles and applications. Springer Science & Business Media.
    • Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47(2), 149-174.
    • Lalor, J. P., & Rodriguez, P. (2023). py-irt: A scalable item response theory library for python. INFORMS Journal on Computing, 35(1),...
    • Lance, C. E., & Vandenberg, R. J. (2009). The partial revival of a dead horse? Comparing classical test theory and item response theory....
    • Lord, F. M., & Novick, M. R. (1968). Statistical theories of mental test scores. MA: Addison-Wesley.
    • Lord, F. M. (2012). Applications of item response theory to practical testing problems. Routledge.
    • Pliakos, K., Joo, S. H., Park, J. Y., Cornillie, F., Vens, C., & Van den Noortgate, W. (2019). Integrating machine learning into item...
    • Rasch, G. (1960). Studies in mathematical psychology: I. Probabilistic models for some intelligence and attainment tests.
    • Reise, S. P., & Revicki, D. A. (2014). Handbook of item response theory modeling. New York, NY: Taylor & Francis.
    • Samejima, F. (1969). Estimation of latent ability using a response pattern of graded scores. Psychometrika Monograph Supplement, 34(4, Pt....
    • Samejima, F. (2008). Graded response model based on the logistic positive exponent family of models for dichotomous responses. Psychometrika,...
    • Samejima, F. (2011). The general graded response model. In Handbook of polytomous item response theory models (pp. 87-118). Routledge.
    • Schaughency, E., Smith, J. K., van der Meer, J., & Berg, D. (2012). Classical test theory and higher education: five questions. In Handbook...
    • Siegert, R. J., Krägeloh, C. U., & Medvedev, O. N. (2022). Classical Test Theory and the Measurement of Mindfulness. In Handbook of assessment...
    • Shultz, K. S., Whitney, D., & Zickar, M. J. (2020). Measurement theory in action: Case studies and exercises. Routledge.
    • Thorndike, R. M., Cunningham, G. K., Thorndike, R. L., & Hagen, E. P. (1991). Measurement and evaluation in psychology and education....
    • van der Linden, W. J., & Glas, C. A. (2010). Elements of adaptive testing (Vol. 10, pp. 978-0). New York, NY: Springer.
    • van der Linden, W. J. (Ed.). (2017). Handbook of item response theory: Volume 3: Applications. CRC press.
    • Weiss, D. J., & Kingsbury, G. G. (1984). Application of computerized adaptive testing to educational problems. Journal of educational...
    • Weiss, D. J. (2011). Better data from better measurements using computerized adaptive testing. Journal of Methods and Measurement in the Social...
    • Willett, J. B., Singer, J. D., & Martin, N. C. (1998). The design and analysis of longitudinal studies of development and psychopathology...
    • Yeung, C. K. (2019). Deep-IRT: Make deep learning based knowledge tracing explainable using ítem response theory. arXiv preprint arXiv:1904.11738.
    • Zumbo, B. D. (1999). A handbook on the theory and methods of differential item functioning (DIF). Ottawa: National Defense Headquarters, 160.
Fundación Dialnet

Mi Documat

Opciones de artículo

Opciones de compartir

Opciones de entorno