Resumen de Estrategias metodológicas para la construcción de indicadores compuestos en la gestión universitaria.
María del Carmen Bas Cerdá
En los últimos años, las instituciones de educación superior se han sometido a diversos cambios condicionados, en gran medida, por las exigencias de la sociedad actual. El cambio de una universidad de élites a una universidad de masas, la creciente demanda en la mejora de la calidad, la globalización del conocimiento, la competitividad a nivel nacional e internacional, la elaboración de procedimientos de mejora internos, los cambios en las relaciones con la administración y con la sociedad en general; son algunos de los factores ineludibles y de creciente importancia en el ámbito de la educación superior en Europa y en todo el mundo. La rendición de cuentas, para aumentar la confianza entre sociedad y universidad, y la exigencia de transparencia, para el diseño y ejecución de planes de mejora y de toma de decisiones, son aspectos clave para responder a las necesidades de la sociedad. Sin embargo, es un hecho que las universidades siguen siendo más opacas de lo que es deseable, a pesar de que en los últimos años haya habido un esfuerzo común por cambiar esta situación. La universidad española ha desarrollado diversas iniciativas para evaluar la calidad de las actividades universitarias. En particular, uno de los retos relevantes para garantizar la calidad en el sistema universitario español es la evaluación de la actividad del profesorado universitario, observándose la importancia cada vez mayor de las actividades de evaluación que aseguren la calidad de los procesos formativos que afecten a los estudiantes, a la comunidad universitaria y a la sociedad en general. Los resultados de la evaluación permitirán a las universidades el diseño y la ejecución de planes de mejora de la actuación del profesorado. Por tanto, es importante disponer de herramientas de medición que permitan evaluar la actividad del profesorado universitario en sus tres dimensiones: docencia, investigación y gestión. Sin embargo, muchas veces el instrumento de evaluación utilizado no responde a la necesidad de transparencia exigida por la sociedad. El objetivo de este trabajo es diseñar estrategias metodológicas para la construcción de indicadores compuestos que permitan evaluar y medir conceptos multidimensionales relacionados con la gestión de la educación superior. Para ello, se realiza una revisión exhaustiva de las diferentes técnicas estadísticas que se pueden aplicar en el desarrollo de indicadores compuestos. Asimismo, se estudia la importancia de los indicadores como herramienta básica para una correcta gestión de la calidad y para la rendición de cuentas en las universidades. Una vez realizada una revisión sobre el panorama de los indicadores en la educación superior, este trabajo se centra en la evaluación de las actividades académicas del personal docente e investigador de la Universitat Politècnica de València. En primer lugar, se realiza un análisis exploratorio del conjunto de indicadores propuestos por la universidad para la evaluación docente del profesorado, en el que se aplican técnicas estadísticas de reducción de la dimensionalidad y técnicas de clasificación. Posteriormente, se proponen diferentes metodologías de construcción de un indicador compuesto que mida la actividad docente del profesorado, según el tipo de normalización y ponderación aplicado. Finalmente, se estudian las características analíticas de cada una de las metodologías propuestas mediante técnicas de análisis de incertidumbre y de sensibilidad global para evaluar la calidad y robustez de los modelos propuestos, según los objetivos planteados por la universidad. El análisis de incertidumbre se realiza mediante un procedimiento de simulación cuasialeatoria y se visualiza aplicando una técnica de agregación no compensatoria sobre los resultados, conocida como método de Copeland. Para realizar el análisis de sensibilidad global se emplea una metodología no paramétrica conocida como State Dependent Parameter basada en el Filtro de Kalman y en técnicas de suavizado (smoothing). El análisis de incertidumbre y de sensibilidad se consideran técnicas necesarias que aportan validez y sustento metodológico a los indicadores compuestos planteados. Finalmente, se estudia la generalización del indicador compuesto referido a la actividad docente y se diseña un indicador compuesto en el que se aplica una técnica de ponderación y agregación no paramétrica conocida como Benefit of the Doubt para evaluar la actividad académica de cada docente con respecto al resto, en base a las tres dimensiones principales del profesorado universitario: docencia, investigación y gestión universitaria. Así pues, esta técnica permite medir la eficacia relativa en el desarrollo de la actividad académica de cada docente según su perfil académico. Las técnicas metodológicas propuestas en este trabajo resultan aplicables en cualquier ámbito de estudio y ofrecen un esquema de construcción de indicadores compuestos robusto y transparente.
