Impacto de ChatGPT en los métodos de evaluación de un grado de Ingeniería Informática

Abstract

Las Inteligencias Artificiales Generativas han experimentado una importante evolución durante los últimos años y, en especial, en el 2022. Una de las inteligencias que más revuelo ha causado en el mundo académico es ChatGPT, que proporciona una interfaz que simplifica enormemente el uso productivo de un modelo de lenguaje de gran tamaño. Estos modelos de lenguaje son capaces de analizar y generar textos con gran rapidez y calidad. Estas capacidades podrían tener un impacto relevante en las metodologías de enseñanza-aprendizaje y también en los métodos de evaluación. Con el fin de analizar el posible impacto de ChatGPT en los métodos de evaluación, en este trabajo, se ha puesto a prueba la capacidad de ChatGPT para resolver los exámenes de 15 asignaturas de Ingeniería del Software de un grado de Ingeniería Informática. Los resultados muestran que ChatGPT podría tener un impacto evidente en los métodos de evaluación; ya que, es capaz de superar una cantidad significativa de preguntas y problemas de diferente naturaleza en múltiples asignaturas. Como contribución fundamental, se proporciona un estudio detallado de los resultados por tipología de preguntas y problemas, que permite establecer unas recomendaciones a tener en cuenta en el diseño de los métodos de evaluación.

Generative Artificial Intelligence has undergone significant evolution over the last few years, especially in 2022. The artificial intelligence causing the most buzz in the academic world is ChatGPT, which provides an user interface that significantly simplifies the productive use of a large language model. These language models can parse and generate text with great speed and quality. Such language competences might have a relevant impact on teaching-learning methodologies and assessment methods. In order to analyze the possible impact of ChatGPT on assessment methods, in this work, we have used it to solve the exams of 15 Software Engineering subjects of a Computer Engineering degree. The results show that ChatGPT has an evident impact on assessment methods, because it can provide a correct answer to many questions and problems of different typology in multiple subjects. A detailed study of the results organized by types of questions and problems is provided as main contribution. Finally, some recommendations are derived from those results to guide in the design of assessment methods.