La gamificación en el ámbito de la mejora del proceso software: marco metodológico
- Autores: Eduardo Herranz Sánchez
- Directores de la Tesis: Antonio de Amescua Seco (dir. tes.)
, Ricardo Colomo Palacios (codir. tes.) - Lectura: En la Universidad Carlos III de Madrid ( España ) en 2019
- Idioma: español
- Tribunal Calificador de la Tesis: Gonzalo Cuevas Agustín (presid.) , María Isabel Sánchez Segura (secret.) , Fernando Llopis Pascual (voc.)
- Enlaces
- Tesis en acceso abierto en: e-Archivo
- Resumen
La industria software es una piedra angular en el desarrollo de las sociedades. En las iniciativas de mejora de procesos de software (SPI), la gestión del cambio organizacional se ha identificado como una de las áreas fundamentales a tener en cuenta. El software es altamente dependiente del capital humano y cualquier iniciativa SPI que aspire al éxito debe tener en cuenta los factores humanos, en especial, la motivación y el compromiso de las personas involucradas. De hecho, contar con aspectos motivadores que permitan mejorar el rendimiento de los equipos de desarrollo de software se presenta como uno de los principales retos de la gestión de la Ingeniería del Software en todo el mundo. A pesar de todo esto, se sigue sin prestar la suficiente atención a los aspectos humanos y el alto grado de fracaso en las iniciativas SPI está directamente relacionado con una falta de compromiso de la alta dirección y de motivación.
La base sobre las que se sustenta la gamificación -principios psicológicos y elementos del juego- nos permite definir mecanismos que canalizan la motivación de las personas al desarrollo de tareas de manera más eficiente, además de fomentar y acelerar la aceptación de iniciativas SPI. Para determinar el alcance se ha realizado un estado del arte actualizado de los cuerpos de conocimientos disponibles y de las fuentes bibliográficas más relevantes tanto de la gamificación como de la gestión del cambio organizacional en SPI. Los problemas identificados en el estado del arte que sirven de motivación para el desarrollo del marco metodológico, suponen un buen punto de partida para la puesta en marcha de investigaciones futuras.
Este trabajo de investigación supone un enfoque pionero e innovador dado que aprovecha el carácter transversal de la gamificación y aplica, de manera metodológica, sus fundamentos a la gestión del cambio organizacional de SPI. A día de hoy, la gran mayoría de las propuestas de gamificación son genéricas y apenas existen validaciones empíricas, predominando las validaciones en entornos educativos. En base a nuestro conocimiento, el marco metodológico presentado en esta tesis doctoral es la primera aproximación formal que vincula de manera específica las áreas de gamificación y SPI, el cual permite incrementar el rendimiento del personal involucrado. Además, se ha realizado una validación empírica en un entorno productivo real.
A partir del estudio del arte realizado, se establecen las siguientes hipótesis de investigación. La primera de ellas (H1), corresponde con la aplicación del marco metodológico permite incrementar la motivación intrínseca del personal implicado de manera directa en la iniciativa SPI. Este incremento de motivación permitirá fomentar la adopción de estas iniciativas de mejora SPI. Por otro lado, la segunda de la hipótesis (H2), corresponde con la aplicación del marco metodológico permite mejorar el rendimiento de los participantes en las actividades SPI. Esto permitirá incrementar las posibilidades de éxito de cualquier iniciativa SPI.
Previamente a la construcción del marco metodológico, se ha realizado; (1) una correspondencia entre los distintos grupos de profesionales software y sus factores motivacionales de modo que permita personalizar la solución con independencia del ámbito de aplicación, (2), un método de asignación de técnicas de gamificación a actividades SPI cuyo objetivo es mejorar los métodos actuales y aplicar esta mejora como núcleo del marco metodológico y, (3) un criterio de selección de expertos en la disciplina de gamificación, basado en el criterio de selección de expertos de Fehring.
Posteriormente, se construye el marco metodológico que consta de las siguientes fases. La primera de las fases está enfocada a estimar la viabilidad en la aplicación de gamificación ya que no todas las iniciativas SPI son aptas para ello. Se incluyen múltiples aspectos a evaluar, tales como la disponibilidad de recursos como el tiempo, el compromiso de la gerencia y la infraestructura SPI. En una segunda fase, se establecen los objetivos de negocio y SPI relacionados, junto con sus KPIs y métricas, respectivamente. Posteriormente, en una tercera fase, se identifican y analizan las actividades SPI a gamificar, así como los comportamientos a modificar dentro de dichas actividades. En la cuarta fase, se estudian los factores motivacionales de los grupos de profesionales SPI y el perfil de todos los jugadores implicados. La quinta fase constituye el corazón del marco metodológico. En esta fase, para cada una de las actividades SPI a mejorar, se establecen, primero, las dinámicas, mecánicas y elementos de juego más relevantes. A continuación, se establecen las métricas necesarias para cada uno de los elementos de juego establecidos y se define un proceso de feedback que permite registrar la información de los usuarios en tiempo real. Aspectos propios de modelos de gestión del cambio de SPI, tales como resistencia al cambio y compromiso deben ser observados de cerca. La siguiente fase se corresponde con la fase de implementación de la propuesta de gamificación previa. En esta fase son necesarias unas tareas de comunicación para garantizar que todas las partes entienden y aceptan el proceso como un aspecto crítico en la iniciativa SPI. Se finaliza el marco de gamificación en SPI con la medición de los resultados y objetivos alcanzados, y, por último, se termina con una fase de aprendizaje que pretende incorporar las lecciones aprendidas en la organización software.
Para asegurar la consistencia conceptual del marco construido, se ha realizado una validación de expertos. El objetivo principal de esta validación de expertos ha sido validar el marco metodológico presentado, estudiar su viabilidad de aplicación en la práctica y generar una versión mejorada y validada del marco. Para lograr los objetivos de investigación planteados, ha sido necesario, por un lado, estudiar de manera preceptiva cómo se implementa gamificación en las organizaciones en la práctica profesional y, por otro, validar el marco presentando desde una perspectiva teórico-práctica, contando para todo este proceso con un nutrido grupo de expertos en las áreas de gamificación y SPI. Para la validación de expertos se ha seguido un enfoque cualitativo que consta de dos fases bien diferenciadas. En una primera fase, llevada a cabo con expertos en gamificación, se estudia el fenómeno de implantación de gamificación en las organizaciones a través de un análisis basado en la metodología Grounded Theory. En base a las conclusiones obtenidas, se realizan modificaciones en el marco y se vuelve a validar con expertos en gamificación mediante entrevistas semi-estructuradas. La segunda fase, ha sido llevada a cabo con expertos en SPI. En este caso, con el objetivo de validar el marco metodológico modificado desde la perspectiva de SPI y los aspectos críticos en la implementación de gamificación, se ha realizado un conjunto de entrevista estructuradas. El análisis de estas entrevistas dará lugar a la última de las modificaciones del marco, que corresponderá con el marco definitivo validado.
Una vez se ha presentado todo el marco metodológico para incrementar la motivación y el rendimiento en la gestión del cambio organizacional de SPI, se analiza cómo integrar este marco metodológico dentro de SPI. Adicionalmente, con el objetivo de dar soporte al proceso de implementación del marco, se ha desarrollado una herramienta (llamada Gamiware). Esta herramienta no ha sido diseñada para su explotación comercial, sino que se ha configurado como una mera aproximación de apoyo a esta investigación. Para su correcta ejecución, es necesaria la previa puesta en marcha de las fases 1 a 5 del marco metodológico. Con los resultados de dichas fases en la mano, la herramienta permite registrar los datos necesarios para la ejecución de las actividades SPI gamificadas y recopila la información necesaria de la ejecución para evaluar la efectividad de la propuesta. Por lo que respecta al conocimiento actual del autor de esta tesis doctoral, Gamiware es la primera herramienta de este tipo en el ámbito SPI. En su concepción y diseño, Gamiware integra elementos de gamificación con el objetivo de hacer posible el principal objetivo del marco metodológico, esto es, incrementar la motivación del personal involucrado en la iniciativa SPI así como su rendimiento.
Para la validación de esta herramienta, se ha realizado un estudio piloto que muestra los resultados iniciales en su implementación. Aunque los resultados de esta implementación son muy destacables, existen ciertas limitaciones relacionadas con la falta de integración en el flujo de trabajo de los ingenieros software.
Tras llevar a cabo la validación de expertos, se ha validado empíricamente el marco metodológico en un entorno productivo. Este entorno productivo corresponde con una empresa española que vamos a denominar XYZ. La puesta en marcha de esta validación representa un caso de estudio que tiene la siguiente estructura. En primer lugar, se realiza una descripción de la organización y de su proceso de trabajo. Posteriormente, se señalan las actividades SPI a realizar y sus objetivos, y se profundiza en la descripción de los participantes desde varias perspectivas complementarias. Partiendo de esta base, se define paso a paso cómo será el experimento y los distintos mecanismos de recopilación de datos empleados. A continuación, se detallan de manera segmentada los resultados obtenidos en el caso de estudio, en función de cada una de las hipótesis de investigación establecidas. Para finalizar el caso de estudio, se presenta una discusión de los resultados y unas conclusiones parciales. Por último, para terminar, se describen brevemente las aproximaciones realizadas a otras organizaciones y se realiza un contraste de hipótesis en función de los resultados obtenidos del caso de estudio de XYZ. En este caso de estudio se comprueba cómo el marco permite incrementar el rendimiento en la gestión del cambio organizacional implícita en toda propuesta de SPI, a pesar de no verse afectada la motivación intrínseca.
Durante el periodo de aprobación del caso de estudio anterior, se contactó con varias empresas candidatas para que participasen en el experimento. Dos de ellas, nombradas en este caso con nombres ficticio como ABC y DEF, confirmaron su interés en participar. Con ello, se pusieron en marcha los trámites necesarios para su participación, aunque finalmente ninguna de ellas puso en marcha el marco metodológico presentado en esta tesis doctoral.
A lo largo de los casos de estudio, se identificaron las principales limitaciones encontradas, en especial en XYZ, aunque también se incluyen limitaciones encontradas en los casos de estudio de ABC y DEF. Además de la presencia de las limitaciones, se formulan una serie de recomendaciones que deberán tenerse en cuenta para futuras implementaciones de marco metodológico. Estas recomendaciones están orientadas a mitigar o reducir las limitaciones encontradas.
La hipótesis de investigación se discute a partir de los resultados de la validación empírica. En base a estos resultados, tras el desarrollo de esta tesis doctoral, se puede afirmar que existe un marco metodológico que aplica gamificación en las iniciativas SPI el cual mejora el rendimiento de los agentes involucrados, mientras que la motivación intrínseca no se ve incrementada.
En primer lugar, la evidencia empírica sugiere que la aplicación del marco metodológico no permite incrementar la motivación intrínseca del personal implicado de manera directa en la iniciativa SPI y que, por lo tanto, no permitirá fomentar estas iniciativas de mejora (H1). En esta línea, existen otras investigaciones donde la aplicación de gamificación ha tenido resultados similares en lo que a motivación se refiere, aunque bajo un entorno educativo. No obstante, estos resultados contrastan con los resultados preliminares de aplicación del marco metodológico bajo entornos educativos y con los datos obtenidos en la validación de expertos. Más allá del ámbito del marco metodológico, otras investigaciones, tanto en entornos educativos como en entornos productivos, señalan incrementos significativos de motivación tras la aplicación de técnicas de gamificación. Es importante señalar que estos estudios apenas citan limitaciones encontradas a la hora de la validación empírica. Por lo tanto, a pesar de la evidencia empírica de esta tesis doctoral, el no-incremento de motivación no sorprende si se tienen en cuenta las múltiples limitaciones encontradas, algunas tan críticas como la falta de un feedback de calidad.
En lo que respecta a la segunda de las hipótesis, la evidencia empírica apoya la idea de que aplicación del marco metodológico permite mejorar el rendimiento de los participantes en las actividades SPI. Esto contribuirá a incrementar las posibilidades de éxito de cualquier iniciativa SPI (H2). En este caso, los resultados tienden a ser significativos no sólo por los datos cuantitativos recogidos durante la experimentación, sino porque los datos cualitativos refuerzan esta hipótesis del incremento de rendimiento. Este resultado está alineado con múltiples investigaciones empíricas que reportan mejoras significativas de rendimiento tras la aplicación de gamificación tanto en el ámbito educativo como en la aplicación de gamificación en herramientas orientadas a la ejecución de pruebas y análisis de requisitos software. Además, estos resultados son aún más relevantes teniendo en cuenta que el rendimiento de iniciativas SPI es menor en organizaciones pequeñas. Por todo ello, se puede afirmar que este incremento de rendimiento contribuye a mejorar las posibilidades de éxito de la iniciativa SPI.
Considerando el contraste de ambas hipótesis, los resultados están sustentados y son coherentes con el análisis crítico de la literatura revisada en esta investigación. Así, dentro del ámbito de la gamificación aplicada a la ingeniería del software, predominan los estudios que señalan incrementos de rendimiento frente a los que indican incrementos de motivación. En todo caso, para la evaluación de estos resultados deben considerarse las citadas limitaciones encontradas durante la validación empírica.
En este sentido, cabe valorar si en entornos productivos, por naturaleza complejos y cambiantes, será factible la eliminación o mitigación de dichas limitaciones, o al menos una gran parte de ellas. Debe tenerse en cuenta que los efectos de la gamificación son altamente dependientes del contexto y que, aunque multitud de estudios han tratado a la gamificación como un constructo genérico, la selección y configuración de los elementos de gamificación condicionan el éxito o fracaso. Por lo tanto, para una misma situación, cualquier cambio en el contexto o en los elementos de gamificación puede llevar a resultados opuestos. Este hecho sugiere complicaciones añadidas a la hora de replicar los resultados de un caso de estudio, aun cuando se puedan repetir una serie de pasos de manera sistemática. En el caso de las PYMES, se acentúa la naturaleza y contexto cambiante, y la eliminación o mitigación de dichas limitaciones se antoja complicada, lo cual puede condicionar la aplicación del marco metodológico presentado en este tipo de entornos. En este sentido, ya existen investigaciones que confirman que la aplicación de gamificación funciona mejor en empresas grandes que en pequeñas. En consecuencia, igual que sucede en las iniciativas SPI, parece ser que la aplicación de gamificación es más viable en grandes organizaciones.
En efecto, el análisis de los resultados y el contraste con la literatura parecen indicar un paralelismo entre los problemas de aplicación de modelos SPI en PYMES y la puesta en marcha de iniciativas SPI mediante el uso de gamificación. La implementación de modelos SPI es complicada en este tipo de entornos y se están realizando grandes esfuerzos de adaptación. Además, al igual que se ha reflejado en esta validación empírica, las PYMES no son capaces de gestionar los requisitos de tiempo y dinero asociados a la implementación de estas iniciativas SPI. Este hecho no es asunto baladí, ya que limita el alcance transformador del marco metodológico presentado en base a la enorme presencia de las PYMES constituyen en el tejido empresarial.
Por último, es importante señalar la debilidad del compromiso de las organizaciones, en este caso pequeñas y medianas empresas, a la hora de poner en marcha este tipo de iniciativas, tal y como ocurre en las iniciativas SPI. En un principio, todas las organizaciones invitadas a participar en el experimento estuvieron muy receptivas. Sin embargo, a pesar del compromiso adquirido por la alta dirección, dos de ellas finalmente no movilizaron los recursos necesarios. En el caso de XYZ, el proceso de aprobación de la puesta en marcha definitiva se extendió durante más de 6 meses. Ya sabemos que el compromiso de la media y alta dirección es crítico, tanto en SPI como en iniciativas de gamificación. El problema parece residir en la propia naturaleza de las organizaciones software pequeñas y medianas donde los gerentes y los ingenieros del software tienen que lidiar con múltiples fechas de entrega y con picos de trabajo habituales.
En conclusión, en base a las evidencias empíricas, la hipótesis H1 no se ha podido validar. Por lo tanto, la aplicación del marco metodológico en iniciativas SPI no ha contribuido al incremento de la motivación intrínseca del personal involucrado. No obstante, durante la validación empírica se han encontrado múltiples limitaciones que impactan sobre la motivación y, por ello, se han realizado una serie de recomendaciones al respecto.
Por su parte, los datos registrados durante la investigación son suficientes para confirmar la hipótesis H2. En consecuencia, se puede confirmar la idoneidad de aplicación del marco metodológico para el incremento del rendimiento del personal involucrado en la iniciativa SPI. Sin embargo, es importante resaltar que este incremento no perdura en el tiempo.
El trabajo de investigación realizado durante esta tesis doctoral arroja unas conclusiones relevantes y supone una mejora del estado del arte de los cuerpos de conocimiento involucrados. A pesar de esto, es necesario realizar una serie de trabajos que permitan completar el marco metodológico planteado y evaluar sus efectos en distintos contextos. En este sentido, se plantean múltiples líneas futuras de investigación que derivan de los resultados de la tesis y que permitan ampliar el alcance de esta tesis además de profundizar en áreas no exploradas.
