A framework for intelligent adaptation of user interfaces with reinforcement learning

• Autores: Daniel Gaspar Figueiredo
• Directores de la Tesis: César Emilio Insfrán Pelozo (codir. tes.) , Silvia Mara Abrahao Gonzales (codir. tes.)
• Lectura: En la Universitat Politècnica de València ( España ) en 2026
• Idioma: inglés
• Tribunal Calificador de la Tesis: Ana María Moreno Sánchez-Capuchino (presid.) , Philippe Palanque (secret.) , Marco Winckler (voc.)
• Enlaces
  • Tesis en acceso abierto en: TESEO
• Resumen

  • Los sistemas de software modernos deben adaptar cada vez más su comportamiento a diversos usuarios, tareas y contextos, y las interfaces de usuario adaptativas (AUI) ofrecen una forma basada en principios para lograr dicha adaptación centrada en el ser humano. Las AUI tienen como objetivo mejorar la experiencia del usuario (UX) ajustando el contenido, la presentación o el comportamiento al usuario y al contexto. Sin embargo, la mayoría de los sistemas existentes se basan en reglas estáticas y elaboradas manualmente, lo que limita su capacidad para aprender continuamente de las interacciones de los usuarios y perfeccionar su comportamiento con el tiempo. El aprendizaje por refuerzo (RL) surge como un paradigma prometedor para proporcionar esta inteligencia mediante la modelización de la adaptación de la interfaz de usuario (UI) como un problema de decisión secuencial. Sin embargo, su aplicación plantea dos retos fundamentales: cómo representar el contexto de uso (incluyendo el usuario, la plataforma y el entorno) de manera que se capte el estado interno del usuario, y cómo diseñar una función de recompensa que refleje la naturaleza multifacética y subjetiva de la UX. Abordar estos retos es esencial para desarrollar AUI que puedan aprender, personalizar y generalizar de manera eficaz.

    El objetivo principal de esta tesis doctoral es definir, implementar y evaluar empíricamente un marco para la adaptación inteligente de la interfaz de usuario que aprende de las interacciones del usuario para mejorar su experiencia. Para abordar los retos de representación y diseño de recompensas, la tesis realiza tres contribuciones. En primer lugar, define un marco conceptual human-in-the-loop que formaliza la adaptación de la interfaz de usuario como un proceso de decisión de Markov (MDP) e incorpora el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) para aprender una función de recompensa que equilibra las preferencias generales e individuales. En segundo lugar, pone en práctica este marco en RL4UI, un entorno de software reutilizable y de código abierto para generar entornos de interacción, entrenar políticas de RL e implementar comportamientos adaptativos. En tercer lugar, evalúa el marco mediante una estrategia empírica incremental que incluye la evaluación basada en simulaciones, experimentos controlados con retroalimentación explícita de las preferencias de los usuarios y un estudio complementario que examina señales fisiológicas objetivas, basadas en la electroencefalografía (EEG), como posibles indicadores de la experiencia del usuario.

    La evaluación comparó estrategias de recompensa generalizadas frente a modelos personalizados basados en el usuario. Los resultados muestran que las estrategias basadas en modelos generalizados no mejoran significativamente la UX subjetiva. Por el contrario, la adaptación personalizada mediante retroalimentación explícita logró mejoras estadísticamente significativas en la satisfacción y el compromiso del usuario en comparación con baselines no adaptativos. Además, el estudio fisiológico demostró que los indicadores de carga cognitiva y atracción derivados del EEG correlacionan fuertemente con las valoraciones de UX, respaldando su futura integración como señales de recompensa implícitas.

    En conjunto, esta tesis establece una base extensible para las AUI basadas en RL, aportando una unificación conceptual del MDP con la retroalimentación humana, una metodología de entrenamiento alineada con constructos de UX y un entorno de software reutilizable que reduce las barreras para la investigación en el área. Estas contribuciones impulsan la transición de mecanismos ad-hoc hacia sistemas adaptativos basados en datos capaces de evolucionar con el usuario. El trabajo abre líneas futuras en aprendizaje online continuo, modelado multimodal e integración de señales fisiológicas para habilitar sistemas totalmente co-adaptativos.