Multimodal Interaction and Semantic Augmented Reality through Deep Learning in Assistive Systems for Dependent Individuals
- Autores: Isabel Ferri Molla
- Directores de la Tesis: Juan Izquierdo Doménech (codir. tes.)
, Jordi Linares Pellicer (codir. tes.) - Lectura: En la Universitat Politècnica de València ( España ) en 2026
- Idioma: inglés
- Tribunal Calificador de la Tesis: Stella María Heras Barberá (presid.) , Miguel Chover Sellés (secret.) , Okresa Duric Bogdan (voc.)
- Enlaces
- Tesis en acceso abierto en: RiuNet
- Resumen
La dependencia funcional en personas mayores y en contextos de deterioro cognitivo constituye uno de los principales retos sociosanitarios del siglo XXI. El deterioro cognitivo leve y otras condiciones asociadas a fases tempranas de declive funcional comprometen la autonomía en actividades cotidianas y aumentan progresivamente la necesidad de supervisión externa. Aunque los avances recientes en inteligencia artificial han ampliado las capacidades de las tecnologías asistenciales, su despliegue efectivo en entornos reales sigue limitado por desafíos relacionados, entre otros, con la fiabilidad, la personalización, la gestión de la incertidumbre o la preservación de la privacidad.
Esta tesis propone el diseño, implementación y validación de un ecosistema inteligente de asistencia orientado a sostener la autonomía en personas en fases tempranas de dependencia cognitiva. Para ello se introduce un marco arquitectónico para la tecnología asistencial fiable. Este marco está fundamentado en cuatro principios de diseño: anclaje multimodal para la reducción de ambigüedad, asistencia progresiva orientada a estados con verificación explícita, personalización dinámica basada en señales observables y procesamiento híbrido.
El núcleo del sistema es un asistente doméstico multimodal basado en inteligencia artificial y realidad aumentada, orientado a reforzar la autonomía en actividades instrumentales de la vida diaria. Con el fin de aumentar la accesibilidad del ecosistema, se introduce un módulo de comunicación asistida para afasia que combina reconocimiento automático del habla ajustado mediante fine-tuning con contexto visual, permitiendo inferir la intención comunicativa más allá de la transcripción literal y reduciendo barreras expresivas.
Más allá de la comunicación, para asistir al usuario en entornos semi-desconocidos o complejos, se incluye un módulo de navegación en interiores basado en grafos semánticos, extendiendo los principios de asistencia fiable al ámbito de la movilidad espacial.
Cabe destacar que sostener la autonomía de la persona dependiente no implica solo compensar déficits existentes, sino también intervenir de forma preventiva sobre el deterioro progresivo de las funciones cognitivas que la sustentan. Es por ello que se incorpora un módulo de entrenamiento cognitivo que funciona a través un sistema multiagente capaz de generar ejercicios que se adaptan mediante mecanismos de validación por consenso, promoviendo la estimulación personalizada y el mantenimiento funcional a lo largo del tiempo.
El ecosistema propuesto ha sido evaluado mediante múltiples estudios con usuarios. Estos estudios combinan métricas centradas en el sistema, como la tasa de error de palabras, la precisión de reconocimiento o la tasa de éxito en la ejecución de tareas, con medidas centradas en el usuario, incluyendo la autonomía percibida, la usabilidad y la confianza. Los resultados indican que la materialización de los principios de diseño contribuye a incrementar la autonomía percibida, mejorar la robustez ante la ambigüedad y reducir la necesidad de supervisión continua, manteniendo al mismo tiempo medidas de privacidad mediante arquitecturas híbridas edge-cloud.
En conjunto, esta tesis contribuye al avance de las tecnologías asistenciales al proponer y validar un marco arquitectónico orientado a mejorar la fiabilidad en sistemas asistenciales. La propuesta integra mecanismos estructurales para la reducción de ambigüedad, el control del estado interactivo, la adaptación funcional y la protección estructural de datos. Este marco permite pasar de prototipos reactivos a sistemas de asistencia más fiables y resilientes en condiciones de incertidumbre.
