Resumen de Sistema de Rehabilitación de Muñeca con Realidad Aumentada mediante Eliminación Visual del Robot utilizando inpainting

Diego Benavides, Ana Cisnal de la Rica, Eusebio de la Fuente López, Juan Carlos Fraile Marinero , Javier Pérez Turiel

• español

  Este trabajo presenta un sistema innovador para la rehabilitación de la muñeca que combina un dispositivo robótico de asistencia con una plataforma de realidad aumentada inmersiva. Para mejorar la experiencia del paciente y favorecer los mecanismos de neuroplasticidad, se presenta un algoritmo de eliminación visual del robot mediante técnicas de segmentación y relleno de imagen (inpainting). El sistema integra un modelo de segmentación basado en UNet y un modelo de inpainting entrenado específicamente, logrando reconstruir la escena de forma realista tras eliminar el dispositivo robótico. Se ha evaluado el desempeño de distintos modelos de inpainting mediante métricas tradicionales y perceptuales, demostrando mejoras significativas en la calidad de las imágenes reconstruidas y en la inmersión del entorno de terapia. Estos resultados abren la puerta a una rehabilitación más eficaz y motivadora, combinando los beneficios funcionales de la robótica con el realismo de la realidad aumentada.

• English

  This work presents an innovative system for wrist rehabilitation that combines an assistive robotic device with an immersive augmented reality (AR) platform. To enhance the patient's experience and support neuroplasticity mechanisms, a visual robot removal algorithm is proposed using image segmentation and inpainting techniques. The system integrates a UNet-based segmentation model and a specifically trained inpainting model, effectively reconstructing the scene realistically after removing the robotic device. The performance of different inpainting models has been evaluated using both traditional and perceptual metrics, showing significant improvements in the quality of the reconstructed images and the immersive experience of the therapy environment. These results pave the way for more effective and engaging rehabilitation, combining the functional benefits of robotics with the realism of augmented reality.