Recomendación de Actividades de la Vida Diaria para un Exoesqueleto Bimanual mediante un VLM basado en Edge Computing

• Martínez-Pascual, David ^[1] ; Reig Lozano, Asier ^[1] ; Peral Sempere, Esther ^[1] ; Rubira Úbeda, Pablo ^[1] ; Catalán Orts, José María ^[1] ; García Aracil, Nicolás ^[1]
  1. [1] Universidad Miguel Hernández de Elche

     Universidad Miguel Hernández de Elche

     Elche, España

     
• Localización: Jornadas de Automática, ISSN-e 3045-4093, Nº. 47, 2026
• Idioma: español
• DOI: 10.17979/ja-cea.2026.47.13747
• Títulos paralelos:
  • Activities of Daily Living Recommendation for a Bimanual Exoskeleton using an Edge Computing-based VLM
• Enlaces
  • Texto completo
• Resumen
  • español

    La robótica de asistencia se ha consolidado como una solución de vital importancia para brindar soporte a usuarios con déficit motor en la ejecución de Actividades de la Vida Diaria (AVDs). En este contexto, el uso de exoesqueletos bimanuales de miembro superior se presenta como una opción prometedora para apoyar a personas con déficit motor a realizar AVDs. No obstante, el uso de estos dispositivos puede resultar complejo para el usuario, por lo que deben diseñarse métodos de interacción intuitivos. En este trabajo se presenta un sistema de recomendación de AVDs basado en un modelo de Lenguaje y Visión (VLM). El modelo se ejecuta de forma local, describe los objetos de la escena y recomienda diferentes AVDs según los objetos de la escena y las capacidades del sistema robótico.

  • English

    Assistive robotics has established itself as a vital solution for supporting users with motor impairments in performing Activities of Daily Living (ADLs). In this context, the use of bimanual upper-limb exoskeletons presents a promising option for helping people with motor impairments perform ADLs. However, using these devices can be complex for the user, so intuitive interaction methods must be designed to facilitate easy use. This paper presents an ADL recommendation system based on a Vision Language Model (VLM). The model runs locally, describes the objects in the scene, and recommends different ADLs based on the objects in the scene and the capabilities of the robotic system.

• Referencias bibliográficas
  • Fares, N., Sherratt, R. S., Elhajj, I. H., 2021. Directing and orienting ict healthcare solutions to address the needs of the aging population....
  • Gull, M. A., Bai, S., Bak, T., 2020. Bimanual rehabilitation robotics: A review. Journal of NeuroEngineering and Rehabilitation 17 (1), 1–18.
  • Irles, C. F., Ruiz, F. J. M., Ivorra, A. B., Cerdán, E. B., Orts, J. M. C., Aracil, N. G., 2024. Diseño mecánico de un exoesqueleto bimanual...
  • Izzo, C., Carrizzo, A., Alfano, A., Virtuoso, N., Capunzo, M., Calabrese, M., De Simone, E., Sciarretta, S., Frati, G., Oliveti, M., et al.,...
  • Johansson, R. S., Flanagan, J. R., 2009. Coding and use of tactile signals from the fingertips in object manipulation tasks. Nature Reviews...
  • Kwon, W., Li, Z., Zhuang, S., Sheng, Y., Zheng, L., Yu, C. H., Gonzalez, J. E., Zhang, H., Stoica, I., 2023. Efficient memory management for...
  • NVIDIA, 2025. Cosmos-reason2: Physical ai common sense and embodied reasoning models. https://huggingface.co/nvidia/Cosmos-Reason2-8B.
  • Pantoni, L., Poggesi, A., Inzitari, D., 2009. Cognitive decline and dementia related to cerebrovascular diseases: some evidence and concepts....
  • Park, D., Hoshi, Y., Mahajan, H. P., Kim, H. K., Erickson, Z., Rogers, W. A., Kemp, C. C., 2020. Active robot-assisted feeding with a general-purpose...
  • Quesada, R. C., Demiris, Y., 2022. Proactive robot assistance: Affordanceaware augmented reality user interfaces. IEEE Robotics Automation...
  • Salomon, J. A., Vos, T., Hogan, D. R., Gagnon, M., Naghavi, M., Mokdad, A., Begum, N., Shah, R., Karyana, M., Kosen, S., et al., 2012. Common...
  • Wang, A., Liu, L., Chen, H., Lin, Z., Han, J., Ding, G., 2025. Yoloe: Real-time seeing anything. URL: https://arxiv.org/abs/2503.07465