Human activity recognition: new approaches based on machine learning and deep learning

• Autores: Daniel García González
• Directores de la Tesis: Enrique Fernandez-Blanco (dir. tes.) , Miguel Rodríguez Luaces (codir. tes.) , Daniel Rivero (tut. tes.)
• Lectura: En la Universidade da Coruña ( España ) en 2024
• Idioma: inglés
• Número de páginas: 149
• Tribunal Calificador de la Tesis: Sergio Ilarri Artigas (presid.) , Susana Ladra González (secret.) , Christophe Claramunt (voc.)
• Enlaces
  • Tesis en acceso abierto en: RUC
• Resumen
  • español

    En la actualidad, la comunidad científica está prestando gran atención al campo del reconocimiento de las actividades humanas (HAR), el cual ha cobrado notable protagonismo como tema de debate. Desde la irrupción de los smartphones y los dispositivos wearables en la vida cotidiana, los costes y la facilidad de realizar estudios en este campo han experimentado una mejora significativa. Además, su aplicabilidad en diversos campos de estudio como la medicina, el fitness o la domótica hacen que esta temática sea aún más atractiva para los investigadores del ámbito. Sin embargo, a pesar de los grandes avances realizados en la última década, no es posible transferir este conocimiento adquirido hacia un entorno de la vida real. Esto se debe a que la grandísima mayoría de los trabajos relacionados fueron llevados a cabo en condiciones de laboratorio. En otras palabras, con indicaciones muy específicas, colocando los dispositivos de medición y realizando las acciones de una forma muy concreta que no representa para nada la variabilidad presente en el mundo real. Por ello, esta Tesis se ha centrado en orientar la investigación en este campo hacia un entorno de la vida real. Para ello, se ha construido un conjunto de datos propio con el que poder llevar a cabo la investigación principal, a partir de los sensores de los smartphones personales de 19 individuos diferentes. La diferencia principal de dicho conjunto de datos con respecto a los ya existentes en la comunidad científica es que se les ha dado a dichas personas la mayor libertad posible para utilizar su smartphone durante las recolecciones de datos. De este modo, aún realizando la misma acción conceptualmente, los datos resultantes pueden variar, ya que cada individuo puede utilizar el smartphone de forma diferente, tal y como ocurre en la vida diaria. Así, una vez obtenidos los datos, se llevó a cabo un estudio exhaustivo sobre los mismos, en búsqueda de los mejores modelos de machine learning y deep learning para clasificar los datos según las acciones estudiadas. Los resultados confirman la posibilidad de transferir el conocimiento adquirido hacia un entorno de la vida real. Entre los métodos utilizados, conviene destacar, en relación a sus rendimientos, a los modelos basados en árboles, como Random Forest, y otros de deep learning como las redes de neuronas convolucionales (CNN) o las redes neuronales recurrentes basadas en la técnica de Long Short-Term Memory (LSTM).

  • English

    Currently, the scientific community is giving significant attention to the field of human activity recognition (HAR), which has gained remarkable prominence as a topic of discussion. Since the irruption of smartphones and wearable devices in daily life, the costs and ease of conducting studies in this field have improved significantly. Moreover, its applicability in various research areas such as medicine, fitness, or home automation makes this topic even more attractive for researchers in the field. However, despite the remarkable advances made in the last decade, it is not possible to transfer that acquired knowledge to a real-life environment. That is because most of the related work has been carried out under laboratory conditions. In other words, with pretty specific indications, placing the measuring devices and performing the actions in an explicit way that does not represent at all the variability present in the real world. For those reasons, this Thesis has focused on orienting the research in this field towards a real-life environment. To that end, a dedicated dataset has been constructed to carry out the main research, based on the personal smartphone sensors of 19 different individuals. The main difference between that dataset and those already existing in the scientific community is that those individuals have been given as much freedom as possible to use their smartphones during data collection. Thus, even when performing the same action conceptually, the resulting data may vary, as each individual may use the smartphone differently, as is the case in everyday life. Hence, once the data was obtained, an in-depth study was carried out, in search of the best machine learning and deep learning models to classify the data, according to the actions studied. The results confirm the possibility of transferring the acquired knowledge to a real-life environment. In terms of their performance, it is worth mentioning tree-based models like Random Forest and other deep learning models such as Convolutional Neural Networks (CNN) or recurrent neural networks based on the Long Short-Term Memory (LSTM) technique, among the various methods used.

  • galego

    Na actualidade, a comunidade científica está a prestar moita atención ao campo do recoñecemento das actividades humanas (HAR), o cal cobrou considerable protagonismo como tema de debate. Dende a irrupción dos smartphones e os dispositivos wearables na vida cotiá, os custos e a facilidade de realizar estudos neste eido experimentaron unha mellora significativa. Ademais, a súa aplicabilidade en diversos campos de estudo como a medicina, o fitness ou a domótica fan que este tema sexa aínda máis atractivo para os investigadores da materia. Porén, a pesar dos grandes avances acadados na última década, non é posible trasladar estes coñecementos adquiridos a un entorno da vida real. Isto débese a que a gran maioría dos traballos relacionados realizáronse en condicións de laboratorio. Noutras palabras, con indicacións moi específicas, colocando os aparellos de medida e realizando as accións dun xeito moi concreto que non representa para nada a variabilidade presente no mundo real. Por iso, esta Tese centrouse en dirixir a investigación neste campo cara a un entorno da vida real. Para iso, construíuse un conxunto de datos propio co que realizar a investigación principal, baseado nos sensores dos smartphones persoais de 19 individuos diferentes. A principal diferenza deste conxunto de datos con respecto aos xa existentes na comunidade científica é que estas persoas tiveron a maior liberdade posible para usar o seu smartphone durante a recollida de datos. Deste xeito, aínda realizando conceptualmente a mesma acción, os datos resultantes poden variar, xa que cada individuo pode utilizar o smartphone de forma diferente, tal e como ocorre na vida diaria. Así, unha vez obtidos os datos, realizouse un estudo exhaustivo sobre eles, na procura dos mellores modelos de machine learning e deep learning para clasificar os datos segundo as accións estudadas. Os resultados confirman a posibilidade de transferir os coñecementos adquiridos a un entorno da vida real. Entre os métodos utilizados, convén destacar, en relación aos seus rendementos, aos modelos baseados en árbores, como Random Forest, e outros de deep learning como as redes de neuronas convolucionais (CNN) ou redes neuronais recorrentes baseadas na técnica de Long Short-Term Memory (LSTM).