Towards efficient and realistic 3d garment animation through deep learning

• Autores: Hugo Bertiche Argila
• Directores de la Tesis: Sergio Escalera Guerrero (dir. tes.) , Meysam Madadi (codir. tes.)
• Lectura: En la Universitat de Barcelona ( España ) en 2022
• Idioma: inglés
• Tribunal Calificador de la Tesis: Jordi González Sabaté (presid.) , Xavier Baro Sole (secret.) , Hugo Jair Escalante (voc.)
• Enlaces
  • Tesis en acceso abierto en: TESEO
• Resumen

  • El aprendizaje automático ha experimentado un auge gracias a el aprendizaje profundo. La visión 3D es uno de los muchos campos que se beneficiaron de esta tendencia. Como punto de partida, empiezo esta tesis en la reconstrucción de humanos en 3D a partir de imágenes fijas. Combinando una CNN y una novedosa solución de gráficos inversos, defino los pasos para predecir humanos volumétricos como mallas 3D. En el próximo paso, dirijo mi atención al modelado de prendas en 3D para una representación humana completa. Los modelos de aprendizaje profundo requieren grandes volúmenes de datos. Por esta razón, explico mi trabajo desarrollando el mayor conjunto de datos de prendas 3D, CLOTH3D. Además, describo un modelo de referencia para la generación de prendas 3D entrenado en CLOTH3D. Después de identificar los principales inconvenientes del modelo, presento una solución novedosa para el problema de la animación de prendas. Los modelos de aprendizaje profundo generalmente requieren datos con una dimensionalidad fija. Trabajos relacionados propusieron costosos preprocesamientos de datos para uniformizarlos, disminuyendo la calidad, entre otros inconvenientes. Centrándome únicamente en la animación de prendas, diseñé un modelo totalmente convolucional que no sufre el problema antes mencionado. Este nuevo modelo puede animar incluso atuendos completamente nuevos. No obstante, la animación de telas es un problema tremendamente complejo. Los modelos profundos que codifican múltiples prendas terminan mostrando una calidad inferior. Además, noté inconvenientes significativos en los esquemas de aprendizaje supervisado para prendas de vestir. Motivado por estas observaciones, ideé una técnica novedosa que permite el entrenamiento sin supervisión para la tarea de animación de prendas en 3D. Como consecuencia, esta metodología conduce a modelos más pequeños y robustos que se pueden obtener en cuestión de minutos. Además, muestra un nivel de rendimiento sin precedentes. Debido a esto, se convirtió en la primera opción viable para la animación profunda de prendas en aplicaciones reales. No obstante, es un enfoque estático. La dinámica de la tela es crucial para la animación adecuada de la prenda. Finalmente, la última de mis contribuciones describe cómo aprender dinámicas de telas sin supervisión, completando la solución para la animación de prendas.