Resumen de Lifelike Humans: Detailed Reconstruction of Expressive Human Faces

Gemma Rotger Moll

• español

  Desarrollar personajes digitales similares a los humanos es un reto, ya que los humanos estamos acostumbrados a reconocernos entre nosotros y a encontrar a los CGI poco humanos. Para cumplir con los estándares de las producciones de videojuegos y películas digitales, es necesario modelar y animar a estos personajes de la manera más parecida posible a los humanos. Sin embargo, es una tarea ardua y costosa, ya que se requiere a muchos artistas y especialistas trabajando en un solo personaje. Por lo tanto, para cumplir con estos requisitos, encontramos la creación automática de CGIs detallados a través de setups económicos una opción interesante para estudiar. En este trabajo, desarrollamos técnicas novedosas para conseguir personajes detallados combinando diferentes aspectos que se destacan al desarrollar el realismo como detalles de la piel, pelos faciales, expresiones y microexpresiones. Examinamos cada una de las áreas mencionadas con el objetivo de recuperar cada una de las partes automáticamente sin interacción del usuario ni datos para el aprendizaje. Estudiamos los problemas buscando su robustez, pero también la simplicidad de la configuración, prefiriendo soluciones que requieren una sola imagen con iluminación no controlada y cálculos que pueden obtenerse con la comodidad de un ordenador portátil estándar. Una cara detallada con arrugas y detalles de la piel es vital para desarrollar un personaje realista. En este trabajo, presentamos nuestro método para describir automáticamente las arrugas faciales en la imagen y transferirlas a la cara base recuperada. Luego proponemos la recuperación del vello facial resolviendo un problema de ajuste de parámetros con un nuevo modelo de vello facial parametrizable. Por último, introducimos una función de mapeo que permite transferir expresiones y microexpresiones entre diferentes mallas, lo que proporciona animaciones realistas a nuestra cara detallada. Cubrimos todos los puntos mencionados con el enfoque puesto en aspectos clave como (i) cómo describir las arrugas faciales de una manera simple y directa, (ii) cómo recuperar 3D a partir de las detecciones 2D, (iii) cómo recuperar y modelar el vello facial de 2D a 3D, (iv) cómo transferir expresiones entre modelos que contienen tanto el detalle de la piel como el vello facial, (v) cómo realizar todas las acciones descritas sin datos de entrenamiento ni interacción del usuario. En este trabajo, presentamos nuestras propuestas para resolver estos aspectos con una configuración eficiente y simple. Validamos nuestro trabajo con varios conjuntos de datos, tanto sintéticos como reales, demostrando resultados notables incluso en casos desafiantes como oclusiones por gafas, barbas densas y, incluso, trabajando con diferentes topologías faciales como cíclopes de un solo ojo.

• català

  El desenvolupament de personatges digitals semblants a les persones és una tasca difícil, ja que els humans estem acostumats a reconèixer-nos entre nosaltres i trobar els CGI poc humanitzats. Per complir els estàndards de les produccions de videojocs i pel·lícules digitals és necessari modelar i animar aquests personatges el més proper als éssers humans. Tanmateix, és una tasca difícil i cara, ja que requereix molts artistes i especialistes treballant en un sol personatge. Per tant, per complir aquests requisits, trobem la creació automàtica de cares detallades mitjançant setups de baix cost una opció interessant per estudiar. En aquest treball, desenvolupem tècniques noves per aconseguir cares detallades combinant diferents aspectes que destaquen a l’hora de desenvolupar personatges realistes, detalls de la pell, pèls i expressions facials i microexpressions. Examinem cadascuna de les àrees esmentades amb l’objectiu de recuperar-les automàticament sense interacció de l’usuari ni dades de aprenentatge. Estudiem els problemes buscant la seva robustesa, però també la simplicitat de la configuració, preferint solucions basades en una sola imatge amb il·luminació incontrolada i mètodes que es poden calcular fàcilment amb un ordinador portàtil estàndard. Una cara detallada amb arrugues i detalls de la pell és vital per desenvolupar un personatge realista. En aquest treball, introduïm el nostre mètode per descriure automàticament les arrugues facials de la imatge i transferir-les a la cara base recuperada. A continuació, avancem a la recuperació del cabell facial mitjançant la resolució d’un problema de parametrització amb un nou model de cabell facial. Per últim, desenvolupem una funció de mapatge que permet transferir expressions i microexpressions entre diferents malles facials, que proporciona animacions realistes a la nostra cara detallada. Cobrim tots els punts esmentats parant atenció als aspectes clau com (i) com descriure les arrugues facials d’una manera senzilla, (ii) com recuperar 3D a partir de deteccions 2D, (iii) com recuperar i modelar el cabell facial a partir de 2D a 3D, (iv) com transferir expressions entre models amb detalls de la pell i cabells facials, (v) com realitzar totes les accions descrites sense dades d’aprenentatge ni interacció de l’usuari. En aquest treball, presentem les nostres propostes per resoldre aquests aspectes amb una configuració eficient i senzilla. Validem el nostre treball amb diversos conjunts de dades tant sintètiques com reals, obtenint resultats remarcables fins i tot en casos tan difícils com oclusions per ulleres, barbes denses, inclús treballant amb diferents topologies facials com ciclops d’un sol ull.

• English

  Developing human-like digital characters is a challenging task since humans are used to recognizing our fellows, and find the computed generated characters inadequately humanized. To fulfill the standards of the videogame and digital film productions it is necessary to model and animate these characters the most closely to human beings.

  However, it is an arduous and expensive task, since many artists and specialists are required to work in a single character. Therefore, to fulfill these requirements we found an interesting option to study the automatic creation of detailed characters through inexpensive setups. In this work, we develop novel techniques to bring detailed characters by combining different aspects that stand out when developing realistic characters, skin detail, facial hairs, expressions, and microexpressions. We examine each of the mentioned areas with the aim of automatically recover each of the parts without user interaction nor training data. We study the problems for their robustness but also for the simplicity of the setup, preferring single-image with uncontrolled illumination and methods that can be easily computed with the commodity of a standard laptop. A detailed face with wrinkles and skin details is vital to develop a realistic character. In this work, we introduce our method to automatically describe facial wrinkles on the image and transfer to the recovered base face. Then we advance to the facial hair recovery by resolving a fitting problem with a novel parametrization model. As of last, we develop a mapping function that allows transfer expressions and microexpressions between different meshes, which provides realistic animations to our detailed mesh. We cover all the mentioned points with the focus on key aspects as (i) how to describe skin wrinkles in a simple and straightforward manner, (ii) how to recover 3D from 2D detections, (iii) how to recover and model facial hair from 2D to 3D, (iv) how to transfer expressions between models holding both skin detail and facial hair, (v) how to perform all the described actions without training data nor user interaction. In this work, we present our proposals to solve these aspects with an efficient and simple setup. We validate our work with several datasets both synthetic and real data, prooving remarkable results even in challenging cases as occlusions as glasses, thick beards, and indeed working with different face topologies like single-eyed cyclops.