Computational analysis of expressivity in classical guitar performances

Abstract

L’estudi de l’expressivitat musical és un camp molt actiu en la computació musical. El seu interès ve donat per diverses motivacions: entendre i modelitzar l’expressivitat musical; identificar els recursos expressius que caracteritzen un instrument, gènere musical o intèrpret; i construir sistemes de síntesi amb la capacitat de reproduir música expresivament. Per abordar aquest problema tan ampli, la literatura existent tendeix a focalitzarse en instruments o gèneres musicals concrets. En aquesta tesi, ens hem focalitzat en l’anàlisi de la expressivitat en la guitarra clàssica y el nostre objectiu serà modelitzar l’ús de recursos expressius en aquest instrument. Els fonaments de tots els mètodes utilitzats en aquesta tesi estan basats en tècniques de búsqueda y recuperació de la informació, aprenentatge automàtic y processament del senyal. Concretament, combinem diversos algorismes de l’estat de l’art per fer una proposta de caracterització de l’ús dels recursos expressius. La guitarra clàssica és un instrument que es caracteritza per la diversitat de les seves possibilitats tímbriques. Els guitarristes professionals són capaços de transmetre molts matisos durant la interpretació d’una peça musical. Aquesta característica específica de la guitarra clàssica fa que l’anàlisi d’aquest instrument sigui una tasca difícil. Dividim el nostre anàlisi en dues línies de treball principals. La primera línia proposa una eina capaç d’identificar automàticament recursos expressius en el context d’una gravació comercial. Construim un model amb l’objectiu d’analitzar i extreure automàticament els tres recursos expressius més utilitzats: legato, glissando i vibrato. La segona línia proposa un anàlisi integral de desviacions de tempo en la guitarra clàssica. De les variacions, potser les més importants siguin les variacions de tempo: són fonamentals per a la interpretació expressiva i un ingredient clau per conferir una qualitat humana a interpretacions basades en ordinador. No obstant, la naturalesa d’aquestes variacions és encara un problema d’investigació que no ha estat resolt, amb diverses teories que apunten a un fenòmen multi-dimensional. El nostre sistema utilitza tècniques d’extracció de característiques i aprenentatge automàtic. La precisió de la classificació mostra que les desviacions de tempo són predictors precisos de la peça musical corresponent. Para recapitular, aquesta tesi contribueix al camp de l’anàlisi expressiu proveint un model automàtic d’articulació expressiva i un sistema predictor de peces musicals que analitza les desviacions de tempo. Finalment, aquesta tesi analitza el comportament dels models proposats utilitzant gravacions comercials.

The study of musical expressivity is an active field in sound and music computing. The research interest comes from different motivations: to understand or model musical expressivity; to identify the expressive resources that characterize an instrument, musical genre, or performer; or to build synthesis systems able to play expressively. To tackle this broad problem, researchers focus on specific instruments and/or musical styles. Hence, in this thesis we focused on the analysis of the expressivity in classical guitar and our aim is to model the use of expressive resources of the instrument. The foundations of all the methods used in this dissertation are based on techniques from the fields of information retrieval, machine learning, and signal processing. We combine several state of the art analysis algorithms in order to deal with modeling the use of the expressive resources. Classical guitar is an instrument characterized by the diversity of its timbral possibilities. Professional guitarists are able to convey a lot of nuances when playing a musical piece. This specific characteristic of classical guitar makes the expressive analysis is a challenging task. The research conducted focuses on two different issues related to musical expressivity. First, it proposes a tool able to automatically identify expressive resources such as legato, glissando, and vibrato, in commercial guitar recordings. Second, we conducted a comprehensive analysis of timing deviations in classical guitar. Timing variations are perhaps the most important ones: they are fundamental for expressive performance and a key ingredient for conferring a human-like quality to machine-based music renditions. However, the nature of such variations is still an open research question, with diverse theories that indicate a multi-dimensional phenomenon. Our system exploits feature extraction and machine learning techniques. Classification accuracies show that timing deviations are accurate predictors of the corresponding piece. To sum up, this dissertation contributes to the field of expressive analysis by providing, an automatic expressive articulation model and a musical piece prediction system by using timing deviations. Most importantly, it analyzes the behavior of proposed models by using commercial recordings.

El estudio de la expresividad musical es un campo muy activo en la computación musical. El interés en investigar ésta área tiene distintas motivaciones: entender y modelar la expresividad musical; identificar los recursos expresivos que caracterizan un instrumento, género musical, o intérprete; y construir sistemas de síntesis con la capacidad de reproducir música expresivamente. Para abordar este problema tan amplio, la literatura existente tiende a enfocarse en instrumentos o géneros musicales específicos. En esta tesis nos enfocaremos en el análisis de la expresividad en la guitarra clásica y nuestro objetivo será modelar el uso de recursos expresivos en este instrumento. Los fundamentos de todos los métodos usados en esta tesis están basados en técnicas de búsqueda y recuperación de la información, aprendizaje automático y procesamiento de señales. Combinamos varios algoritmos del estado del arte para lidiar con el modelado del uso de los recursos expresivos. La guitarra clásica es un instrumento que se caracteriza por la diversidad de sus posibilidades tímbricas. Los guitarristas profesionales son capaces de transmitir muchos matices durante la interpretación de una pieza musical. Esta característica específica de la guitarra clásica hace que el análisis de este instrumento sea una tarea difícil. Dividimos nuestro análisis en dos líneas de trabajo principales. La primera línea propone una herramienta capaz de identificar automáticamente recursos expresivos en el contexto de una grabación comercial. Construimos un modelo con el objetivo de analizar y extraer automáticamente los tres recursos expresivos más utilizados: legato, glissando y vibrato. La segunda línea propone un análisis integral de desviaciones de tiempo en la guitarra clásica. De las variaciones, quizás las más importantes sean las variaciones de tiempo: son fundamentales para la interpretación expresiva y un ingrediente clave para conferir una cualidad humana a interpretaciones basadas en ordenador. No obstante, la naturaleza de tales variaciones es aún un problema de investigación que no ha sido resuelto, con diversas teorías que apuntan a un fenómeno multi-dimensional. Nuestro sistema utiliza técnicas de extracción de características y aprendizaje de automático. La precisión de la clasificación muestra que las desviaciones de tiempo son predictores precisos de la pieza musical correspondiente. Para recapitular, esta tesis contribuye al campo del análisis expresivo proveyendo un modelo automático de articulación expresiva y un sistema predictor de piezas musicales que emplea desviaciones de tiempo. Finalmente, esta tesis analiza el comportamiento de los modelos propuestos utilizando grabaciones comerciales.

Programa de doctorat en Tecnologies de la Informació i les Comunicacions