Resumen de Statistical modelling and resynthesis of environmental texture sounds

Stefan Kersten

• Los sonidos texturales ambientales son parte integral de nuestra vida diaria, a pesar de que muchas veces pasen desapercibidos. Constituyen esos elementos de nuestro entorno sonoro que solemos percibir de manera subconsciente pero que extrañamos cuando desaparecen. Esos sonidos son también cada vez más importantes a la hora de añadir realismo a los ambientes virtuales, desde mundos artificiales de inmersión hasta sistemas móviles de realidad aumentada, pasando por juegos de ordenador.

  Este trabajo abarca todo el espectro desde métodos de síntesis de sonido estocásticos basados en datos hasta entornos distribuidos de realidad virtual, así como sus implicaciones estéticas y tecnológicas. Proponemos un marco para modelar estadísticamente sonidos ambientales texturales en diferentes representaciones sparse de señales. Exploramos tres tipos diferentes de instanciación de este marco, dos de las cuales constituyen una nueva manera de representar sonidos texturales en un modelo estadístico sparse inspirado físicamente así como de estimar parámetros de modelo a partir de ejemplos de sonido grabados. Proponemos un nuevo método para interactuar de manera creativa con conjuntos de segmentos de sonido organizados en un espacio bidimensional y evaluamos nuestro trabajo en un contexto educativo para músicos y artistas sonoros. Por último, describimos dos entornos diferentes de creación y simulación en la creación de paisajes sonoros para entornos de realidad virtual y aplicaciones de audio de realidad aumentada. Estos sistemas sirven como campo de experimentación para explorar posibles aplicaciones de modelos de síntesis de sonido textural ambiental.

  Evaluamos la validez de los sistemas desarrollados en el contexto de un entorno prototipo de realidad aumentada y dentro del contexto comercial de una plataforma móvil de audio basada en la localización. Asimismo, introducimos un nuevo motor de síntesis sonora que sirve de base para la representación de extensos paisajes sonoros en tiempo real. Su rendimiento se evalúa en el contexto de una plataforma comercial de audio basada en la localización utilizada diariamente por los creadores de contenido y por los usuarios finales.

  En resumen, esta tesis contribuye al avance del estado actual de la técnica en el modelaje estadístico de texturas sonoras ambientales al explorar nuevas formas de representación de esos sonidos en un contexto sparse. Nuestra investigación ha contribuido significativamente a la realización exitosa de una innovadora plataforma de audio basada en la localización.

  Publicaciones relacionadas:

  1. Kersten, S., Purwins, H. (2012). Sparse Decomposition, Clustering and Noise for Fire Texture Sound Re-Synthesis. Proceedings of the 15th International Conference on Digital Audio Effects (DAFx).

  2. Garcia, J., Kersten, S., Janer, J. (2011). Towards equalization of environmental sounds using auditory-based features. Audio Mostly Conference on Interaction with Sound.

  3. Janer, J., Kersten, S., Schirosa, M., & Roma, G. (2011). An online platform for interactive soundscapes with user-contributed content. AES 41st International Conference on Audio for Games.

  4. Kersten, S., Lackner, W. (2010). Mescaline: Data-Driven Synthesis for the Masses. Proceedings of the SuperCollider symposium 2010.

  5. Kersten, S., & Purwins H. (2010). Sound Texture Synthesis with Hidden Markov Tree Models in the Wavelet Domain. Sound and Music Computing Conference.

  6. Schirosa, M., Jordi J., Kersten S., & Roma G. (2010). A system for soundscape generation, composition and streaming. XVII CIM - Colloquium of Musical Informatics.

  7. Roma, G., Janer J., Kersten S., Schirosa M., Herrera P., & Serra X. (2010). Ecological acoustics perspective for content-based retrieval of environmental sounds. EURASIP Journal on Audio, Speech, and Music Processing.

  8. Roma, G., Janer J., Kersten S., Schirosa M., & Herrera P. (2010). Content-based retrieval from unstructured databases using an ecological acoustics taxonomy. International Community for the Auditory Display.

  9. Janer, J., Finney N., Roma G., Kersten S., & Serra X. (2009). Supporting Soundscape Design in Virtual Environments with Content-based Audio Retrieval. Journal of Virtual Worlds Research. 2(3).