Resumen de Analog Joint Source Channel Coding for Image and Video Encoding and Transmission
- español
En los últimos años ha aumentado significativamente el uso de dispositivos conectados a Internet, en particular los smartphones y los dispositivos de Internet of things (IoT). Estos últimos están experimentando un enorme crecimiento gracias al abaratamiento de los costes, la mejora de las comunicaciones inalámbricas y las nuevas aplicaciones que van apareciendo. Aunque hay innumerables aplicaciones, son las aplicaciones multimedia que hacen uso de imágenes y vídeo las que requieren más potencia de cálculo y recursos de ancho de banda. En la actualidad, los sistemas más avanzados de transmisión de imagen y vídeo se centran en soluciones digitales que requieren complejos sistemas de codificación con muchos procesos para conseguir altas tasas de compresión sin perder calidad visual. Además, los sistemas de transmisión digital necesitan introducir redundancia para evitar errores causados por el canal de comunicación, requieren un mecanismo de retroalimentación entre el receptor y el transmisor para adaptar la tasa de transmisión a las condiciones del canal y, en caso de que estos mecanismos fallen, la información debe ser retransmitida para permitir su correcta decodificación. En este trabajo se proponen sistemas de codificación y transmisión de imagen y vídeo analógicos centrados en dispositivos IoT con recursos de procesamiento de datos limitados y considerando especialmente las comunicaciones inalámbricas de radiodifusión. Los sistemas propuestos adaptan la calidad visual recibida a las condiciones del canal sin conocimiento del mismo. La información más relevante para la calidad visual se protege contra las distorsiones introducidas por el canal mediante redundancia, mientras que la cantidad de información que se transmite puede ser ajustada al ancho de banda disponible y a la calidad visual deseada descartando cierta información para comprimirla. Este trabajo contiene una revisión detallada del estado del arte, incluyendo un análisis de las principales tareas de procesamiento de señales y transformaciones matemáticas utilizadas. A partir deste análisis y de los requisitos del escenario considerado, se proponen varios esquemas de codificación y transmisión basados en el uso de una codificación fuente-canal conjunta analógica. En primer lugar, se analizan todas las decisiones de diseño con respecto a los sistemas de imagen y vídeo propuestos y, a continuación, se evalúan experimentalmente sus prestaciones según métricas de calidad de imagen como la structural similarity index measure (SSIM) o la peak signal-to-noise ratio (PSNR). También se realizan análisis subjetivos de la calidad de la imagen percibida. En todos los casos, los resultados obtenidos se contrastan con los producidos por los sistemas de referencia disponibles en la literatura, incluyendo enfoques analógicos, híbridos y totalmente digitales. En el caso del sistema propuesto para la codificación y transmisión de imágenes analógicas, la evaluación se realiza no sólo considerando canales simulados, sino también transmisiones por aire realizadas con un demostrador.
- English
The use of Internet-connected devices, particularly smartphones and Internet of things (IoT) devices, has significantly increased in recent years. The latter are experiencing a tremendous growth thanks to lower costs, improved wireless communications and new applications. Although there are countless applications, it is the multimedia applications that make use of images and video that require the most computing power and bandwidth resources. Today, the most advanced image and video transmission systems focus on digital solutions that require complex encoding systems with many processes to achieve high compression rates without losing visual quality. In addition, digital transmission systems need to introduce redundancy to avoid errors caused by the channel, require a feedback channel between the receiver and the transmitter to adapt the transmission rate to the channel conditions and, in case these mechanisms fail, the information must be retransmitted to allow its correct decoding. In this work, analog image and video encoding and transmission systems are proposed focusing on IoT devices with limited data processing resources and especially considering broadcast wireless communications. The proposed systems adapt the received visual quality to the channel conditions without channel knowledge. The most relevant information for visual quality is protected against channel distortions by means of redundancy, while the total amount of transmitted information can be adjusted to the available bandwidth and the desired visual quality by discarding certain information to be compressed. This work contains a detailed review of the state of the art, including an analysis of the main signal processing tasks and mathematical transformations used. Considering this analysis and the scenario requirements, several encoding and transmission schemes have been proposed for multimedia content which are based on the use of analog joint source-channel coding. First, all design decisions with respect to the proposed image and video systems are analyzed, and then their performance is experimentally evaluated according to image quality metrics such as the structural similarity index measure (SSIM) or the peak signal-to-noise ratio (PSNR). Subjective analyzes of perceived image quality are also performed. In all cases, the results obtained are contrasted with those produced by reference systems available in the literature, including analog, hybrid, and fully digital approaches. In the case of the proposed system for analog image coding and transmission, the evaluation is carried out not only considering simulated channels, but also over-the-air transmissions performed with a testbed.
- galego
Nos últimos anos aumentou significativamente o uso de dispositivos conectados a Internet, en particular os smartphones e os dispositivos de Internet of things (IoT). Estes últimos están experimentando un enorme crecemento grazas ao abaratamento dos custos, mellora das comunicacións sen fíos e ás novas aplicacións que van aparecendo. Aínda que hai innumerables aplicacións, son as aplicacións multimedia que fan uso de imaxes e vídeo as que requiren máis potencia de cálculo e maiores recursos de ancho de banda. Na actualidade, os sistemas máis avanzados de transmisión de imaxe e vídeo céntranse en solucións dixitais que requiren complexos sistemas de codificación con moitos procesos para conseguir altas taxas de compresión sen perder calidade visual. Ademais, os sistemas de transmisión dixitais precisan introducir redundancia para evitar erros causados pola canle de comunicación, requiren dun mecanismo de retroalimentación entre o receptor e o transmisor para adaptar a taxa de transmisión ás condicións da canle e, no caso de que estes mecanismos fallen, a información debe ser retransmitida para permitir a súa correcta decodificación. Neste traballo propóñense sistemas de codificación e transmisión de imaxe e vídeo analóxicos centrados en dispositivos IoT con recursos de procesamento de datos limitados e considerando especialmente as comunicacións sen fíos de radiodifusión. Os sistemas propostos adaptan a calidade visual recibida ás condicións da canle sen coñecemento do mesmo. A información máis relevante para a calidade visual protéxese contra as distorsións introducidas pola canle mediante redundancia, mentres que a cantidade de información que se transmite pode ser axustada ao ancho de banda dispoñible e á calidade visual desexada descartando certa información para comprimila. Este traballo contén unha revisión detallada do estado da arte, incluíndo unha análise das principais tarefas de procesamiento de sinais e transformacións matemáticas utilizadas nos sistemas existentes. A partir desa análise e dos requisitos do escenario considerado, propóñense varios esquemas de codificación e transmisión baseados no uso dunha codificación fonte-canal conxunta analóxica. En primeiro lugar, analízanse todas as decisións de deseño con respecto aos sistemas de imaxe e vídeo propostos e, a continuación, avalíanse experimentalmente as súas prestacións segundo métricas de calidade de imaxe como a structural similarity index measure (SSIM) ou a peak signal-to-noise ratio (PSNR). Tamén se realizan análises subxectivas da calidade da imaxe percibida. En todos os casos, os resultados obtidos contrástanse cos producidos polos sistemas de referencia dispoñibles na literatura, incluíndo enfoques analóxicos, híbridos e totalmente dixitais. No caso do sistema proposto para a codificación e transmisión de imaxes analóxicas, a avaliación realízase non só considerando canles simuladas, senón tamén transmisións por aire realizadas cun demostrador.
