Machine leaning methods for solar irradiance forecast blending and estimation

• Autores: Javier Huertas Tato
• Directores de la Tesis: Ricardo Aler Mur (dir. tes.) , Inés María Galván León (codir. tes.)
• Lectura: En la Universidad Carlos III de Madrid ( España ) en 2019
• Idioma: inglés
• Tribunal Calificador de la Tesis: Pedro Isasi Viñuela (presid.) , Esteban García Cuesta (secret.) , Ricardo Simon Carbajo (voc.)
• Enlaces
  • Tesis en acceso abierto en: e-Archivo
• Resumen

  • Resumen Técnico 1. Introducción y Motivación Desde hace más de una década la sociedad científica ha predicho el avance del cambio climático y el calentamiento global. Las temperaturas del planeta tierra se han elevado considerablemente desde niveles pre-industriales. A fecha de 2019 las temperaturas ya se han alzado en 0.85º, con consecuencias tangentes. Cada año se baten records en temperaturas máximas y la frecuencia de desastres atmosféricos ha crecido notablemente.

    Una de las causas mayoritarias de este efecto son los combustibles fósiles. La emisión de gases invernadero por la industria energética causa que la radiación solar quede atrapada en la atmósfera y que la superficie terrestre se caliente en exceso. Las consecuencias de prolongar el uso de estas energías podrían ser irreversibles alrededor del año 2030.

    En este ámbito, las energías limpias o renovables se presentan como la mejor alternativa a fuentes de energía fósiles. Existen muchas alternativas renovables, pero dos de los recursos más utilizados son la energía solar y eólica. Estas energías se obtienen a partir de la radiación solar y de la dinámica atmosférica. Ambas comparten problemáticas relacionadas, con desafíos tecnológicos que todavía deben ser resueltos. En esta tesis se revisan algunos de dichos desafíos para el campo de la energía solar.

    Dada la proliferación reciente de la industria de energía solar han aparecido necesidades nuevas. Tradicionalmente en energías fósiles era fácil poder hacer una oferta energética fiable para el mercado energético. Las plantas de carbón o petróleo podían modificar sus condiciones operativas y tener predicciones fiables de cuanta demanda podrían cubrir en el mercado energético. Este no es el caso para la energía solar. Al contrario que estas fuentes convencionales, la energía solar está condicionada por el clima, una propiedad muy intermitente. Es muy difícil estimar o predecir la energía que producirá una planta de energía solar, debido a la intermitencia que producen las nubes a lo largo de horas o días. Este problema hace que sean necesario algoritmos de predicción muy potentes para que las ofertas energéticas que subasta una planta solar sean fiables. Las predicciones erróneas tienen duras penalizaciones económicas para dichas plantas.

    Pese a repetidos esfuerzos los modelos de predicción y estimación son incapaces de analizar los movimientos de las nubes para más de unos días. Las interacciones atmosféricas son un fenómeno complejo y extremadamente caótico. La energía solar está fuertemente ligada al tipo de nube presente, siendo la principal fuente de interferencia con la energía solar que alcanza la superficie terrestre. La influencia de las nubes es enorme en la producción de energía solar.

    La energía solar, por tanto, presenta desafíos que requieren resolución. Una prometedora solución a estos problemas es el uso de aprendizaje automático. Esta rama de la inteligencia artificial hace uso de grandes volúmenes de datos para inferir relaciones ocultas en un grupo de entradas determinado. A lo largo de las dos últimas décadas esta categoría de algoritmos ha sido utilizada para desarrollar modelos de estimación y predicción cada vez más potentes. Estos ofrecen resultados mucho más precisos que métodos de predicción y estimación física. La aplicación de aprendizaje automático a energía solar todavía es un campo de investigación en desarrollo y hay un amplio margen de mejora para la estimación de radiación y la predicción a corto plazo.

    En esta tesis se abordan dos problemas diferentes, la estimación y la predicción de radiación. La estimación consiste en inferir variables de una serie temporal en el estado de tiempo actual, a partir de otras fuentes de información, habitualmente más sencillas de medir. En este caso se quiere estimar radiación solar a partir de información de nubes. Por otro lado, la predicción consiste en la inferencia de variables de una serie temporal en un estado de tiempo futuro, habitualmente utilizando datos históricos (presentes y pasados). Aquí se propone un método de predicción de radiación usando integración de otras predicciones, usando un metamodelo que agrega las predicciones de modelos de carácter físico.

    Este resumen se divide en partes similares a la tesis. Los trabajos de estimación son dos, la parte de clasificación de nubes y la estimación directa a partir de cámaras. Se describe también la sección de predicción con el trabajo de integración de predicciones. Al final de este resumen se pueden encontrar las aportaciones realizadas por este trabajo.

    2. Clasificación de nubes Las nubes son el principal componente de la interferencia entre la radiación extraterrestre y la radiación superficial. Conocer el tipo de nube concreto que está cubriendo el cielo implica poder estimar (o incluso predecir) radiación con gran precisión. La textura, altura, ancho y otras propiedades de tipos de nube concretos son factores que influencia la luz solar de formas conocidas. Sin embargo, su uso no es viable en un entorno operativo, debido a la necesidad de expertos meteorólogos para clasificar dichas nubes. La clasificación manual es demasiado lenta como para ser utilizada, mantener expertos es muy costoso y además, en casos difíciles, ofrecen clasificaciones contradictorias e inconsistentes.

    Por ello se identifica la necesidad de un modelo de clasificación de nubes automático. Estos modelos se pueden beneficiar de múltiples fuentes de información, entre ellas el ceilómetro. Esta herramienta nunca había sido utilizada en este contexto y ofrece información sobre la altura y anchura de una nube. La finalidad de este estudio es identificar si el ceilómetro mejora notablemente los resultados en el ámbito de clasificación de nubes.

    Con este fin se desarrollan varios modelos (con y sin ceilómetro) de aprendizaje automático para comparar la precisión. A su vez, los modelos son entrenados y evaluados sobre un conjunto de datos exigente, con dos etiquetados de nubes: una primera muy habitual en este problema de 7 tipos de nube; y una segunda poco frecuente y mucho más estricta, dividida en 10 tipos de nube. Adicionalmente se incluye el tipo “multinube” que representa casos difíciles en los que varios tipos de nube se han superpuesto.

    Se utiliza información de cámara como base para identificar la aportación del ceilómetro. En concreto se utilizan tres categorías diferentes de estadísticos. La primera categoría son los estadísticos texturales, que operan directamente sobre los canales de color RGB de una imagen dada. Estos son: La media de valores de los canales rojo y azul, la desviación estándar del canal azul, el sesgo del canal azul y las tres diferencias de medias entre los canales rojo, verde y azul.

    La segunda categoría de estadísticos, los estadísticos texturales, operan sobre una transformación de los canales llamada matriz de grises. Una matriz de grises contiene la frecuencia relativa con la que dos valores de píxel aparecen juntos en una dirección concreta y tiene tantas posiciones como niveles de gris se consideren. En este caso la matriz de grises se construye comparando todos los píxeles por pares hacia la derecha y haciendo un recuento por cada vez que dos valores aparecen contiguos. A partir de esta matriz se detectan estadísticos que tienen en cuenta bordes y otros detalles de la imagen. Se ha calculado la matriz de grises para el color azul y se han extraído la energía, entropía, homogeneidad y contraste.

    El último estadístico es la cobertura. Para encontrar la cobertura hay que, primero, detectar los píxeles nubosos de la imagen. Esto se lleva a cabo primero identificando la saturación de cada píxel RGB y posteriormente marcando los valores que superen cierto umbral. Contando los píxeles nubosos y dividiendo entre el número de píxeles totales se halla el porcentaje de cobertura.

    Se quieren encontrar el aporte de tres entradas de ceilómetro. Este instrumento es capaz de detectar múltiples capas de nubes, con lo que puede dar medidas para dichas capas. Se miden la altura y anchura de las tres primeras capas de nube. Adicionalmente se cuenta el número de capas presentes en el cielo como tercera medida.

    La técnica de Random Forest es comúnmente utilizada entre los algoritmos de aprendizaje automático más potentes. Sin embargo, su uso es poco frecuente en clasificación de nubes. Ha sido utilizado para entrenar los distintos modelos que se describen en la tesis. Los hiper parámetros del Random Forest son ajustados automáticamente por fuerza bruta, usando validación cruzada de 10 particiones con el conjunto de entrenamiento.

    Para validar los modelos construidos con Random Forest se realiza 10 veces validación cruzada de 10 particiones. Se disponen de 717 imágenes de cielo etiquetadas con sus respectivas clases. Se mide tanto la precisión como la “macro-average” (Media de las precisiones de cada tipo de nube) para evaluar los modelos.

    Se han construido varios modelos, para 7 y 10 tipos de nube, con y sin la clase multinube; y finalmente usando y sin incluir información de ceilómetro, Esta batería de pruebas ofrece resultados muy prometedores para el uso del ceilómetro. Comparando contra el uso exclusivo de información de cámara, la inclusión de información del ceilómetro incrementa notablemente la precisión de los modelos, con mejoras absolutas en la precisión de entre 15% y 17% para 7 tipos de nube; o de entre 18% y 20% para 10 tipos de nube.

    3. Estimación con cámara Además de la problemática encontrada con las nubes, recuperar datos de radiación es una tarea costosa. Los instrumentos de medición más habituales como piranómetros y pirheliómetros son muy caros: requieren constante mantenimiento, supervisión y tienen un precio inicial muy elevado. Estas propiedades hacen que el campo de la radiación solar sea poco accesible para investigadores.

    Una alternativa es usar cámaras comerciales, de la misma manera en que se pueden obtener imágenes de nubes, es posible estimar radiación a partir de cámaras. Estos instrumentos no tienen el coste o requisitos de mantenimiento que requieren las herramientas de medición, por lo que son ideales para hacer mediciones. Además de la cámara, requieren un modelo que transforme la imagen en una medición de radiación.

    El reconocimiento de imágenes mediante aprendizaje automático es una aproximación común, siendo las Redes Convolucionales un algoritmo muy utilizado. Este tipo de red neuronal es muy potente para la clasificación y detección de rasgos de imágenes, por lo que es una técnica muy adecuada a este problema.

    Pocos trabajos examinan la estimación de radiación desde el reconocimiento de imágenes y muchos menos trabajan con la imagen de forma directa. En esta sección se propone utilizar redes convolucionales para ofrecer una arquitectura potente, adecuada al problema de estimación de radiación. Para ello se proponen varias mejoras sobre una arquitectura estándar de red convolucional.

    Una primera arquitectura de una sola cámara es propuesta, con ciertas inclusiones. Además de los canales habituales de color RGB, se incluyen dos nuevos canales que contienen información del cielo. El primer canal representa los píxeles nubosos de la imagen, extraídos con un algoritmo de detección llamado HYTA, más potente que el umbral aplicado en la anterior sección. HYTA utiliza dos umbrales, uno estático para imágenes de cielo despejado y otro dinámico en función del histograma de color azul de la imagen para imágenes de cielo cubierto. El otro canal de información es la distancia de un pixel al sol. Se encuentra el píxel centro del sol, el disco solar y se mide la distancia euclídea de cualquier punto de la imagen al centro para crear una matriz de distancias.

    Estos canales son procesados mediante una CNN modificada, usando como capa convolucional inicial una convolución dilatada. Este operador funciona como una convolución estándar pero el kernel que se utiliza ha sido rellenado con ceros para abarcar un área mayor sin comprometer capacidad computacional. Además, se utiliza average pooling, al contrario que el max pooling habitual, esto representar la presencia de una porción de radiación solar en cada píxel de la imagen, cuya influencia se quiere conservar en cierta medida.

    Se construye una segunda propuesta utilizando conceptos similares a la estimación con una única cámara. Se disponen de tres imágenes diferentes con distintas perspectivas de cielo, que se quieren procesar simultáneamente para mejorar las estimaciones de la red convolucional. Esta nueva arquitectura tiene tres entradas, que son procesadas por una sub-red convolucional idéntica para las tres imágenes. Las tres salidas de esta sub-red son combinables. Se elige el máximo para cada trio de valores entre las tres salidas y se genera una nueva salida. Esto se vuelve a procesar en una segunda sub-red convolucional para finalmente ofrecer una medición de radiación.

    Para todos los modelos se ha realizado un ajuste de parámetros empírico, con lo que el número de filtros, capas convolucionales, razón de aprendizaje, etc, han sido establecidos haciendo numerosas pruebas. La optimización de la red se ha hecho mediante el algoritmo de optimización Adam, que ha mostrado los mejores resultados. Por otra parte, el número de ciclos ha sido ajustado automáticamente. Primero se entrena la red con un número arbitrariamente alto de ciclos, cada vez que se alcanza un modelo mejor que el anterior mejor modelo, dicha red se guarda temporalmente. La última mejor red es el modelo en el número de ciclos óptimos.

    Estos modelos se han validado mediante tres particiones sobre 1290 ejemplos. Se han utilizado dos métricas de error: RMSE y MAE relativos. Estas medidas son el RMSE y MAE divididos entre la media de las observaciones y pueden ser interpretados como un porcentaje de error. Para la optimización de la red se ha empleado el rMAE. La macro-average de estas medidas también son calculadas y analizadas.

    Las mejoras propuestas han sido comparadas a un modelo Cloud Fraction, que consiste en hallar el producto entre la radiación de cielo despejado y el porcentaje de nubosidad (hallado con HYTA). También se comparan estos métodos a un modelo Random Forest, construido con los mismos estadísticos de cámara descritos en la sección de clasificación.

    En todos los casos, la propuesta multicámara y con canales de información adicionales supera a las alternativas. En particular cualquier modelo de redes convolucionales superan considerablemente al Cloud Fraction. Se alcanza un rMAE mínimo con la red multicámara de 13.08% y un rRMSE de 17.86%.

    4. Integración de predicciones La predicción de energía solar es un componente crucial en la penetración de la energía renovable en el mercado energético. Existen numerosos modelos físicos de distintos rasgos y capacidades que intentan ofrecer predicciones precises a corto y largo plazo. Por ejemplo, persistencia inteligente ofrece predicciones simples y potentes a horizontes muy cercanos, pero pierde potencia cuando se intenta predecir más allá de 30 minutos. Otros modelos como WRF-Solar fabrican simulaciones de las dinámicas de nubes y ofrecen predicciones de radiación muy potentes en horizontes superiores a 4 horas.

    Utilizando estos modelos de predicción tradicionales es posible crear un metamodelo que combine las salidas de dichos modelos para ofrecer una predicción única mucho más potente. A esta aproximación a la predicción se la conoce como integración. No es un enfoque nuevo y ha sido empleado varias veces en la literatura con éxito. Sin embargo, los horizontes a corto plazo (intradía) rara vez son explorados. Por otra parte, los trabajos que exploran la integración a corto plazo no aprovechan las capacidades diversas de múltiples modelos de predicción, limitándose a uno o dos modelos.

    En esta tesis, se quiere desarrollar modelos de aprendizaje automático que integren radiación global y directa para cuatro estaciones meteorológicas en un margen de 15 minutos a 6 horas.

    Para los operadores del sistema eléctrico muchas veces las predicciones a nivel regional son más útiles. Por tanto, junto a los modelos estacionales, se quiere desarrollar un modelo integrador de las predicciones estacionales para dar una medida de radiación a nivel regional (del sur de la península ibérica).

    El principio básico de cualquier modelo integrador es construir un modelo que, utilizando como entradas las salidas de otros modelos básicos (o predictores), ofrecer una predicción precisa. Por ejemplo, se disponen de 3 predictores que a las 12:00 de la tarde han ofrecido una predicción para las 13:00. El modelo puede coger las predicciones hechas en el mismo instante de tiempo (12:00) y hechas con el mismo horizonte de predicción (1 hora), para combinar los tres predictores en una única predicción hecha a las 12:00 para predecir la radiación a 1 hora en el futuro. Este es el principio fundamental que se trata en esta tesis, pero queda decidir cómo se trata el horizonte de predicción.

    Para la integración a nivel de estación se proponen dos aproximaciones. La aproximación por horizontes, que consta de entrenar un modelo para cada uno de los horizontes de predicción. Existirá un modelo que, recibiendo predictores que ofrezcan resultados a 15 minutos, sea capaz de ofrecer predicciones a 15 minutos. Existirá otro modelo similar para 30, 45, 60 minutos, etc. Los modelos están especializados por horizontes.

    La segunda aproximación es la general. Esta vez, en vez de construir un modelo para cada horizonte, existe un modelo único. Este modelo debe ser capaz de procesar predictores con resultados a 15 minutos, para ofrecer predicciones a 15 minutos; de la misma forma que debe admitir predictores a 30 minutos, como a 60 e incluso 2 horas.

    Para la integración a nivel regional se ofrecen otras dos nuevas alternativas. La primera es la aproximación media: utilizando los modelos integradores a nivel estacional, que ofrecen predicciones precisas, obtener la media de los valores de las cuatro estaciones para obtener la predicción final. La segunda aproximación regional es la integradora. La aproximación integradora utiliza los 16 predictores disponibles de todas las estaciones para crear una predicción regional.

    Todos los modelos descritos en este apartado han sido construidos con máquinas de vectores de soporte para regresión, dado que son rápidas y eficientes con grandes volúmenes de datos. Se han creado modelos tanto lineales como no lineales. Los hiper-parámetros han sido ajustados automáticamente de la misma forma que en el apartado de clasificación de nubes.

    Se cuenta con un conjunto de datos muy extenso con más de 100000 predicciones, con horizontes entre 15 y 6 horas. Se ha realizado validación cruzada con dichos datos, utilizando las cuatro semanas (aproximadamente) de cada mes. Se evalúan las métricas del apartado de estimación de radiación solar: rRMSE y rMAE.

    Los resultados a nivel estacional son muy positivos. Los modelos integradores son mejores en todas las estaciones comparados a los predictores, con ambas aproximaciones y con linealidad y no-linealidad. Además, se ha podido observar la superioridad de los modelos integradores en cada horizonte de predicción evaluado. Las mejoras se observan también en ambos tipos de radiación, tanto global como directa. Las mejoras absolutas son de entre un 2% y 4% para rRMSE; y 4 %y 6% para rMAE si se evalúa la radiación global. Las mejoras de radiación directa son de entre 7% y 13% en rRMSE y entre 2% y 4% en rMAE.

    De la misma forma que los resultados estacionales, los resultados de integración regional son muy positivos. Los modelos integradores son mejores para todos los horizontes. Las mejoras son de entre 3% y 4% para ambas medidas (rRMSE y MAE) y las distintas radiaciones (directa y global) 5. Aportaciones Entre las propuestas se distinguen tres aportaciones que cumplen los objetivos de investigación marcados en cada apartado.

    En primer lugar, se ha propuesto un modelo Random Forest para la clasificación automática de nubes. Este modelo incluye información novedosa de ceilómetro, técnica que no había sido probada. Su influencia se demuestra que es altamente positiva incluso en casos muy difíciles como multinube o clasificación de 10 tipos de nube.

    En segundo lugar, se propone un modelo de redes convolucionales para la estimación de radiación con cámara. La red hace uso de tres perspectivas distintas e información específica del dominio junto a adaptaciones en la arquitectura. Nunca ha sido utilizado en la literatura y se demuestra que ofrece buenas estimaciones comparando contra un modelo Random Forest y un modelo Cloud Fraction.

    Por último, dos modelos integradores son propuestos, uno para la integración en estaciones y otro para la integración regional, ambos construidos con máquinas de vectores de soporte. Estos modelos combinan las fortalezas de distintos predictores para generar una predicción mucho más potente que la ofrecida por los predictores. Esta aproximación ofrece mejoras significativas sistemáticamente sobre los predictores, en todas las medidas y tipos de radiación, tanto para estaciones como en una región.

    Estas contribuciones son significativas en el campo de la radiación solar y traen resultados potentes de estimación y predicción de radiación.