Resumen de Control in moving interfaces and deep learning
Borjan Geshkovski
En esta tesis se aportan varias contribuciones a la teoría de control para problemas de frontera libre, a la teoría de Turnpike para problemas de control óptimo no lineales, y a la teoría de aprendizaje supervisado profundo (supervised deep learning).
En la Parte I, se establece una metodología sistemática para la controlabilidad exacta a estados específicos, posiblemente no triviales, de problemas de frontera libre gobernados por ecuaciones en derivadas parciales difusivas. Para ello se combina un estudio cuidadoso del problema linealizado con argumentos de punto fijo. Distinguimos dos tipos de problemas: en uno el problema linealizado es controlable mediante el uso de técnicas espectrales que permiten derivar la desigualdad de observabilidad necesaria (por ejemplo, cuando se controla la ecuación de medios porosos unidimensional a su trayectoria de Barenblatt auto-similar); en el otro se combinan desigualdades de Carleman con argumentos de compacidad (en el contexto de un problema de frontera libre para la ecuación de Burgers viscosa unidimensional, donde la dirección de la frontera libre se ve como una restricción de dimensión finita para el control). En este contexto, destacamos la importancia de controlar, no solo la solución de la EDP, sino también la frontera libre a una configuración prescrita.
El análisis se culmina con un estudio de la controlabilidad para un problema de Stefan de una fase con tensión superficial, planteado en un domino similar a una banda de dimensión dos. Utilizando un control que actúa a lo largo del fondo plano, en condiciones de pequeñez del dato inicial, probamos controlabilidad a cero en cualquier horizonte temporal, tanto de la temperatura como de la posición de la frontera libre. La controlabilidad a cero del problema linealizado se aborda mediante una descomposición de Fourier en la variable horizontal periódica y resultados de controlabilidad a cero uniformes respecto al parámetro de Fourier del problema unidimensional. Éstos se obtienen mediante técnicas espectrales para los modos de Fourier no nulos, con el sistema de modo cero visto como un problema de control con una restricción de control de dimensión finita. Concluimos con una discusión sobre la viabilidad (o más bien, la falta de ella) de implementar técnicas de tensión superficial evanescente para abordar la controlabilidad del problema clásico de Stefan.
En la Parte II, presentamos una nueva demostración de la propiedad de turnpike para problemas de control óptimo no lineales, para casos en los que el estado objetivo es una solución estacionaria de la dinámica libre.
Combinando la construcción de trayectorias cuasi-Turnpike subóptimas (bajo hipótesis de controlabilidad) con un argumento de tipo bootstrap, y sin tener que depender del análisis del sistema de optimalidad o técnicas de linealización, somos capaces de establecer resultados de turnpike para sistemas no lineales en dimensión finita, con control afín, y con dinámica globalmente Lipschitz. Además, demostramos que nuestra metodología también es aplicable a EDPs controladas, como la ecuación de ondas semilineal y la ecuación del calor semilineal con no linealidad es globalmente Lipschitz.
En la Parte III, estudiamos el comportamiento de problemas de aprendizaje supervisado para EDOs neuronales cuando se incrementa el horizonte temporal $T$, hecho que se puede interpretar como un aumento de la profundidad de la red neuronal residual (ResNet) asociada.
Para el problema clásico de minimización del riesgo empírico con una regularización $L^2$ de los parámetros, bajo la hipótesis de homogeneidad de la dinámica, probamos que el error sobre el conjunto de datos de entrenamiento decae a cero con una tasa (casi) polinomial cuando $T$ tiende a infinito. En el contexto de problemas de regresión, mostramos además que los parámetros óptimos convergen a los parámetros de norma $L^2$ mínima que interpolan los datos de entrenamiento. Además, como consecuencia de un cambio de escala entre el horizonte temporal $T$ y el hyper-parámetro de regularización $\lambda$, los mismos resultados de convergencia se pueden obtener cuando $\lambda$ tiende a cero y el horizonte temporal es fijo. Estos resultados nos permiten estipular propiedades de generalización en el régimen sobreparametrizado (overfitting), y se encuentran en la misma línea que otros resultados existentes de convergencia para la trayectoria regularizada límite ($\lambda$ tiende a cero) y la regularización implícita del gradiente descendente para modelos lineales o perceptrones de dos capas.
Siguiendo las ideas de la Parte II, también proponemos un problema de aprendizaje aumentado agregando un término artificial de regularización para la trayectoria del estado en todo el intervalo de tiempo. Aplicando los resultados de turnpike, obtenemos una tasa de decaimiento exponencial para el error de entrenamiento y para los parámetros óptimos en toda la trayectoria. Esto da lugar a una estimación mejorada de la profundidad requerida para asegurar una precisión de entrenamiento prefijada.
En el contexto de los problemas de aprendizaje aumentado con regularización $L^1$ de los parámetros, y bajo supuestos de homogeneidad de la dinámica (típico de funciones de activación de tipo ReLU), demostramos que cualquier minimizador global es sparse or ralo, en el sentido de que existe un tiempo de parada, a partir del cual, los parámetros óptimos son nulos. En términos prácticos, cuando se extrapola al contexto ResNet, un horizonte temporal más corto en el problema de control óptimo puede interpretarse como una ResNet menos profunda, lo que reduce el coste computacional del entrenamiento. También proporcionamos estimaciones cuantitativas sobre el tiempo de parada y sobre el error de entrenamiento de las trayectorias óptimas de la EDO neuronal. Este resultado estipula una propiedad de aproximación cuantitativa para EDOs neuronales con parámetros sparse.
