Resumen de Artificial intelligence and non-invasive sensing technologies for early detection of downy mildew in grapevine

Inés Hernández Casado

• español

  Las enfermedades y plagas en cultivos agrícolas representan un grave problema en todo el mundo, repercutiendo gravemente en la calidad y rendimiento de los cultivos. Entre ellas, el mildiu es una enfermedad especialmente devastadora de la vid. La detección precoz es crucial para intervenir a tiempo, evitando la propagación de la enfermedad y reduciendo los tratamientos químicos. La evaluación tradicional depende de expertos, lo que puede resultar laborioso, subjetivo y lento. La integración de la inteligencia artificial en las prácticas agrícolas presenta una solución prometedora para la gestión de enfermedades, facilitando la automatización de la evaluación cualitativa y cuantitativa de las enfermedades.

  El objetivo principal de la tesis doctoral era desarrollar nuevos métodos basados en inteligencia artificial y visión artificial para la evaluación temprana del mildiu de la vid utilizando sensores no invasivos en condiciones de laboratorio y de campo. En concreto, se propusieron los siguientes objetivos: i) la exploración de la inteligencia artificial y tecnologías no invasivas para evaluar el mildiu en condiciones de laboratorio; ii) el desarrollo y validación de un método para estimar la severidad de mildiu en condiciones de laboratorio combinando lógica difusa y visión artificial; iii) el uso de redes neuronales convolucionales e inteligencia artificial explicable para la detección temprana de mildiu en condiciones de laboratorio; iv); la detección y localización de mildiu en campo aplicando aprendizaje profundo explicable; y v) el uso de segmentación semántica profunda para evaluar la severidad de mildiu en imágenes tomadas en viñedos comerciales.

  Para el primer objetivo, se utilizó inteligencia artificial para analizar imágenes RGB e hiperespectrales de discos foliares de vid. Se utilizó preprocesamiento espectral, visión artificial y aprendizaje automático para identificar la infección de mildiu en imágenes hiperespectrales. Al mismo tiempo, se utilizó visión artificial clásica para localizar los síntomas en imágenes RGB. Los resultados demostraron el potencial de la inteligencia artificial y las tecnologías no invasivas para detectar precozmente el mildiu y estimar su severidad de forma precisa y objetiva.

  Para el segundo objetivo, se utilizó la visión artificial clásica para localizar los síntomas de mildiu en imágenes RGB de discos foliares de vid. A continuación, se utilizó la lógica difusa para evaluar los píxeles detectados como síntomas con un grado de infección en función de su intensidad. Los resultados demostraron que la visión artificial y la lógica difusa pueden estimar automáticamente y con precisión la severidad de mildiu de la vid en condiciones de laboratorio.

  Para el tercer objetivo, se aplicaron redes neuronales convolucionales para detectar precozmente el mildiu y clasificar las fases de la enfermedad en imágenes RGB de discos foliares de vid. Además, se utilizó Grad-CAM para interpretar las predicciones del modelo. Los resultados resaltaron la precisión de la detección precoz del mildiu de la vid en condiciones de laboratorio utilizando técnicas de bajo coste.

  Para el cuarto objetivo, se utilizó una ventana deslizante para analizar el dosel de la vid en imágenes tomadas considerando la variabilidad de las condiciones de campo. Las redes neuronales convolucionales y los transformadores de visión utilizaron el aprendizaje por transferencia para detectar regiones con mildiu en el dosel. Las predicciones se interpretaron con métodos de inteligencia artificial explicable. Los resultados remarcaron el uso de redes neuronales convolucionales para la detección y localización automática y explicable del mildiu de la vid en condiciones de campo.

  Por último, se compararon diferentes arquitecturas de segmentación \linebreak semántica para detectar síntomas de mildiu en imágenes del dosel de la vid. Los problemas de desequilibrio debidos al pequeño tamaño de los síntomas se redujeron con técnicas de aumento de datos, MixUp, sobremuestreo y submuestreo. Las redes neuronales entrenadas con codificadores ligeros y utilizando la función de pérdida Dice permitieron una evaluación precisa y rápida de la severidad de mildiu en la vid en condiciones de campo.

  Los resultados de la investigación presentada en esta tesis doctoral demostraron la capacidad de la inteligencia artificial y la visión artificial para la evaluación temprana objetiva, rápida y precisa del mildiu de la vid tanto en condiciones de laboratorio como de campo. La potencial adaptabilidad de estos métodos a otros cultivos, enfermedades y plagas ofrece importantes avances en la agricultura de precisión. Además, la integración de estos métodos en plataformas móviles, como tractores, permitiría mejorar la gestión de enfermedades en grandes extensiones de cultivo, optimizando el seguimiento y la intervención directamente en el campo.

• English

  Diseases and pests in agriculture represent a major problem worldwide, severely impacting crop quality and yield. Among them, downy mildew is a particularly devastating disease affecting grapevine. Early detection is crucial for timely intervention, preventing disease spread and reducing chemical treatments. Traditional evaluation relies on experts, which can be laborious, subjective and time-consuming. The integration of artificial intelligence into agricultural practices presents a promising solution for disease management, facilitating the automation of qualitative and quantitative disease assessment.

  The main objective of the PhD thesis was to develop new artificial intelligence and computer vision-based methods for early assessment of grapevine downy mildew using non-invasive sensing technologies under laboratory and field conditions. In particular, the following objectives were proposed: i) the exploration of artificial intelligence and non-invasive technologies to evaluate downy mildew under laboratory conditions; ii) the development and validation of a method to estimate downy mildew severity under laboratory conditions combining fuzzy logic and computer vision; iii) the use of convolutional neural networks and explainable artificial intelligence to early detect downy mildew under laboratory conditions; iv); the in-field detection and localisation of downy mildew applying explainable deep learning; and v) the use of deep semantic segmentation to assess downy mildew severity in images taken in commercial vineyards.

  For the first objective, artificial intelligence was used for analysing RGB and hyperspectral images of grapevine leaf discs. Spectral pre-processing, computer vision and machine learning were used to identify downy mildew infection in hyperspectral images. At the same time, classic computer vision was used to locate the symptoms in RGB images. The results demonstrated the potential of artificial intelligence and non-invasive technologies to early detect downy mildew and to estimate its severity accurately and objectively.

  For the second objective, classic computer vision was used to localise downy mildew symptoms on RGB images of grapevine leaf discs. Then, fuzzy logic was used to evaluate the pixels detected as symptoms with a degree of infection according to their intensity. The results demonstrated that computer vision and fuzzy logic can automatically and accurately estimate the severity of grapevine downy mildew under laboratory conditions.

  For the third objective, convolutional neural networks were applied to early detect downy mildew and classify disease stages in RGB images of grapevine leaf discs. In addition, Grad-CAM was used to interpret model predictions. The results highlighted the accurate early detection of grapevine downy mildew under laboratory conditions using low-cost techniques.

  For the fourth objective, a sliding window was used for analysing the grapevine canopy in images captured considering the variability of field conditions. Convolutional neural networks and vision transformers used transfer-learning for detecting regions with downy mildew in the canopy. Predictions were interpreted with explainable artificial intelligence methods. The results highlighted the use of convolutional neural networks for the automatic and explainable detection and localisation of grapevine downy mildew under field conditions.

  Finally, different semantic segmentation architectures were compared to detect downy mildew symptoms in grapevine canopy images. Imbalance problems due to small symptom size were reduced with data augmentation, MixUp, oversampling and undersampling techniques. Neural networks trained with light-weight encoders and using the Dice loss function allowed accurate and fast assessment of downy mildew severity in grapevine under field conditions.

  The results of the research presented in this PhD thesis demonstrated the capability of artificial intelligence and computer vision for objective, rapid and accurate early assessment of grapevine downy mildew under both laboratory and field conditions. The potential adaptability of these methods to other crops, diseases and pests offers important advances in precision agriculture. Furthermore, the integration of these methods on mobile platforms, such as tractors, would allow for enhanced disease management over large crop areas, optimising monitoring and intervention directly in the field.