Resumen de Procesamiento de imágenes hiperespectrales mediante redes neuronales convolucionales aplicado a la agricultura

Brahim Benmouna

• español

  Las imágenes hiperespectrales y el aprendizaje automático han despertado un gran interés en la teledetección agrícola debido a su mayor potencial en la monitorización y gestión de cultivos. Esta tesis doctoral trata sobre la monitorización y gestión de cultivos mediante aplicaciones de teledetección hiperespectral. El objetivo principal de esta tesis doctoral es desarrollar nuevos métodos basados en imágenes hiperespectrales y técnicas de aprendizaje automático para la clasificación del estado de maduración de manzanas y para la estimación de la sobredosis de nitrógeno en hojas de tomate. Este compendio se centra en tres grandes hitos, reflejados en tres publicaciones: • El primer artículo explora un nuevo método para la estimación no destructiva del estado de madurez de las manzanas Fuji mediante espectroscopia visible e infrarroja cercana y un clasificador de red neuronal convolucional o CNN (Convolutional Neural Network). Para evaluar la eficacia del método propuesto, el modelo CNN se comparó con tres clasificadores de aprendizaje automático que incluían redes neuronales artificiales o ANN (Artificial Neural Networks), máquinas de vectores de soporte o SVM (Support Vector Machines) y k-vecinos más próximos o KNN (k-Nearest Neighbors). Según los resultados obtenidos, el clasificador CNN tuvo un rendimiento excelente en comparación con los demás clasificadores, produciendo una tasa de clasificación correcta (CCR) del 96,5%, en comparación con una media del 89,5%, 95,93% y 91,68% para ANN, SVM y KNN, respectivamente. • El segundo artículo aborda el estudio de la detección precoz de la aplicación excesiva de nitrógeno en las hojas de la variedad de tomate Royal. Para ello, se han estudiado un conjunto de diferentes clasificadores de aprendizaje automático, incluyendo dos clasificadores supervisados clásicos, a saber, análisis discriminante lineal o LDA (Linear Discriminant Analysis) y SVMs, tres clasificadores híbridos de redes neuronales artificiales, a saber, algoritmo imperialista competitivo o ANN-ICA (imperialist competitive algorithm), búsqueda armónica o ANN-HS (Harmony Search) y algoritmo de abejas o ANN-BA (Bees Algorithm) y cuatro clasificadores de CNN. La mejor precisión de predicción media, con un CCR del 91,6%, la obtuvo CNN con seis capas convolucionales. Los demás métodos (LDA, SVM, ANN-ICA, ANN-HS, ANN-BA) y las demás CNN obtuvieron resultados similares, entre el 68,5% y el 90,8%. • El tercer artículo continúa la misma línea de investigación en la estimación de nitrógeno en las hojas de tomate de la variedad Royal. En este caso, se aplicó un mecanismo de atención al mejor modelo de CNN previamente diseñado para minimizar la información redundante en los espectros de entrada, extrayendo los espectros más relevantes de las imágenes HSI. Los resultados experimentales mostraron que la CNN con atención obtuvo mejores resultados que la CNN sola y alcanzó un CCR del 97,33%, frente a un CCR del 94,94% de la CNN sola. En conclusión, se han desarrollado métodos no destructivos basados en imágenes hiperespectrales y técnicas de aprendizaje automático para estimar el estado de crecimiento de las manzanas y la cantidad de nitrógeno requerida en las hojas de tomates. El método propuesto para estimar el estado de madurez de las manzanas demuestra ser una herramienta útil para la evaluación rápida y precisa de la calidad de las manzanas en las operaciones de cosecha o postcosecha. Como investigación futura, será interesante probar los resultados con grandes conjuntos de datos y los intervalos espectrales más eficientes. El método propuesto para detectar la cantidad de nitrógeno en hojas de tomate también ha demostrado ser una herramienta útil para la estimación temprana de la sobredosis de nitrógeno en las hojas de tomate. Para futuras investigaciones, sería interesante investigar cómo funciona la estrategia propuesta con otros cultivos. El desarrollo de un nuevo modelo CNN con un mecanismo de atención que pueda aprender información de características espaciales y espectrales a partir de imágenes hiperespectrales para detectar conjuntamente hojas anormales y exceso de nitrógeno es otro campo potencial de investigación futura.

• English

  Hyperspectral imaging and machine learning have attracted great interest in agricultural remote sensing due to their greater potential in crop monitoring and management. This doctoral thesis deals with the monitoring and management of crops using hyperspectral remote sensing applications. The main objective of this doctoral thesis is to develop new methods based on hyperspectral imaging and machine learning techniques for the classification of the ripening stage of apples and for the estimation of nitrogen overdose in tomato leaves. This compendium focuses on three major milestones, reflected in three publications: • The first article explores a new method for non-destructive estimation of the ripeness stage of Fuji apples using visible and near infrared spectroscopy and a convolutional neural network (CNN) classifier. To evaluate the effectiveness of the proposed method, the CNN model was compared with three machine learning classifiers including artificial neural networks (ANN), support vector machines (SVMs), and k-nearest neighbors (KNN). According to the experimental results, the CNN classifier performed better than the competing classifiers, producing a correct classification rate (CCR) of 96.5%, compared to an average of 89.5%, 95.93%, and 91.68% for ANN, SVM, and KNN, respectively. • The second article deals with the study of early detection of excessive nitrogen application in the leaves of the Royal tomato variety. For this purpose, a set of different machine learning classifiers were studied, including two supervised classifiers, i.e., linear discriminant analysis (LDA) and SVMs, three hybrid artificial neural network classifiers, namely, imperialist competitive algorithm (ANN-ICA), harmony search (ANN-HS) and bees algorithm (ANN-BA) and four CNN classifiers. The best average prediction accuracy with a CCR of 91.6% was achieved by CNN with six convolutional layers. The remaining methods (LDA, SVM, ANN-ICA, ANN-HS, ANN-BA and the other CNNs) achieved similar results between 68.5% and 90.8%. • The third article continues the same line of research in the estimation of nitrogen in the leaves of the Royal tomato variety. In this case, an attention mechanism was applied to the best CNN model previously designed to minimize the redundant information in the input spectra by extracting the most relevant spectra from the HSI images. Experimental results showed that the CNN with attention performed better than the CNN alone, achieved a CCR of 97.33% compared to a CCR of 94.94% for the CNN alone. To evaluate the effectiveness of the proposed method, the CNN with attention was compared with two other CNN classifiers, AlexNet and VGGNet. Regarding the obtained results, only VGGNet with attention achieved an excellent CCR of 97.54%, which is slightly higher than that of the proposed CNN with attention. However, the VGGNet method is more computationally expensive. In conclusion, non-destructive methods based on hyperspectral imaging and machine learning techniques were developed to estimate the growth status of apples and the amount of nitrogen required in the leaves of tomatoes. The proposed method for estimating the state of ripeness of apples proves to be a useful tool for fast and accurate assessment of apple quality at harvest or postharvest operations. As future research, it will be interesting to verify the obtained results with large datasets and the most efficient spectral interval. The proposed method for detecting the amount of nitrogen in tomato leaves has also proven to be a useful tool for early estimation of nitrogen overdose in tomato leaves. For future research, it would be interesting to test the effectiveness of the proposed method with other crops. The development of a novel CNN model with an attention mechanism that can learn spatial and spectral feature information from hyperspectral images to jointly detect abnormal leaves and excess nitrogen is another potential field of future research.