Resumen de Computer Vision in Oliviculture. Contributions to the Postharvest Estimation of Individual Fruit Features, Early In-the-field Yield Prediction, and Individual Tree Characterisation from Aerial Imagery, by means of Image Analysis

Juan Manuel Ponce Real

• español

  Actualmente, el cultivo del olivo (Olea europaea) ocupa una importante posición dentro de la actividad agrícola a nivel internacional. Sin embargo, a pesar de sus volúmenes de producción, y de la dimensión del mercado generado alrededor del aceite de oliva y las aceitunas de mesar principales productos derivados de dicho cultivo, la oleicultura y la industria que de ella deriva siguen estando sujetas a formas tradicionales de explotación, Por otra parte, el uso de técnicas basadas en Visión por Computador (VC) ha cobrado una gran importancia dentro de la agricultura y la industria agroalimentaria. De hecho, éste se ha convertido en un importante foco de investigación, y en la actualidad pueden encontrarse una gran cantidad de publicaciones que se centran en el estudio y aplicabilidad de esta tecnología en sector agrícola, dentro del ámbito de la agricultura de precisión, y en el tratamiento poscosecha de productos hortícolas. La oleicultura puede beneficiarse de este tipo de técnicas, con objeto de mejorar sus procesos de producción, Esta Tesis, presentada como un compendio de artículos publicados en revistas de alto impacto, comprende la investigación realizada durante los últimos tres años dirigida a validar el uso de esta tecnología dentro del sector olivarero, Con dicho objetivo, se han abordado tres distintas líneas de investigación. En primer lugar, la investigación se centró en el uso de técnicas de VC para apoyar tareas de poscosecha. En concreto, se emprendió el desarrollo de metodologías para la detección de aceitunas en imágenes digitales tomadas en laboratorio, y la posterior estimación del tamaño y peso de cada fruto, buscando automatizar su categorización. Tras comprobar con éxito la viabilidad del uso de técnicas de análisis de imagen y de modelización lineal para alcanzar dicho objetivo, se exploró el uso de Redes Neuronales Convolucionales (RNC) para generar clasificadores de imagen capaces de etiquetar cada región de píxeles perteneciente a un fruto de acuerdo con la variedad de aceituna a la que potencialmente pertenece. Así, se logró prototipar un sistema integral de Visión Artificial, capaz de realizar la captura de imágenes de aceitunas, la detección automática y caracterización morfológica de éstas, y su clasificación atendiendo a su variedad. Como segundo hito, la investigación abordó al desarrollo de una metodología para la detección de frutos en los propios árboles, en imágenes de olivos tomadas directamente en la zona de cultivo, como primer paso en la obtención de una solución con la que automatizar, mediante técnicas de VCt la estimación precosecha del rendimiento del olivar. Esta información, de gran valor para los agricultores, es tradicionalmente realizada de forma manual, observando la cantidad de fruto visible directamente en el árbol, con todos los inconvenientes que esto conlleva, La investigación resultó en un algoritmo capaz de detectar aceitunas visibles en imágenes digitales de olivos tornadas por la noche y con iluminación artificial, mediante la aplicación de clasificadores de imagen basados en RNCs. Por último, se estudió la aplicabilidad de sistemas basados en el uso de imágenes aéreas en el sector olivícola. Para ello, se realizaron distintos experimentos dirigidos al desarrollo de metodologías basadas en VC que permitiera la detección automática y caracterización morfológica de olivos en capturas aéreas. Esta investigación resultó en un novedoso procedimiento que, a partir de imágenes aéreas multiespectrales, utiliza técnicas fotogramétricas para generar representaciones tridimensionales de las zonas de cultivo bajo estudio. Estas estructuras de datos son procesadas mediante morfología maternática para segmentar individualmente las áreas de proyección de las copas de los árboles que aparece en dichas representaciones, permitiendo así la estimación de las características dendrométrjcas de cada planta en relación a su dosel.

• English

  At present, the cultivation of the olive tree (Olea europaea) occupies a position of great importance in agriculture at international level. However, despite its production volumes, and the size of the market generated around olive oil and table olives, the main products derived from this crop, the olive growing as well as the industry that derives from it continue to be subject to traditional forms of exploitation. On the other hand, the use of Computer Vision (CV) -based techniques has gained momentum within agriculture and the agro-food industry in the past few years. In fact, it has become an important focus of research, and it can be found a considerable number of publications that focus on the study and applicability of this technology in farming, always within the framework of precision agriculture, as well as in the treatment and handling of horticultural products. Oliviculture can benefit from the use of such techniques in order to enhance its production processes. Given this context, this Thesis, presented as a collection of articles published in high-impact journals, comprises a research conducted during the last three years, aimed at assessing the use of these kind of technology within the olive sector. To this end, three lines of research were considered. Firstly, investigation focused on the use of CV techniques to support post-harvest tasks. Specifically, it was proposed the development of methodologies for detecting olive fruits in digital images taken in laboratory, and the estimation of the mass and size of each of them, thus enabling the possibility of automating their grading. Thus, after successfully testing the feasibility of applying image analysis techniques and linear feature modelling to reach that goal, Convolutional Neural Network (CNN) technologies were explored for the purpose of generating image classifiers, capable of categorising each individual fruit-pixel region regarding olive variety, As an end result, it was achieved a comprehensive framework for accurately detecting and grading olive-fruits, and for classifying them attending to their variety, with the possibility of being implemented in a real environment, integrated into the conveyor belts which transport the fruits. As a second milestone, research was aimed at developing a methodology for detecting fruits on the trees themselves, in images of olives directly taken in the orchards, as a first step in the development of a solution to automate the in-the-field- yield estimation by means of CV techniques. Early preharvest yield estimation is a valuable measure for farmers, but they have traditionally addressed such estimation by observing the amount of visible fruit directly in the field. That said, the investigation resulted in an algorithm able to detect visible olives in digital images of olive trees captured directly in the field, at night-time with artificial illumination, by applying CNNbased image classifiers. Finally, the use of remotely sensed aerial imagery within the olive sector was addressed. Thus, a set of experiments were conducted in an attempt to develop a methodology that would allow the identification of olives in aerial images, subsequently enabling the possibility of estimating individual tree features. As a result, it was presented a novel methodology which, starting from multispectral aerial captures, uses photogrammetric techniques to generate three-dimensional representations of the cultivation areas under study. These representations are processed by means of morphological image analysis, in order to individually segment the crown projection area of each tree appearing in such representations, thus enabling the estimation of dendrometric characteristics of each plant regarding its individual canopy.