Modelización de sistemas biológicos para manejo de frutales mediante sensores remotos y proximales

Abstract

Estimar el rendimiento de un monte frutal de manera anticipada es muy importante para mejorar la organización y la logística de las actividades tanto en la etapa de producción, como en la de cosecha y posterior comercialización. Al momento de realizar pronósticos de producción en frutales de pepita, existen dos aspectos fundamentales que se deben considerar. Por un lado, conocer el número de frutos presentes en los árboles, y, por otro lado, conocer el tamaño de los mismos para poder estimar su peso a cosecha. Hasta el momento, la metodología utilizada a nivel regional para recolectar esta información es el conteo manual del número de frutos, y la medición del diámetro ecuatorial de los frutos utilizando un calibre digital. Sin embargo, estas metodologías no siempre son precisas y requieren de mucho tiempo de medición a campo y son costosas en mano de obra. Por ello resulta de gran interés la búsqueda de alternativas como el análisis de imágenes para realizar estas tareas. El objetivo de la presente tesis fue implementar un modelo predictivo del rendimiento parcelario a cosecha en frutales de pepita, adaptado a las condiciones del Alto Valle de Río Negro y Neuquén. Los objetivos específicos fueron: analizar y seleccionar variables relevantes para el modelo de predicción de cosecha; adaptar y aplicar metodologías de escaneo de frutos en base a sensores proximales; comparar calidad de predicción y costos entre metodologías que impliquen conteo de fruto manual y técnicas de conteo con sensores y desarrollar un modelo de predicción de tamaño, peso y número de frutos (rendimiento) a cosecha en manzanos y perales. Para ello se trabajó en dos montes frutales de la Estación Experimental Agropecuaria INTA Alto Valle, uno de manzanas cv ´Red chief´ y uno de peras cv `Williams` y en cuatro montes frutales comerciales de empresas con los mismos cultivares. Como se mencionó previamente, el primero de los elementos a conocer para realizar pronósticos de cosecha es el número de frutos presentes en los árboles. Para esto se realizaron conteos manuales de frutos por árbol (metodología tradicional) al momento de realizar los pronósticos (principios de diciembre) y además el mismo día del conteo se capturaron imágenes provenientes de cámaras digitales RGB. Se tomaron fotos de los árboles de día y de noche durante 4 temporadas. También se obtuvo el dato de número total de frutos por planta a cosecha. Con las imágenes se entrenaron algoritmos de visión artificial para la detección de objetos basados en redes neuronales que puedan detectar y contar manzanas y peras a partir de imágenes, como alternativa al conteo manual. Los modelos se evaluaron según sensibilidad, precisión y F1score; y se calculó la correlación entre frutos detectados por imágenes y los efectivamente cosechados. La precisión, sensibilidad y F1score alcanzados por los modelos fueron 0,86; 0,83 y 0,84; respectivamente. El coeficiente de correlación entre el número de frutos por árbol obtenido manualmente y el número de frutos detectados por el modelo fue 0,88 para manzanas y 0,69 para peras. Estos resultados pueden mejorarse si se aumenta la cantidad de datos de entrada a los modelos utilizados con más imágenes y etiquetas de frutas tomadas en la mayor diversidad de condiciones posibles. La posibilidad de estimar los frutos a partir de imágenes, reduce el tiempo de mano de obra destinada a dicha tarea, y esto permitiría aumentar el número de árboles muestreados para realizar los pronósticos. También se trabajó en la estimación de diámetros a partir de imágenes. Para esto se tomaron imágenes de frutos en arboles colocando elementos de dimensiones conocidas como referencia. Luego se trazaron líneas rectas sobre cada fruto para estimar su tamaño y se calculó el coeficiente de correlación entre las mediciones con calibre digital y las estimaciones a partir de imágenes. Las correlaciones entre diámetros estimados y medidos manualmente fueron de 0,73 en manzanas y 0,80 en peras. Las estimaciones no resultaron del todo precisas y los resultados variaron en función de la cercanía de los frutos al elemento de dimensiones conocidas, y según la posición que tome el fruto en el árbol y cuan oculto quede por otras partes del árbol. El segundo a elemento a conocer para realizar pronósticos es el tamaño de los frutos a cosecha. Para esta estimación se trabajó en el ajuste de modelos mixtos no lineales que describan el crecimiento de los frutos de pera y manzana para la región en estudio. Para ello se seleccionaron frutos cada temporada y se midió semanalmente sus diámetros con calibre digital desde los 30 días después de plena floración hasta cosecha. Con los datos obtenidos se ajustaron diferentes modelos que contemplaron tanto efectos fijos como aleatorios a diferentes niveles de agrupamiento. Como resultado se obtuvo que el crecimiento de manzanas cv ‘Red Chief’ y peras cv ‘Williams’ en el Alto Valle de Rio Negro quedó descripto por la curva logística en su tercera parametrización. El uso de modelos mixtos no lineales multiniveles presentó la ventaja de poder discernir y cuantificar fuentes de variabilidad a diferentes niveles. El efecto aleatorio que mayor influencia tuvo en los parámetros estimados de los modelos fue el fruto. La incorporación de variables ambientales e índices verdes en los modelos mejoró el comportamiento de los mismos, permitiendo contemplar la variabilidad asociada a cada temporada y sitio analizado. Si bien los modelos que incorporan índices verdes lograron describir bien el crecimiento de los frutos, a los fines del pronóstico no resultan prácticos si no están acompañados de un paquete tecnológico apropiado, por lo cual para hacer pronósticos se utilizarán los modelos sin dichos índices. La capacidad predictiva de los modelos cuando se calculó con datos no contemplados en el proceso modelado fue razonable, con valores de sesgo medio cercanos a un milímetro en peras y menores para manzanas; y de sesgo medio relativo cercanos al dos y al uno por ciento para peras y manzanas respectivamente. El número de árboles o tamaño del monte frutal se obtuvo por registros del productor y con todos estos elementos se realizaron dos pronósticos diferentes para luego compararlos con los rendimientos reales: i) basado en información recolectada por metodologías de conteo manual o tradicional; ii) basado en información obtenida por imágenes. Los pronósticos realizados de forma tradicional presentaron errores relativos aceptables tanto para peras (hasta 10%) como para manzanas (hasta 5%), por lo cual representan una herramienta de gran utilidad para estimar la producción a nivel de parcela. Por su parte, los pronósticos realizados a partir de imágenes arrojaron errores relativos desde tres a diez por ciento para manzanas y un poco mayores en peras (hasta 25% en uno de los montes frutales). Esto se explicó por la estructura de los montes de pera y la mayor dificultad de detección de frutos de peras en las imágenes. En casi todos los montes frutales el pronóstico tradicional fue más preciso que el obtenido a partir de imágenes, sin embargo, el costo de realización es muy superior respecto a este último. Considerando que los errores son aceptables, y que es posible mejorar el pronóstico por imágenes, representa una gran alternativa. Las estimaciones de distribución de tamaños a cosecha no representaron adecuadamente las distribuciones obtenidas realmente, lo cual se asoció a un tamaño de muestra pequeño y a errores en el diseño del experimento. A partir de los resultados surge también la necesidad de seguir trabajando a futuro en la mejora de la precisión de los algoritmos de detección de frutas a partir de imágenes y en el desarrollo de metodologías precisas de estimación de tamaños de frutos ya sea de forma manual o también a partir de imágenes. Además, sería interesante evaluar la posibilidad de construir un paquete tecnológico que permita medir (ya sea tamaños o número de frutos) y a la vez registrar las coordenadas geográficas de las respectivas mediciones para contar con datos de índices verdes de cada registro y poder incorporarlos a los pronósticos.Anticipating the yield forecast in fruit orchards is crucial to improve the organization and logistics within the activities in the production stage, fruit picking labors and ultimately commercialization. There are two key aspects to be consider in apple and pear yield forecast: having the number of fruit present in the trees and getting to know the size in order to estimate their weight in harvest. Up to know manual fruit counting and manual diameter measurement have been the only methodology used regionally to collect this information. However, these techniques have not proved to be accurate enough and eventually require many hours of work. Thus image analysis becomes crucial as an alternative method. The aim of this research is to implement an innovative model for yield forecast in orchards in the Upper valley of Rio Negro and Neuquén. The specific goals are: analyzing and selecting relevant variables to the yield forecast model; adjusting and applying fruit scanning methodologies with proximal sensors; comparing precision and costs in the yield forecast between manual fruit counting and image counting; ultimately, developing model to estimate the size, weight and number of harvest fruit in apple and pear trees. The trial was carried out in two plots of the National Institute of Agricultural Technology (INTA) Experimental Station and in four commercial orchards. Apple cultivar was ‘Red Chief’ and pear cultivar was ‘William’s Bon Chretien’. In order to get the number of fruits, images were taken during four seasons from many trees when the pears reached an average diameter of 40 mm and apples 35 mm approximately (first week of December) in two different conditions: i) natural daylight between 10 am and 1 pm, ii) at night with the artificial flash light of the camera. The same day images were captured, the fruits on each photographed tree were manually counted by a single operator. Object detection pre-trained models based on neural networks (YOLO) were used to train artificial vision models to detect and count pear and apple numbers in trees from images. Trained models were evaluated according to recall, precision and F1score; and the correlation between detected and counted fruits was calculated. The precision, recall and F1score achieved by the models were up to 0.86, 0.83 and 0.84, respectively. Also, they could be improved by increasing the amount of input data to the deep learning models. This includes more images taken in many different conditions (angles, distances to the focus, and growth stages of the fruits, among others). Also in different tree size, spacing, age and management conditions. The possibility of estimating the fruit numbers from images could reduce the time spent on this task, and above all, the costs. This allows growers to increase the number of trees sampled to make yield forecasts. Size estimation from images was made by drawing straight lines on each fruit and using reference elements. Pearson correlation coefficient between the manually measured diameter and the image measured diameter were 0.73 in apples and 0.80 in pears. The estimation of the fruit size from images was not accurate in this trial, varying according to the proximity of the fruits to the known dimension object. It also depends on the position that the fruits take on the tree and how hidden they are by other parts of the plant. In order to get the fruit size no lineal mixed models were fitted to describe pear and apple growth in the studied area. Many fruits were randomly selected in each orchard and each season and its equatorial diameter was measured every week with an electronic digital caliper. Measurement started 30 days after full bloom (when fruits have reached an average diameter of 10-15 mm) until harvest time. Different models that included fixed and random effects in different levels were fitted with the obtained data. As a result, Red chief apples and William’s pears growth in the Upper Valley of Rio negro and Neuquén was described by a logistic curve in its third parameterization. Multilevel no lineal mixed models implementation showed the advantage of discerning and quantifying the sources of stochastic variability at different levels. Fruit was the random effect that showed the biggest incidence. The incorporation of environmental covariates and green indexes improved model performances allowing the variability associated to each site and season to be considered. Although these models were able to describe the fruit growth, they were not regarded as practical if they are not used alongside an appropriate technological package. Therefore, models without green indexes will be used for yield forecast. Predictive capacity indexes were calculated with data not used at the fitted stage of the models. Results were valid, showing mean bias up to one mm in pear and lower in apples; and relative mean bias up to 2%. The number of trees and sizes of the fruit orchards were obtained from growers. Regarding these data two different forecast were made to be compared with real yield: i) based on information collected from fruit manual or traditional counting; ii) based on information obtained from images. Traditional yield forecast showed relative bias up to 5% in apples and 10% in pear becoming a useful tool to estimate the orchard harvest. Whereas image yield forecast showed relative bias from 3 to 10% in apples and higher in pears (up to 25% in one of the orchards). These can be related to the fact that there is a high difficulty in fruit detection in pear images. In most orchards the traditional forecast was more accurate than the one obtained from images, however the first one has a higher cost. As bias can be acceptable and improved the image forecast represent a feasible alternative. Harvest size distribution estimation did not represent well the real ones. These results could be due to the fact that the sample size was not representative or big enough. These research results suggest the need to continue working to improve the vision artificial algorithm precision to detect and count fruits from images and in the development of more precise methodologies for size estimation (manual or from images). In addition, it could be interesting to develop a technological package that could measure size and number of fruits and also record the geographical coordinates of each measurement to have green indexes information for the yield forecast models.