Recepción: 31 Enero 2022
Aprobación: 09 Mayo 2022
Resumen: . Actualmente, la gestión de los frutos en su etapa de postcosecha ha sido bastante descuidada por el mercado panameño, mientras se invierten grandes cifras en siembra y recolección, no se han implementado sistemas que permitan un mejor manejo de estos, dando como resultados grandes pérdidas económicas combinadas con productos inutilizados que son desechados diariamente en centros de venta por comerciantes de varios niveles. Teniendo esto en cuenta se busca desarrollar un sistema basado en visión artificial que permita determinar el estado de maduración de una fruta y estimar su tiempo de vida útil. Centrándose en este caso en el banano por ser una fruta de alta demanda a nivel nacional y que presenta diversos estados de maduración. Para el desarrollo se capturará la temperatura y la humedad, y registrando el tiempo total desde su etapa verde hasta su punto de putrefacción, para generar un modelo de machine learning que dado una imagen de un banano de entrada dé como respuesta el tiempo aproximado para que este llegué a un punto en el que no se pueda consumir ni utilizar para hacer productos derivados. Una vez creados los modelos, estos obtuvieron resultados satisfactorios que fueron comprobados con la realidad del tiempo de vida del banano. Las pruebas se realizaron utilizando una aplicación móvil que permitía obtener las estimaciones en tiempo real. En su conjunto la aplicación y los modelos desarrollados permitieron estimar adecuadamente el estado de maduración y vida útil del fruto utilizando visión artificial y algoritmos de machine learning.
Palabras clave: Gestión de calidad, inteligencia artificial, maduración de frutas, postcosecha, visión artificial .
Abstract: . Currently, the management of fruits in their post-harvest stage has been quite neglected by the Panamanian market; while large amounts are invested in planting and harvesting, no systems have been implemented to allow better management of these. Therefore, resulting in large economic losses combined with unused products that are discarded daily in sales centers by traders of various levels. With this in mind, we seek to develop a system based on computer vision to determine the ripening stage of a fruit and estimate its shelf life. This study focuses on the banana as a highly demanded fruit with several maturation stages. During the development, the temperature and humidity will be captured, and recording the elapsed time from its green stage to its rotting point, to generate a machine learning model that, given an image of an input banana, will infer as an answer the approximate time for reaching a point where it cannot be consumed or used to make derivative products. Once the models were created, these obtained satisfactory results that were checked with the reality of the banana's lifespan. The tests were carried out using a mobile application that allowed obtaining the estimates in real-time. Both, the application and the developed models, allowed to adequately estimate the ripening stage and shelf life of the fruit using artificial vision and machine learning algorithms.
Keywords: Quality management, artificial intelligence, fruit’s ripeness, postharvest, computer vision .
1. Introducción
Actualmente, los temas relacionados al sector alimentario son centro de múltiples investigaciones a nivel mundial, ya que es considerado uno de los de mayor prioridad en el campo científico. Desde la siembra hasta la postcosecha se han desarrollado nuevos métodos y mecanismos para mejorar la calidad, cantidad y durabilidad de los alimentos sobre todo los de origen vegetal como las frutas y verduras. Para dar con estos mecanismos, disciplinas como la robótica y las ciencias de la computación, están colaborando en las tareas de cosecha trabajando con alta precisión [1]. La inteligencia artificial está aportando sobre todo a la gestión de la calidad del producto, utilizando métodos de análisis de datos a través de distintos sensores, garantizando la calidad del producto en una empresa, lo cual significa, que más que un lujo, la implementación de sistemas inteligentes se ha vuelto parte indispensable dentro de esta industria [2].
El uso de estas tecnologías durante la siembra y la cosecha es indiscutible, pero existe una parte muy importante que ha sido algo descuidada por parte de algunas distribuidoras de alimentos y que afecta primordialmente a los comerciantes de pequeñas y medianas empresas, y es la postcosecha. A esta se le dividen en dos procesos fundamentales: desde el punto de vista agrícola en el tratamiento del suelo luego de que este se coseche, y desde el punto de vista comercial, como lo son la distribución y el almacenamiento [3]. En este último, como bien lo menciona la FAO (Organización de las Naciones Unidas para la Alimentación y la Agricultura) el 40% de las pérdidas y desperdicios de alimentos en los países en vías de desarrollo ocurren en la fase postcosecha o en la de elaboración, mientras que en los países algo más desarrollados, este 40% ocurre a nivel de ventas al por menor [4], es decir, en comerciantes más artesanales. Estas cifras resaltan la necesidad que tiene la sociedad en incluir tecnologías derivadas de la disciplina de inteligencia artificial para mejorar la conservación de los alimentos. No obstante, métodos utilizados por empresas grandes conllevan a grandes costos, tanto económicos como computacionales por la complejidad de algoritmos de redes neuronales, o aprendizaje automático. Sin embargo, existen las herramientas para disminuir los costes, sin disminuir considerablemente la fiabilidad, y es el caso de la implementación de sistemas de visión artificial en conjunto con el estudio de la correlación entre la pigmentación de la cáscara del fruto y su nivel de maduración.
Como el sistema de visión artificial se encarga de analizar las propiedades ópticas, será necesario que el producto a estudiar tenga una correlación entre su nivel de maduración y su color superficial, descartando la posibilidad de aplicar este método con vegetales o legumbres, cuya condición es más
difícil de medir, dejando como candidato directo para el estudio a las frutas, ya que estas en su mayoría reflejan en la superficie de su cáscara cambios de pigmentación dependiendo de la etapa de maduración en que se encuentren.
Naturalmente los frutos maduran cuando incrementa el etileno, una hormona que se produce en el proceso de maduración, el cual provoca cambios en la pigmentación y firmeza del fruto [5]. Mediante este método, también se han creado sensores especiales para medir el nivel de maduración, pero sus costos son considerablemente más altos.
1.1 Antecedentes
Panamá, por su ubicación geográfica y por consecuencia su clima tropical tiene una gran ventaja en la producción de frutas tropicales, brindando una gran variedad de especies, que sustentan su desarrollo con los niveles de humedad y temperatura estables, ya sea en época seca como en lluviosa [6]. Este es el caso de la Musa cavendish, mejor conocida como Banana Cavendish. El sector productivo ha aprovechado las ventajas para su siembra y cultivo, a lo largo de la historia de la república, dedicando zonas extensas en las provincias de Bocas del Toro y Chiriquí, para la producción y exportación de este fruto. Aunque en la década del 60 la industria sufrió una crisis por la aparición del Mal de Panamá (un hongo que ataca el tallo bananero afectando la producción de bananos) y porque la oferta mundial era mucho mayor a la demanda [7], los productores siguieron cultivando para el consumo local, tanto para cadenas de supermercados, como para el mercado de abastos.
Cuando las actividades son de esta magnitud es necesario llevar una trazabilidad, que describa los procesos por los cuales ha pasado la fruta desde la preparación del suelo hasta su postcosecha antes de llegar al mercado. No obstante, estos estándares se llevan a cabo en su mayoría para las exportaciones o dentro de empresas grandes, por lo que los pequeños comerciantes, tienen poca información para la toma de decisión sobre el manejo del mismo desde el punto de vista del negocio, trayendo consigo pérdidas a nivel económico para la empresa, por los períodos de vida calculados por intuición y no por certezas, y por la subutilización de toda la información que el fruto puede proveer para una mejor gestión de la venta.
1.2 Descripción del problema
Tomando en cuenta la etapa postcosecha, desde la distribución a la venta, es posible implementar procesos y tecnologías que mejoren la gestión del fruto aprovechando la información que este posee, en esta ocasión, desde su cáscara. Actualmente, pocas son las frutas frescas no empaquetadas que vienen con fecha de expiración. De igual manera, los precios
de las estanterías sólo se basan en la oferta y demanda del producto, sin embargo, es posible manejar un precio más dinámico si se toma en cuenta cuándo la fruta está próxima a llegar al punto en que es menos atractiva para el comprador o porque su estado de maduración está más adelantado y de esta manera minimizar las pérdidas de producto que a su vez se traducen en pérdidas económicas. Otro enfoque que se busca es crear mayor cantidad de alianzas estratégicas entre comercios, por ejemplo: un comerciante de frutas y una repostería, ya que, en el caso del banano, este sigue siendo comestible aun cuando no es atractivo para su consumo fresco, por lo que puede ser utilizado como ingrediente base en un pastel, por ejemplo. Tomando en cuenta esta problemática y la situación actual se define como objetivo de este proyecto el desarrollar un sistema de visión artificial que permita determinar cuánto tiempo aproximado de vida útil tiene un fruto de Banano Cavendish en su etapa de postcosecha.
1.3 Alcance
A pesar de que la mayoría de las frutas reflejan su nivel de maduración en la cáscara, no todas lo hacen de la misma forma, ni con el mismo patrón y muchas tienen una demanda en el mercado muy baja o solo se cultivan en una estación determinada o durante un periodo de vida del fruto determinado, por lo que realizar un estudio sobre estos tendría un impacto menor para la sociedad en general. Tomando en cuenta estas características y el contexto que significa Panamá como país de clima tropical, una alternativa viable es el estudio del banano utilizado para exportación que el Banano Cavendish, que además es la especie más comercializada a nivel mundial [1].
En cuanto a la visión artificial, se desarrolló un prototipo de bajo coste que analiza las propiedades visuales del banano de uno a la vez, tomando como base la experimentación previa encargada de generar los datos de entrenamiento, con los cuales se identificarán las etapas de maduración del banano y el tiempo aproximado de vida útil que le queda a cada uno. El costo del experimento sólo ha sido dado por el de los sensores y módulos que se requirieron para realizar las capturas de datos, porque las herramientas de software que se utilizaron son de uso gratuito y de fácil uso, por lo que no radican costes de capacitación o servicios web. También se utilizaron materiales reusados como madera de viejos cajones, cartón, mallas para moscas y mosquitos, entre otros, y el consumo eléctrico del mismo no fue lo suficientemente alto para verse reflejado como un aumento en el pago de la tarifa de electricidad.
1.4 Justificación
A pesar de que en ocasiones, comerciantes y consumidores de experiencia pueden estimar el nivel de maduración del fruto, su método carece de precisión y tampoco es como que el resto de los clientes estén en mejores condiciones. Muchos aspectos como la temperatura, la humedad y la ventilación pueden considerarse catalizadores o retardantes de la maduración, pero son aspectos que para el consumidor y algunos comerciantes no es accesible medir. Es por lo que la experimentación previa y el sistema pueden sentar una base para poder brindar tanto al consumidor como al comerciante las herramientas necesarias para tomar decisiones correctas sobre el manejo del fruto.
De igual forma, la subsidiaria en Panamá de la compañía Del Monte realizó una inversión de alrededor de USD 100 millones para la reactivación de la producción de banano dentro del país, sembrando en su primera etapa 970 hectáreas de las 4 mil hectáreas que obtuvo mediante el contrato con el gobierno de la república. Este proyecto inició en el mes de mayo del 2018 [9] y en el mes de febrero del 2019 se realizaron los primeros cortes de banano para exportación procedentes de las fincas bananeras de Puerto Armuelles, distrito de Barú, provincia de Chiriquí a cargo de la compañía Banapiña S.A. (subsidiaria de la empresa Del Monte) [8]. Este acuerdo fue firmado con el Gobierno de Panamá y tiene una duración de 20 años, generando aproximadamente 2,725 cajas por hectárea por año (alrededor de 2,643,250 cajas anuales) [9]. Esto, sumado a que el negocio del banano se elevó en Italia un 9% generando en exportaciones a nivel centroamericano USD 1,870 millones (de los cuales USD 101 millones corresponden a Panamá) [10] y en los Países Bajos a un 36% equivalente para Centroamérica en exportación a USD 590 millones (USD 66 millones corresponder a Panamá) [11], nos sirven como indicadores de que el mercado del banano se está moviendo de manera conveniente para desarrollar una innovación que le aporte valor al proceso de comercialización.
2. Marco teórico
2.1 Situación actual
Actualmente no se cuenta con ningún proceso de estimación del estado de maduración del banano que aproveche la tecnología existente, mucho menos del tiempo estimado que este podría durar. Lo que más se aproxima es el uso de sensores de etileno, que es utilizado para determinar las concentraciones en partes por metro (ppm) de etileno en el aire producido naturalmente por los frutos [12].
Con la información de estos sensores es posible determinar, dependiendo del área en que esté aislado el fruto, el tiempo de maduración de este, pero al depender mucho del tamaño del sitio de almacenamiento y la cantidad de días que se le almacene, dificulta el desarrollo de una solución generalizada para la estimación del tiempo de vida útil del fruto.
2.2 Visión artificial
La visión artificial se puede definir como la rama de la inteligencia artificial que se dedica a la captación, procesamiento y memorización de información obtenida a través de imágenes digitales, sea en tiempo real o mediante imágenes previamente capturadas, utilizando los resultados de dichos análisis para desencadenar acciones u otros procesos [13]. Esta necesita de modelos matemáticos para analizar los píxeles capturados utilizando aspectos como la saturación, profundidad y valor, además de niveles de grises para así encontrar características específicas dentro de las imágenes o vídeos [13]. Al utilizar librerías especializadas de código abierto y lenguajes como Python o C++ para su desarrollo, conduce a un menor coste, tanto en lo computacional como en lo presupuestario.
2.3 Banano Cavendish
Para el proyecto se determinó que el banano de la variedad Cavendish (Musa cavendish) era el que mejor se adaptaba a la metodología de trabajo, no sólo por sus características comerciales, sino también por su morfología. A continuación, veremos más a detalle sus cualidades.
Es uno de los frutos más consumidos en todo el mundo y es considerado un cultivo comercial fundamental. Es cultivado en más de 135 países en regiones tropicales y subtropicales, y al ser una planta que crece durante todo el año es esencial para la exportación en múltiples países en desarrollo [14].
La variedad Cavendish representa hasta el 95% de toda la comercialización de banano, ya que, al no contar con semillas es de gran atractivo para el consumidor; sin embargo, esto la vuelve una planta estéril, es decir, que las flores no necesitan ser fecundadas por animales, por lo que su medio de reproducción es a través de brotes laterales del tallo [15]. En la figura 1 se pueden apreciar las etapas que se identifican en la maduración de esta variedad de banana.
2.4 Estudios relacionados
Ya se han hecho estudios similares, por ejemplo, el mencionado [16] en realizado en Colombia enfocado en el uso de un sistema que determine la madurez del mango hilacha, usando visión artificial, en el cual utilizando la norma técnica NTC5139 determinaron seis etapas de maduración del mango
que tomaron como base para desarrollar el sistema de visión artificial y determinar en qué etapa de la maduración estaba el fruto de manera automática [16].
De igual manera el trabajo [17], también en Colombia, utiliza la librería de Python OpenCV con la técnica de segmentación de Otsu logran clasificar satisfactoriamente con una precisión del 92.6% el estado de maduración de la Granadilla, tomando en cuenta la norma técnica colombiana NTC 4101 [17].
3. Metodología de trabajo
3.1 Diseño del experimento
La metodología de trabajo describe los procesos por los cuales pasa la investigación. Estos procesos cuentan con objetivos específicos que al completarse acercarán cada vez más al proyecto a su resultado. Estos comprenderán las fases de recolección de datos, desde la cual se van a recopilar las imágenes que servirán para el entrenamiento y el refinamiento del modelo; el desarrollo del modelo que será el encargado de clasificar las imágenes de entrada y dar como salida información requerida para el usuario, y la implementación que comprende una interfaz desde la cual se podrá interactuar con el sistema.
3.2 Recopilación de muestras
Todo sistema basado en inteligencia artificial requiere de un conjunto de datos de entrenamiento con los cuales, luego de ser analizados con un determinado algoritmo, brindará una base para encontrar una función que defina el comportamiento del fenómeno estudiado, en este caso, una clasificación. Es necesario conseguir un conjunto de imágenes que cumplan con todo el proceso de maduración del banano y que contenga varios representantes de cada una de las etapas con su respectivo tiempo dentro del ciclo de vida del fruto. De igual forma, era necesaria la garantía de que no existiese manipulación adicional o intromisión de agentes biológicos (por ejemplo: insectos) que pudiesen afectar el ciclo de maduración.
Como podemos observar, son requerimientos altamente específicos, por lo que es muy difícil encontrar recursos en internet que cumplan con lo necesario, llevando a la necesidad de realizar las capturas desde la primera hasta la última etapa, guardando información sobre la temperatura, la humedad, la fecha y hora en que se tomó la fotografía.
Para evitar que ese proceso se hiciera manualmente, desperdiciando tiempo y energía, es necesario construir un mecanismo a través del cual, utilizando tecnologías de IoT (Raspberry Pi 3 Model B, Arduino Nano), una cámara de ocho megapíxeles (Camera Module V2), un sensor de temperatura y humedad (DHT22) y un servicio de almacenamiento en la nube (MongoDB Atlas) se pudieran programar periódicamente capturas de imágenes en un entorno controlado durante todo el ciclo de maduración del Banano Cavendish.
Este proceso de recopilación tomó un tiempo aproximado de seis meses, debido a que cada banano cumple su ciclo completo en aproximadamente un mes, y se requieren múltiples iteraciones del proceso de prueba para contar con un conjunto de datos más confiable. Esto, sumado a la variabilidad que se puede encontrar en la maduración y a la posibilidad de que el experimento quede inválido por no cumplir correctamente con las medidas requeridas, por ejemplo, si se selecciona accidentalmente otra especie, si el fruto no pasa por el proceso de maduración comercial debido a químicos, entre otros. Por esta razón, también es necesario tener una buena selección de sujetos de prueba, que no hayan sido afectados por agentes químicos o procesos industriales para de esa manera determinar con mayor exactitud el resultado.
3.2.1 Diseño del sistema inteligente
Luego de generar los datos de prueba con todas las características necesarias es momento de pasar al diseño del proyecto. Para esto, es necesario descargar de la base de datos (MongoDB Atlas) las imágenes y demás datos que se guardaron durante las capturas. Las imágenes pasaron por una fase de pre-procesamiento en la cual se limpiaron y se extrajeron las características más relevantes para el entrenamiento del modelo. En otras palabras, se recortó la silueta del fruto y se generó un vector descriptor del mismo que posteriormente pasó a ser parte de la estructura de datos que fue la entrada del entrenamiento del modelo.
En estas instancias también es necesario definir qué algoritmos de aprendizaje automático (Machine Learning) son los mejores candidatos para realizar la tarea, tomando en cuenta la densidad de datos y el tipo de clasificación que se necesita hacer, y a su vez, definir qué métricas serán utilizadas para medir el rendimiento de estos.
Para cumplir con esta fase se utilizó el lenguaje de programación Python, por su versatilidad y las librerías que posee para el manejo de datos. Entre estas librerías se encuentra OpenCV, que fue utilizada para limpiar las imágenes y generar el descriptor, como también Scikit-learn que proporcionó los algoritmos de Machine Learning para realizar la clasificación, así como las funciones para medir las métricas de rendimiento. Sumado a esto, el uso de Numpy permitió un mejor manejo de los arreglos n-dimensionales necesarios para realizar todo el proceso.
Luego de entrenar el modelo y verificar que su rendimiento realiza clasificaciones aceptables con una precisión de 80% o más, se procedió a desarrollar una integración de este, en otras palabras, una interfaz de usuario con la que se pudo interactuar con el modelo, dándole como entrada una imagen de un banano y brindando como salida en qué etapa de maduración se encuentra y cuánto tiempo aproximado de vida útil le queda. Esta interfaz puede ser en escritorio, aplicación Web o móvil.
Todo este proceso tuvo una duración aproximada de 4 meses, cubriendo el análisis y desarrollo del sistema, junto con una interfaz para realizar la interacción por parte de un usuario.
4. Experimentación
La experimentación corresponde al proceso de pruebas que se realizaron para captar los datos necesarios para desarrollar el proyecto, en este caso, un sistema basado en visión artificial. En este caso, ha sido un proceso que involucró hardware (microcontroladores, microcomputadores y sensores), software (scripts en Python, algoritmos en C++ adaptado para Arduino y bases de datos no relacionales) y ciencias de los alimentos (manejo del fruto y su ciclo de maduración).
4.1.1 Desarrollo del experimento
Luego de diseñar la dinámica del experimento se inició la fase de desarrollo del sistema de Internet de las Cosas (IoT) encargado de tomar las fotografías, captar la temperatura y humedad y almacenarlo en el Cloud de MongoDB Atlas. En primera instancia, se realizaron las conexiones del Arduino Nano con el sensor DHT22 a través de cables y una soldadura de estaño en una placa PCB perforada (figura 2).
A continuación, para una mejor conexión con el Raspberry Pi 3 Model B, fue necesario el desarrollo de un marco que pudiese sostener ambas tarjetas y que permitieran mantenerlas en su lugar sin interferir negativamente una con otra. Este marco se hizo de cartón debido a la disponibilidad del material y a su fácil manejo, evidentemente siendo soportado por tornillos y tuercas como responsables de separar las secciones del marco. Posteriormente, se procedió con la conexión del Arduino Nano con el Raspberry Pi. De igual manera, se conectó el Camera Module V2 al Raspberry Pi a través del puerto destinado para este en la tarjeta. El resultado de estas conexiones los podemos observar en la figura 3.
Este prototipo sirvió para realizar las primeras pruebas de recolección de datos, sosteniendo correctamente el sistema y manteniendo la integridad de este. No obstante, por la calidad del material y la manera en que está diseñado suponía un problema para futuras rondas, por lo que se optó por diseñar e imprimir en 3D (utilizando el software Fusion 360) un marco que fuese más acorde a las expectativas del proyecto y que pudiera proporcionar mejor protección, además de facilitar las conexiones. Este marco se diseñó igualmente con tres capas,
pero con un grosor de cuatro milímetros, brindando mayor rigidez que la versión anterior.
En estas capas se ubicaban el Raspberry Pi, el Arduino Nano y en el mismo nivel la cámara y el sensor de humedad. De esta manera se mantenía un orden, separación y una estructura robusta para el prototipo (figura 4):
Luego de los preparativos en hardware, es necesario desarrollar el software encargado de manejar todo el sistema de recolección de datos, el cual podemos dividir en capas como: manejo de sensores, manejo de fotografías, procesamiento de los datos, manejo de la base de datos, acceso a los datos. Estos interactúan como se muestra en la figura 5.
4.1.2 Resultados de la experimentación
Se realizaron múltiples rondas de recolección empezando a finales del mes de enero del 2020. Estas han tenido el objetivo de estudiar las propiedades ópticas que el Banano Cavendish adquiere a lo largo de su ciclo de maduración y a su vez capturar las condiciones ambientales (temperatura y humedad)
en las que se tomaron las fotos. Además, se aplicaron otras variables como si el fruto está sólo o en un gajo, o si la caja de prueba tiene ventilación. Las variables como la temperatura y la humedad guardadas serán mostradas en forma de tabla con la fecha en que se captaron. Para manejo de posibles errores dentro del sistema de recolección de datos, de desencadenarse fallos durante las lecturas el sistema los agrega con un valor de cero. Estos posibles errores también fueron un factor a considerar al decantarse por tomar cinco lecturas diarias. A continuación, los resúmenes de las capturas (figuras 6-9):
4.1.3 Conclusión de la experimentación
Este proceso de capturas de datos brindó una mejor noción de la manera en que el Banano Cavendish madura y cómo este puede ser afectado por otras variables como la ventilación, la cual, es utilizada por las bananeras para asegurar una maduración más uniforme y de esta manera ser resistente al transporte hacia el mercado sin afectar la calidad del producto.
Destaca a su vez, que el banano sólo toma el color amarillo brillante que se conoce bajo dos circunstancias:
· Luego de pasar uno o dos días en un almacenaje cerrado con ventilación que permita que el etileno que libera el fruto recorra de manera homogénea su superficie asegurando una maduración uniforme.
· Que el fruto se mantenga en la cabeza de banano ya sea cosechada o en el tallo, es decir, de una forma más natural. Con esto también se pudo comprobar que el banano no pasa por todas las etapas de coloración cuando este es cosechado desde verde y no es pasado por el proceso comercial, por lo que el fruto no alcanzará su madurez comercial y su madurez fisiológica se verá mermada por la poca concentración de
etileno que se encuentra a su alrededor.
Por tanto, el modelo que trabaje dentro de un sistema que determine los estados de maduración del banano y aproxime la cantidad de días que le quedan para pudrirse se vuelve relativo a las condiciones por las que haya pasado el banano, ya sea, si se hace con uno del mercado, con uno recién cosechado en condiciones caseras o uno separado temprano de la cabeza sin pasar por los procesos comerciales.
5. Desarrollo del sistema de visión artificial
Para llevar el sistema a resultados favorables, es necesario realizar ciertos procesos antes de entrar en la clasificación. Estos permitirán que al modelo sólo lleguen imágenes con las características correctas y suficientes para llevar a cabo un entrenamiento que arroje predicciones con un bajo porcentaje
de error. Estos procesos se conocen como: limpieza de datos y detección del banano.
5.1 Limpieza de datos
Las imágenes no siempre llegarán justo como se necesitan para alimentar al modelo, por lo que requieren pasar por una serie de filtros que permitan extraer el conjunto de pixeles que contengan los datos que se necesitan analizar o, dicho de otra manera, extraer la ROI (Region of Interest).
Para esta tarea, se convierte la imagen a escala de grises, se pasa por un filtro Gaussiano para suavizar los bordes. Luego, se aplica una detección de bordes de Canny, se define el límite inferior y superior correspondiente a la imagen del banano, lo que genera las coordenadas que conforman el rectángulo que se va a recortar de la imagen inicial y será utilizado como ROI. Como resultado la imagen se vería con en la figura 10.
Posterior a este proceso, para mejorar el conjunto de datos de entrenamiento, se pasó por un proceso de aumentado manual (sin el uso de librerías externas), en el cual, para cada imagen se genera una versión con rotaciones de 15 grados, 30 grados, 45 grados, 60 grados y 75 grados, terminando con un dataset total de 1,093 imágenes.
Finalmente, para contar con mayor cantidad de características para reflejar en el descriptor y mejorar el entrenamiento, se genera una serie de mosaicos de
4 imágenes x 4 imágenes con cada uno de los ejemplos resultantes en el proceso de aumentado, dando como resultado una imagen de 600 píxeles x 600 píxeles, permitiendo que el descriptor cuente con más datos útiles. Esta imagen resultante se muestra en la figura 11.
5.2 Detección del banano
Otro aspecto importante antes de llegar a la clasificación es determinar si en el conjunto de píxeles que le van a llegar al modelo desde la aplicación se encuentra la clase que se desea clasificar. Para esto, se necesita desarrollar un módulo de detección del banano que filtre esa información antes de que llegue al modelo y así evitar ejecutar un proceso de clasificación innecesario. Por eso se optó por desarrollar un modelo de clasificación binaria con KNN para realizar la detección. Esta clasificación binaria estaría compuesta sólo por las clases “es banano” y “no es banano”, siendo esta última conformada por imágenes de otras frutas como manzanas, peras, mangos, entre otras. También se implementó el LBP (Local Binary Pattern) como descriptor, por lo cual, la detección se verá afectada principalmente por la forma que tenga la imagen, y no por los colores.
El entrenamiento de este modelo se realizó directamente con el dataset de bananos luego de haber pasado por la primera fase de limpieza (extracción del banano de la imagen). No se utilizó el dataset con los mosaicos porque el objetivo de este modelo es detectar si existe un banano en la imagen, por lo que no necesita más que un descriptor que sea resistente al cambio de tamaño y rotación, mas no de color. Este modelo arrojó los siguientes resultados (tabla 1 y tabla 2).
5.3 Entrenamiento del modelo
El objetivo fue desarrollar un modelo que tuviese como entrada una imagen de un banano y dé como salida la cantidad de días que faltan para que llegue a su estado de inutilidad para el consumidor (estado de putrefacción). Si bien, ya se cuenta con un dataset de imágenes limpio, estas no pueden introducirse directamente como un arreglo de píxeles en el modelo. Es necesario crear un descriptor que represente las características importantes con las que se desea entrenar el modelo, por lo que se procedió a generar un histograma RGB, el cual, da como resultado la distribución de intensidad de cada uno de los canales (rojo, verde y azul) en relación con la cantidad de píxeles correspondientes a cada canal. Finalmente, tomando cada uno de los canales, se generó un equivalente porcentual, en el cual se especificó que porcentaje representa cada píxel de intensidad dentro de la imagen global, dando como resultado el descriptor de la imagen que fue utilizado en el modelo.
Es necesario también, relacionar esas imágenes a sus respectivos días restantes para que lleguen a putrefacción. Como las imágenes fueron capturadas por el sistema de IoT, se cuenta con el registro de la fecha en la que se tomó la fotografía. Entonces, se toma la fecha de captura de la imagen del banano cuando ya entró en putrefacción a la que se le denomina “límite”, y se le resta la fecha en la que se realizaron todas las capturas, dando como resultado, la cantidad de días restantes de cada una de las fotos, y asignando como cero (0) días, las imágenes cuya diferencia de días haya sido negativa (es decir, imágenes posteriores a la escogida como límite).
Teniendo ambos conjuntos, el descriptor del histograma rgb porcentual como variable independiente, y la cantidad de días restantes como dependiente, se cuenta con un dataset completo para el entrenamiento. Este, se llevó a cabo utilizando tres (3) algoritmos de regresión distintos para dar como resultado el rango entre la cantidad de días más baja y la más alta que den estos. Los algoritmos elegidos fueron: Epsilon-Support Vector Regression (SVR), Randon Forest Regression (RFR) y Multi-layer Perceptron Regression (MLPR).
5.4 Resultados del entrenamiento del modelo
Luego del entrenamiento, el rendimiento de los modelos se midió con los siguientes parámetros: Mean Squared Error (MSE), Mean Absolute Error (MAE) y Root Mean Squared Error (RMSE), los cuales calculan la desviación que tuvo el resultado de la predicción del valor real del grupo de entrenamiento, estos resultados se pueden apreciar en la tabla 3 y en la figura 12.
5.5 Implementación
Para la implementación, se desarrolló una aplicación prototipo utilizando Expo de React Native con el fin de que fuera fácil de desarrollar, necesitara pocas dependencias y no requiera emuladores para probarla. Fundamentalmente, consiste en una vista con acceso a la cámara del celular, con la cual se puede tomar una fotografía y posteriormente mandarla al servicio encargado de hacer la predicción. Este servicio es un API de Flask (Python3), la cual se encarga de determinar si la imagen entrante contiene un banano (utilizando el modelo de detección con descriptor LBP y modelo KNN). Luego de verificar la existencia del fruto, lo recorta, escala la imagen y genera un mosaico (como se observó en el entrenamiento) y lo pasa por los modelos ya entrenados, los cuales darán como resultado su predicción en días. La predicción se mostrará en números enteros, ya que, al tratarse de un rango, no es necesaria la exactitud decimal. Estas predicciones se introducen en un arreglo y se ordenan. Finalmente, el API da como respuesta un JSON (Javascript Object Notation) que
contendrá la predicción más alta y la más baja en días para que el banano quede putrefacto (figura 13).
5.6 Validación de los resultados
Si bien, desde el entrenamiento del modelo se pudo observar resultados con bajo porcentaje de error bajo los distintos indicadores, es necesario determinar si estas predicciones son acertadas en la realidad. Para esto, se tomaron los bananos y se dejaron madurar sobre el mismo papel desde el cuál se les tomó la fotografía. En este experimento no se utilizaron espacios controlados, como en la caja desde la cual se capturaron los ejemplos iniciales. Esto, principalmente para ver el funcionamiento de las predicciones y cómo madura el banano sin barrera para insectos y un entorno menos controlado (como lo fue la sala de una residencia) que la caja de capturas. A continuación, la figura 14 muestra los resultados de los bananos verificados con la predicción del modelo.
Como se puede observar, en tres (3) de los cuatro (4) ejemplos el banano llegó a un estado de putrefacción luego de los días estipulados por la aplicación móvil. El segundo banano de izquierda a derecha, también se acercó bastante a su punto de putrefacción, y si bien aún podía ser utilizado con fines culinarios (para hacer chocao’, un postre regional que emplea bananos de avanzada maduración, por ejemplo) se encontraba
en un punto para el cuál era desagradable ingerirlo crudo debido a la textura flácida y su sabor levemente fermentado.
5.7 Resultados de implementación
Con estas pruebas se pudo observar que el sistema responde correctamente en situaciones reales, con bananos que no formaron parte de su conjunto de entrenamiento y que, con el uso de estos modelos, fue posible predecir de manera aproximada el tiempo de maduración de bananos individuales provenientes de supermercados. No obstante, es necesario tomar en cuenta que el banano como fruto tiene muchas otras variables que pueden afectar su maduración, siendo la más importante la concentración de etileno, que, si bien no fue medida en este proyecto, no es equivocado pensar que, si el banano se almacena en un lugar con poca ventilación, o se almacenan múltiples frutos juntos el tiempo de maduración real podría ser más corto al estimado por el sistema.
6. Conclusiones
La inteligencia artificial ha llegado para cambiar las reglas del juego, muchas tareas que antes requerían de una constante supervisión humana para que se llevaran a cabo correctamente ya se pueden realizar con menos mano de obra, a menos costos y con menos pérdida de tiempo, la gestión de calidad es un ejemplo de ello. Y si bien, en este proyecto se habla de la gestión de calidad de un fruto en específico, sistemas similares como el aquí planteado pueden ser desarrollados e implementados en distintos sectores, tanto en el agrícola, como el de manufactura.
El sistema basado en visión artificial para la gestión de calidad del Banano Cavendish en su etapa de postcosecha muestra una arquitectura válida para otros sistemas de visión por computador, tanto desde la recolección de datos, como el entrenamiento de los modelos pueden ser utilizados para el estudio y generación de predicciones de otros frutos, y debido a que utiliza enteramente algoritmos de machine learning no es necesario lidiar con los costos de procesamiento de algoritmos más complejos como lo son los relacionados a las redes neuronales, facilitando aún más su implementación, tanto desde dispositivos móviles, como desde microcomputadores como el Raspberry Pi. Tomando en cuenta los puntos anteriores, se puede inferir que la aplicación de visión artificial a un rubro como el Banano Cavendish logra los objetivos planteados, permitiendo una estimación de su vida útil mediante la aplicación de algoritmos de machine learning.
El prototipo actual tiene la capacidad de ser utilizado en un entorno real proporcionando información valiosa para los comerciantes, de tal manera que puedan obtener mayores
beneficios mediante la identificación de clientes para distintas etapas del producto.
Si bien los resultados del sistema han sido satisfactorios, como resultado de su desarrollo se han observado ciertos aspectos que pueden ser mejorados para futuras implementaciones, entre estos podemos mencionar:
· La utilización de redes convolucionales o CNN y el uso de la arquitectura YOLO para una mejor detección.
· La aplicación desarrollada de manera nativa para dispositivos móviles.
· Desarrollo de un sistema embebido en la Raspberry Pi para maximizar la velocidad de procesamiento.
CONFLICTO DE INTERESES
Los autores declaran no tener algún conflicto de interés.
Agradecimientos
A todos aquellos que pusieron su grano de arena para que este proyecto fuera una realidad. A mis padres por su apoyo incondicional desde el principio del proyecto. A la Facultad de Ingeniería en Sistemas Computacionales, la cual me brindó una plataforma para catalizar mi talento y mis ganas de aprender. Al Centro de Investigación y Desarrollo de Tecnologías de la Información y la Comunicación, en especial al investigador Ing. Kexy Rodríguez quién me encamino en la concepción del proyecto años antes que siquiera pensara en convertirlo en mi proyecto de tesis. También al Mgter. José Moreno, que atendió mis dudas sobre la implementación del entorno para ejecutar el API del proyecto. Por último, pero no menos importante a los comerciantes que me suministraron muestras, mi amigo del colegio Yan Carlos Lo y a mi primo Miguel Rodríguez, ambos dueños de comercios. Para el desarrollo de este proyecto se emplearon fondos provenientes del Sistema Nacional de Investigación SNI del SENACYT.
REFERENCIAS
[1] Clarín Rural, «La Inteligencia Artificial, al servicio de la agricultura», Clarín Rural, 15 05 2017.
[2] PMA, «¿Qué Implicaciones Tiene la Inteligencia Artificial en la Industria de las Frutas, Vegetales y Flores Frescas?», PMA, 22 mayo 2017.
[3] M. Grolleaud, «Estudio sintético y didáctico sobre el fenómeno de las pérdidas que se producen a lo largo del sistema post-cosecha», FAO Library, 2002.
[4] FAO, «Desperdicio y pérdida de alimentos: el punto débil en la lucha contra el hambre,» FAO, 13 mayo 2015.
[5] Company, Deere &, «Influencia del etileno en la maduración», 2017.
[6] Ministerio de Desarrollo Agropecuario Panamá, «MIDA», MIDA, 24 04 2017. [En línea]. Available: https://www.mida.gob.pa/noticias_id_4757.html. [Último acceso: 18 02 2020].
[7] El Capital Financiero, «El fin de una historia», El Capital Financiero, 16 mayo 2011.
[8] A. Solís, «Panamá quiere revivir época del Oro Verde con reactivación de zona bananera», Sistema de Noticias Internacional de Panamá, 12 enero 2019.
[9] The Packer, «The Packer», Del Monte, Panama sign contract on banana production, 1 6 2017.
[10] Central América Data, «Banano: Negocios con Italia crecen al 9%», Central América Data, 20 2 2020. [En línea]. Available: https://centralamericadata.com/es/article/home/Banano_ Negocios_con_Italia_crecen_al_9. [Último acceso: 20 2 2020].
[11] Central America Data, «Banano: Ventas en Países Bajos crecen al 36%», Central America Data, 15 11 2019. [En línea]. Available: https://centralamericadata.com/es/article/home/Banano_ Ventas_a_Pases_Bajos_crecen_al_36. [Último acceso: 20 2 2020].
[12] lapaca, «lapacacr», lapaca, [En línea]. Available: http://lapacacr.com/productos/fisiologia- vegetal/analizador-de-gas-etileno. [Último acceso: 1 3 2020].
[13] Etitudela, «Etitudela», [En línea]. Available: http://www.etitudela.com/celula/downloads/visionartific ial.pdf.
[14] BioEnciclopedia, «BANANO», BioEnciclopedia, [En línea]. Available: https://www.bioenciclopedia.com/banano/.
[15] FAO, «Todo sobre los bananos: lo que debería saber acerca de esta fruta tropical», FAO, [En línea]. Available: http://www.fao.org/zhc/detail-events/es/c/447827/.
[16] J. Pérez y M. Caren, «Sistema que Determina el Estado de Madurez del Mango Hilacha», CECAR, 2017.
[17] D. Escobar Figueroa y E. Roa Guerrero, «Sistema de visión artificial para la identificación del estado de madurez de frutas (granadilla)», Redes de Ingenierpia Universidad Distrital Francisco José de Caldas, p. 9, enero 2016.
