Secciones
Referencias
Resumen
Servicios
Descargas
HTML
ePub
PDF
Buscar
Fuente


Revisión de la literatura sobre el uso del aprendizaje profundo enfocado en sistemas de inspección ópticos automatizados para la detección de defectos superficiales en el sector de la manufactura
Literature review on the use of deep learning focused on automated optical inspection systems for surface defect detection in the manufacturing sector
Revista Científica y Tecnológica InGenio revista de la Facultad de Ciencias de la Ingeniería, vol. 6, núm. 2, pp. 1-19, 2023
Universidad Técnica Estatal de Quevedo

Revista Científica y Tecnológica InGenio revista de la Facultad de Ciencias de la Ingeniería
Universidad Técnica Estatal de Quevedo, Ecuador
ISSN-e: 2697-3642
Periodicidad: Anual
vol. 6, núm. 2, 2023

Recepción: 07 Noviembre 2022

Aprobación: 09 Marzo 2023

URL: http://portal.amelica.org/ameli/journal/385/3854269001/

DOI: https://doi.org/10.18779/ingenio.v6i2.680

Resumen: El sector de la manufactura utiliza metodologías de aprendizaje automático supervisado que permiten mejorar procesos de inspección mediante la visión artificial. La inspección óptica automatizada ofrece eficiencia en el proceso de inspección para la detección de defectos en la fabricación de diversos productos. Este trabajo aporta con la identificación de aquellas limitaciones en el procesamiento de datos basados en el conjunto de reglas definidas y la gestión del dominio del proceso. Se propone una revisión de literatura sobre el uso del aprendizaje profundo enfocado a los sistemas de inspección ópticos automatizados para la detección de defectos superficiales en el sector de la manufactura. El objetivo propuesto es de identificar las diferentes arquitecturas orientadas en redes neuronales convolucionales aplicadas en sistemas de inspección óptico con el fin de automatizar la extracción de características o patrones. Por medio de la exploración de trabajos relevantes se permite identificar un total de 47 documentos seleccionados que abordan los problemas de generalización y técnicas de optimización, finalmente se contrasta la información de las diferentes arquitecturas para la elaboración de una tabla comparativa que evidencia mejoras en la precisión de los sistemas de inspección óptico mediante el porcentaje alcanzado. Estos resultados contribuyen como un insumo al conjunto de literatura existente para mejoras al sector de la manufactura.

Palabras clave: Manufactura, aprendizaje profundo, redes neuronales convolucionales, algoritmos optimizadores, inspección ópticos automatizados, generalización, desequilibrio.

Abstract: The manufacturing industry uses supervised machine learning methodologies to improve inspection processes through machine vision. Automated optical inspection offers efficiency in the inspection process for the detection of defects in the manufacture of various products. This work contributes with the identification of those limitations in data processing based on defined rule sets and process domain management. A literature review is proposed on the use of deep learning focused on automated optical inspection systems for the detection of surface defects in the manufacturing sector. The proposed objective is to identify the different architectures oriented on convolutional neural networks applied in optical inspection systems to automate the extraction of features or patterns. By means of the exploration of relevant works, a total of 47 selected papers that address generalization problems and optimization techniques are identified. Finally, the information of the different architectures is contrasted for the elaboration of a comparative table that evidence improvements in the accuracy of the optical inspection systems by means of the percentage achieved. These results contribute as an input to the existing body of literature for improvements in the manufacturing sector.

Keywords: Manufacturing, deep learning, convolutional neural networks, optimization algorithms, automated optical inspection, generalization, imbalance.

Introducción

El proceso de manufactura comprende un conjunto de procedimientos definidos mediante una gestión de calidad técnica y operativa aplicada por nuevas tecnologías y orientada por la visión artificial [1]. La aplicación de los sistemas de inspección en el sector de la manufactura pondera una gran variedad de procesos en diversas índoles. Procesos de tipo discretos y repetitivos son los más comunes y, son objeto de estudio dentro de los trabajos seleccionados para esta revisión de literatura. La detección de defectos utilizando procesos manuales no cumple con la exigencia de la industria moderna y es uno de los objetivos principales para la identificación de limitaciones tales como el factor operacional y tiempos de producción que, derivan a una baja productividad y calidad del producto. Una de las desventajas fundamentales se relaciona con los procesos de inspección manual, que se estructura mediante criterios de selección de defectos, pero con limitantes orientadas al factor humano y en procesos repetitivos, otra limitante son los tiempos de inspección condicionados por el número de objetos a inspeccionar en la elaboración del producto que genera una detección lenta y un elevado costo en la mano de obra [2].

Según trabajos como [3], [4], los sistemas de inspección óptica automatizados (AOI) se implementan a principios de la década de 1990, con el objetivo de adaptarse a procesos repetitivos y prolongados, mediante pruebas no destructivas, como una de las principales causas en la reducción de la inspección manual, para aumentar los rendimientos en el proceso de inspección. En las siguientes dos décadas posteriores a su implementación, países como Taiwán, China, Corea del Sur y Estados Unidos, mencionan el esfuerzo en el desarrollo del proceso de investigación para el progreso tecnológico de la inspección automatizada orientada a métodos de visión por computadora y sus diversas propuestas para aplicaciones industriales. En la última década, la implementación de los sistemas AOI en el sector de la manufactura es aplicado en su gran mayoría en proceso de tecnología de montaje superficial, pero esto no limita sus capacidades de adaptabilidad a diferentes procesos no lineales mediante métodos de clasificación supervisados y no supervisados. Los sistemas AOI establecen una evolución en el procesamiento de imágenes mediante algoritmos de aprendizaje automático y profundo, permitiendo establecer regiones de interés para una automatización en el proceso de extracción, selección de características y una selección de métodos de clasificadores.

Según [2], a inicios del 2021 en Taiwán se establece el uso de los sistemas AOI para la detección de defectos en superficies metálicas, se menciona sobre errores de posicionamiento que harían que los defectos se etiquetaran en lugares equivocados, ocasionados por los métodos inadecuados de iluminación usados en la adquisición de la información. La inspección óptica automatizada permite obtener eficiencia y eficacia en la fabricación del producto mediante el uso de arquitectura como You Only Look Once (YOLOV3) para la detección de objetos, y redes totalmente convolucionales (FCN) para la extracción de características. En los procesos tradicionales de inspección superficial los modelos de aprendizaje profundo (DL) son cada vez más aplicados debido a su utilidad en los sistemas inspección ópticos automatizados AOI. Un factor esencial en el aprendizaje de modelos profundos es el proceso de entrenamiento y la validación de la información. Los problemas como procesamiento de información, desequilibrio en la transmisión de datos, cantidad limitada de muestras de entrenamiento y calidad de datos generan discrepancia en el conjunto de entrenamiento y por consecuencia afecta la precisión del modelo.

Para mejorar la estructura basada en un conjunto de reglas definidas y gestión del dominio del proceso se propone esta investigación donde se presenta una revisión de literatura de los modelos de aprendizaje profundo aplicados con incidencia en los sistemas de inspección ópticos automatizados en el sector de la manufactura. Se tiene como objetivo identificar las diferentes arquitecturas de redes neuronales convolucionales (CNN) aplicadas en sistemas inspección óptica automatizada, mediante el uso modelos de aprendizaje profundo y sus diferentes técnicas de optimización que permitan mejorar de manera eficiente la precisión del modelo y con ello la detección de defectos superficiales.

Trabajos relacionados

La automatización en procesos de inspección se aplica en diferentes áreas de manufactura, con el objetivo de garantizar la calidad del producto. Para detectar anomalías generadas en el proceso de fabricación se ejecuta estrategias de mejora continua mediante un conjunto de métricas que permitan garantizar el correcto desarrollo del producto.

Sistemas inspección óptico automatizado

Según [5], los sistemas de inspección AOI surgen con la finalidad de integrar la inteligencia artificial y la tecnología de la inspección visual para establecer criterios automatizados mediante el procesamiento de imágenes, que garanticen la precisión del modelo. Una de las principales desventajas en los sistemas AOI es el procesamiento de las imágenes mediante el uso de métodos tradicionales tales como: la alta dependencia del ingeniero del conocimiento para el proceso de generación de extracción de características, el uso de dataset desequilibrados que elevan los tiempos de aprendizaje y la baja tasa de precisión en la detección de defectos evidenciados en las falsas alarmas. Según [6], se menciona sobre las limitantes mecánicas relacionadas al proceso de adquisición de datos para la fabricación de baldosas aplicado en la industria de la manufactura, se cita las problemáticas como el desequilibrio de datos identificados en el proceso de entrenamiento del modelo.

El uso del aprendizaje profundo (DL) mediante arquitecturas como Faster R-CNN permite ser un detector de objetos y extractor, automatizando procesos manuales de inspección, obteniendo una eficacia y eficiencia en el proceso de identificación de objetos. El uso del algoritmo clasificador pre entrenado como el VGG-16 y las técnicas de transferencia de datos permiten acortar los tiempos de entrenamiento. Los resultados obtenidos de esta propuesta alcanzan un 93% en el proceso de detección y clasificación de defectos. Se cita en [7], las ventajas en la automatización mediante las arquitecturas de aprendizaje profundo (DL), sobre las metodologías tradicionales de tipo supervisado que evidencian una predicción aceptable, pero con una alta dependencia asociada al ingeniero del conocimiento especializado en el proceso y el alto costo computacional. Las técnicas tradicionales como plantillas de comparación, archivos de diseño asistido por computadoras (CAD) y etiquetamiento manual usados por los sistemas de inspección ópticos automatizados, presentan una limitante en el proceso de adquisición y recolección de datos. Se menciona en [5], sobre el uso de una red neuronal convolucional de conjunto profundo (CNN) para inspeccionar defectos de soldadura de paquete dual en línea (DIP) de placa de circuito impreso (PCB) y su limitación en el proceso de adquisición de información por variaciones ambientales. El uso de la arquitectura YOLOv2 como detector de objetos y ResNet-101 como método clasificador permiten optimizar la tasa de detección sobre las limitantes que relacionan a las plantillas de comparación que están sujetas por reglas de diseño propios de los sistemas AOI. El uso de métodos optimizadores como el aumento de datos mediante técnicas de transformación permiten generar una variabilidad de muestras de entrenamiento para mitigar el desequilibrio de información y evitar errores de etiquetamiento. Los resultados obtenidos dentro de esta propuesta alcanzan un 96.73% de precisión en el proceso de identificación y clasificación de defectos.

Trabajos como [8], menciona sobre procesos de inspección de defectos en paneles de madera, y su limitación en procesos de detección de defectos generado por factores ambientales como la variación de ángulos y los fondos de iluminación que generan datos de baja calidad. El uso de arquitecturas basado en una red neuronal convolucional CNN para la detección de objeto y DenseNet 169 como método clasificador permiten optimizar la fuga y exceso de defectos. Métodos de optimización como la normalización por lotes permiten evitar una sobrecarga computacional que está derivada en las limitaciones de un conjunto de reglas definidas en sistemas ópticos. Basados en parámetros de configuración mal optimizados y que no se adaptan a las características de variabilidad del entorno como iluminación, velocidad y posición, generan limitantes en la adquisición y recolección de datos y, que son usados en el proceso de comparación mediante plantillas, se obtiene como resultado un 96.98% en la precisión del modelo en la detección de defectos superficiales.

Se menciona en [2], sobre el proceso de etiquetamiento, este proceso requiere de un amplio conocimiento del dominio para una correcta clasificación de defectos mediante algoritmos que identifiquen variaciones de características en el proceso de comparación de datos. La precisión de los sistemas AOI se limita por la variabilidad de características generadas por la estructura en el dominio del conocimiento aplicada al proceso manual de extracción de propiedades. La alta variabilidad de patrones de inspección generados para el proceso de comparación origina modelos con alto costo computacional y un elevado tiempo de inspección en tiempo real. Según [9], se menciona sobre los problemas en inspección óptica de superficies metálicas aplicado sistemas AOI generado por la complejidad del cálculo computacional, se evidencia que los tiempos de aprendizaje son elevados ya que no se dispone de una suficiente muestra de entrenamiento acorde a las características del producto. La tasa de error en sistemas AOI es elevada ya que el manejo de múltiples defectos genera discrepancia en el proceso de detección de defectos basados en parámetros como rangos de movimiento, porcentaje de aceptación y filtros de binarización. La arquitectura YOLO como extractor de características y VGG-19 como método clasificador permiten optimizar la complejidad mediante técnicas como control de iteraciones aplicado en el proceso de entrenamiento. La reducción en los tiempos de predicción permite obtener una mayor productividad, como resultado se obtuvo una precisión del 99.36% en el proceso de detección y clasificación de defectos.

Se evidencia en [10], la inspección de características de componentes de circuitos integrados aplicados en el sector electrónico, los problemas de calidad de imagen inestable y la limitación de datos en el entrenamiento del modelo, genera discrepancia en la predicción afectando los resultados. La aplicación de la arquitectura YOLO como extractor de características permite mitigar la variabilidad en la iluminación y contraste de imágenes para el proceso de clasificación, se aplica ResNet-50 como técnica para la transformación de datos, que consiste en un aumento de datos basados en parámetros de variabilidad, se obtiene como resultado un 99.48% de precisión en el proceso de detección.

Las limitaciones ambientales de iluminación y velocidad generalmente ocasionan deficiencia en la trasmisión de datos ocasionando discrepancias en el proceso de entrenamiento y limitando las técnicas de predicción del aprendizaje supervisado usado en sistemas AOI, [11]. El proceso de configuración es un factor esencial para el aprendizaje automático de tipo supervisado y tiene como objetivo una constante evaluación del rendimiento de los parámetros de clasificación, de tipo binario o de múltiples defectos. Su rendimiento a largo plazo permite identificar su grado de adaptabilidad con nuevos datos de entrada, mediante su aumento, basado en la agregación de características, para una correcta generalización en la clasificación de defectos superficiales [12].

REVISIÓN DE LITERATURA

Problemas de generalización

La revolución industrial aplica metodologías de aprendizaje profundo y permite establecer técnicas adaptativas mediante el aprendizaje por excepciones desafiantes para una mejora rápida y continua del modelo propuesto. Trabajos como [13], [14], [15], mencionan que la aplicación de redes neuronales convolucionales (CNN) y sus diferentes arquitecturas, están sujetas a la variabilidad en la ingeniería de funciones, que permiten establecer metodologías de retroalimentación orientadas a la automatización en el proceso de extracción de características mediante la aplicación de procesos de convolución en las áreas de mayor interés así, son identificadas por medio de filtros o kernel donde se establecen los coeficientes, encargados de procesar la imagen de entrada y posteriormente ser registradas en mapas de características.

A medida que se repite el proceso se disminuye la resolución de los mapas de características mediante técnicas de agrupamiento, seleccionando los coeficientes más relevantes y reduciendo la matriz original a la mitad de su dimensión, pero esto conlleva al aumento de filtros, es decir, el número de mapa de características, donde se registran las características o patrones más complejos. Estos parámetros serán los valores de entrada a una red de clasificación indexada en la arquitectura seleccionada para el procesamiento de imágenes [16].

Trabajos como [17], cita que los problemas de generalización están relacionados a la falta de adaptabilidad a los nuevos datos de entrada mediante procesos de entrenamiento que evidencian un excesivo ajuste del modelo y que, mediante datos de validación se determinan posibles problemas de sobreajuste y desajuste.

Se menciona en trabajos como [18], que otro problema que origina una deficiente generalización son: los datos de entrenamiento que presentan desequilibrio de clase, el proceso de adquisición y recolección de datos generados por la visión artificial y la complejidad en la estructura del algoritmo clasificador. Los ajustes de parámetros o hiper parámetros aplicando técnicas de regularización y optimización, tales como dropout, early stopping, weigth decay, datos artificiales y normalización por lotes permiten mitigar los problemas relacionados a la precisión del modelo y determinan una correcta generalización en el proceso de clasificación de defectos.

Según trabajos como [19], [20], [21],[22], una limitante en el proceso de predicción del modelo son los problemas de variabilidad relacionados a la fase de recolección y adquisición de información, que ocasiona desequilibrio en la transmisión de datos generando características no válidas para el proceso de entrenamiento. Según [22], [23], [24], [25], una solución planteada a problemas con limitación de datos es la implementación de técnicas de transferencia de información mediante métodos clasificadores pre entrenados que permitan acortar el tiempo y ajustar las características del producto. Para mitigar los problemas de desajuste, que ocasiona la variabilidad de entorno en sistemas AOI por factores de intensidad de iluminación o velocidad, en la adquisición de datos mediante el uso de cámaras con una alta precisión, se propone una retroalimentación mediante técnicas de selección de procesos de binarización o segmentación para una selección objetiva de características que permita tener una correcta generalización en la predicción del modelo.

Según trabajos como [13], [18], un método muy utilizado para optimizar el proceso de entrenamiento en una regresión de actualización de pesos mediante la aplicación del backpropagation es el método del descenso del gradiente en sus diferentes variantes. El sobreajuste es una problemática relacionada a un sobre entrenamiento del modelo que genera discrepancias en la clasificación de nuevos datos relacionados al conjunto de validación de ellos. Una solución es el aumento de datos de entrenamiento o de reducir la complejidad de la arquitectura clasificadora con el objetivo de simplificar el modelo. Los métodos optimizadores encontrados en el proceso de investigación están correlacionados con el proceso de generalización permitiendo establecer metodologías que optimicen la predicción del modelo [26]. La segunda problemática es el ajuste insuficiente (desajuste) que describe una incorrecta selección de datos de entrenamiento que genera una discrepancia con las características de datos requeridas para el proceso de entrenamiento y como factor secundario la arquitectura de la red clasificadora además, es demasiado simple para procesar grandes cantidades de información ingresadas en la red neuronal, como resultado se obtiene una deficiente adaptabilidad para realizar una correcta generalización [22]. La adquisición de datos se aplica mediante un proceso selectivo de información, ya que el aprendizaje profundo necesita un extenso conjunto de datos que se evidencian en parámetros de cantidad y calidad para obtener una correcta eficacia en el proceso de entrenamiento logrando precisión en la identificación de anomalías [15]. Esta revisión permite citar problemas relacionados con la adquisición y de datos en sistemas AOI ocasionando problemas de desajuste y sobreajuste (ver Tabla 1).

Tabla 1.
Clasificación de los modelos de acuerdo con el problema encontrado.

La optimización permite establecer una mejor predicción para obtener una mejor precisión y recuperación en la detección de defectos en superficies planas [27]. La aplicación del aprendizaje profundo demanda un mayor poder de cómputo y capacidad de almacenamiento de los sistemas actuales de inspección. Se propone trabajar con servidores externos mediante la aplicación de dispositivos de comunicación que permitan ofrecer una escalabilidad, así como un trabajo en paralelo del modelo de aprendizaje profundo y del sistema de inspección existente, obteniendo una mejora en la detección y estabilidad en el proceso de inspección resultante [28].

Las técnicas tradicionales de los sistemas de inspección demuestran precisión solo si existe un porcentaje bajo o mínimo de variación de los defectos detectados. Los modelos de aprendizaje profundo han demostrado tener adaptabilidad en los diferentes entornos de los sistemas de inspección tales como la iluminación, fondo, color, formas y tamaño, permitiendo la identificación de problemas superficiales obteniendo modelos robustos [11] . Mediante la aplicación de modelos de aprendizaje profundo basado en CNN se plantea reducir los criterios de ajustes y alcanzar una elevada precisión y rendimiento, especialmente en entornos que presentan variación de características generando inconsistencia en el conjunto de datos obtenidos de los sistemas AOI, [8].

Metodología

Se propone la selección de un método teórico con una perspectiva de evaluación cuantitativa que permite examinar las diferentes propuestas de modelos asociados al aprendizaje profundo para mitigar los problemas relacionados a la generalización en el proceso de clasificación, mediante una comparación de métodos optimizadores citados en esta investigación. Por medio de este estudio, se permite citar técnicas que eviten problemas de generalización que afectan a la predicción de nuevos datos en el proceso de clasificación de defectos.

Las diferentes técnicas aplicadas deben garantizar el equilibrio en los datos de entrenamiento y estar relacionadas con metodologías optimizadoras aplicadas en modelos clasificadores identificados en la aportación de esta revisión. Según la normativa ISO/IEC 23053 se citan las clasificaciones de problemas que se presentan en el desarrollo y entrenamiento del modelo generando un proceso de detección y clasificación de objetos deficientes (sobreajuste y desajuste).

Se escoge la técnica del mapeo sistemático que permite analizar e identificar los principales problemas del tema de interés. Mediante el desarrollo se adquiere información relevante estableciendo una estructura del contenido investigado para clasificar los resultados utilizando un proceso metódico, exacto y breve de la información relevante de acuerdo con la motivación, alcance, criterios de inclusión y exclusión principalmente (ver Figura 1).


Figura 1.
Proceso metodológico para la revisión de literatura.

Definición de preguntas de investigación

Se definen las preguntas relacionadas al uso del aprendizaje profundo en sistemas de inspección ópticos para mitigar problemas de detección de defectos originados por una incorrecta generalización de datos en el proceso de predicción del modelo. En la Tabla 2 se identifica cada una de las preguntas y su objetivo de estudio, mediante el cual se pudo seleccionar, analizar y definir cada información encontrada.

Tabla 2.
Preguntas de investigación y motivación.

Alcance de revisión

En la actualidad se dispone de varias opciones a nivel de repositorios de datos y artículos relacionados, donde se enfoca nuestro análisis en la clasificación de defectos, mediante modelos de aprendizaje profundo, determinando una búsqueda relacionada a métodos y algoritmos expuestos por varios autores y analizando el área de visión artificial. Los temas expuestos y artículos citados en el proceso de investigación se los detecta en repositorios de datos como IEEExplore, ScienceDirect, Springer, MDPI, ASME, ACM Digital Library, Tech Science Press, IOP Science, Frontiers. El alcance de tiempo seleccionado para la búsqueda está entre los rangos desde el año 2018 al 2022 (ver Tabla 3).

Criterios de inclusión. Se establece un conjunto de criterios para la elección de trabajos relevantes mediante las siguientes consideraciones, entre ellas: se estableció como parámetros principales de inclusión aquellos artículos que tengan una conexión con el área de aprendizaje profundo y, donde diversos investigadores estiman metodologías de aplicación en sistemas de visión artificial mediante la inspección óptica automatizada. Se incorpora además en la investigación aquellos análisis, deductivos, experimentales, mixto y de observación. Finalmente, se propuso incorporar artículos solo en inglés.

Criterios de exclusión. Se toma en consideración los siguientes parámetros: se descartan los trabajos relacionados con acceso limitado por derechos de autor; se excluyen todos los trabajos relacionados con artículos que tenga idioma diferente al inglés; se excluyen trabajos que no tengan relación con el tema principal al aprendizaje profundo y sistemas de inspección óptico automatizados.

Método de búsqueda. Se estructura la siguiente clasificación de filtros, primer filtro: Conexión con el contenido principal; segundo filtro: Interpretación del extracto; tercer filtro: Revisión y análisis completo de la propuesta de investigación; de esta forma se presentan los parámetros que se ejecutan en la búsqueda de los trabajos de investigación.

Selección de trabajos primarios. Mediante el proceso de búsqueda se aplican parámetros inclusión y exclusión para extraer trabajos relevantes afines al objetivo de la investigación, con la finalidad de obtener resultados para las preguntas planteadas en el proceso de investigación.

Tabla 3.
Resultado de la investigación exploratoria.

Delimitación de criterios de análisis. Mediante los trabajos preseleccionados se determina una revisión del resumen y por último se genera una revisión texto completo para citar la selección final de trabajos asociados al proceso de investigación. La aplicación de métodos exploratorios permite obtener un total de 47 resultados de búsqueda (ver Tabla 3).

Método de adquisición de información. Se genera la adquisición de información mediante las preguntas de investigación que tienen como objetivo identificar los modelos, métodos y técnicas que se utilizan dentro de esta revisión de literatura utilizando la aplicación de parámetros de inclusión y exclusión que determinen los trabajos relevantes.

Análisis de resultado. Los resultados de la revisión de literatura, genera una tabla de resultados que guardan correspondencia a las preguntas de investigación.

Tabla 4.
Resultados de las preguntas de investigación.

Resultados

Una vez finalizado el proceso de recolección de datos relacionados al tema de investigación se procede a citar nuestra matriz de información aplicando parámetros de inclusión y exclusión, se obtiene como resultado un total de 47 trabajos de investigación seleccionados. Se identifica que la mayor selección de documentos sean artículos de revistas, conferencias y revisiones que pertenecen a la base de datos IEEExplore, estos aportan una cantidad de 18 documentos que representan un 38% de la muestra total, MDPI representa un 23% (11), Springer representa un 19% (9), ScienceDirect representa un 9% (4), como contraparte se seleccionan las bases de datos como ASME, ACM Digital Library, y otras como Tech Science Press, IOP Science, Frontiers que juntas aportaron 5 documentos, que representan un 11% del total del proceso de selección final.

Para la pregunta de investigación, Q1. ¿Cuáles son los modelos de aprendizaje profundo usados en sistemas de inspección óptico automatizados?, los resultados encontrados se detallan en la Tabla 5.

Se muestra la comparación de los algoritmos propuestos mediante la citación de las limitaciones en los sistemas de inspección ópticos automatizados que especifican la variabilidad del proceso de adquisición y recolección de datos basados en problemas de generalización encontrados en el proceso de investigación (ver Tabla 5).

Tabla 5.
Tabla comparativa de algoritmos propuestos.

Se identifican técnicas que permiten mitigar problemas de generalización que se definen como la limitación del modelo para adaptarse a nuevas muestras de datos, permitiendo obtener una estabilidad y adaptabilidad para realizar un eficiente proceso de predicción del modelo propuesto. Los resultados permiten identificar las arquitecturas de aprendizaje para evaluar los modelos con mayor usabilidad en el proceso de inspección aplicado en los sistemas de inspección óptico automatizados (ver Figura 2).


Figura 2.
Porcentaje de algoritmos propuestos en las investigaciones.

Los modelos con arquitectura basados en (CNN), son representados por el 38%. Se evidencia sus respectivas variaciones tales como del Yolo versión 1-5 son representados con un 25% y sus variantes, red neuronal convolucional redundante (RCNN) con un 15%, faster-RCNN con un 4%, red neuronal convolucional profunda (D-CNN) con un 9%, red convolucional generativa (GAN-CNN) con un 9%. Se determina que las arquitecturas CNN son las alternativas más utilizadas para el proceso de inspección de defectos superficiales.

Para la pregunta de investigación, Q2. ¿Cuáles son los métodos optimizadores aplicados en los modelos de aprendizaje profundo para mitigar los problemas de clasificación en sistemas AOI?, se determinan los métodos optimizadores identificados para la estimación del factor de pérdida que permite evaluar el grado de madurez en el proceso de entrenamiento, obteniendo una correcta generalización en el proceso de clasificación de defectos (ver Figura 3).


Figura 3.
Porcentaje de propuestas y metodologías aplicadas.

Se evidencian metodologías optimizadoras aplicadas en el proceso de entrenamiento mediante modelos de aprendizaje profundo, se destacan metodologías como el uso del método base del Gradiente descendente que es representado por el 38%, se identifica la optimización adaptativa de impulso Adam representada con el 26%, Gradiente descendente estocástico SGD con un 17%, gradiente descendente adaptativo AdaGrad con un 9% y métodos con variaciones del método Adam como el Adaboost, Adaadelta, RMSprop que representan un 10% del total de investigaciones seleccionadas.

Para la pregunta de investigación, Q3. ¿Cuáles son las técnicas que permiten mitigar problemas de generalización relacionadas a desajuste y sobreajuste ?, se evidencia que el mayor porcentaje está relacionado a problemas de adquisición y recolección de datos asociados a la categoría de sobreajuste, estimados en la tabla 5, utilizados en el proceso de entrenamiento de los modelos de aprendizaje profundo representado por un 72%. Trabajos como se menciona en [22], a los problemas de desajuste o ajuste insuficiente están representados por un 28% que se relacionan a faltas de muestras de entrenamiento que a su vez generan una baja generalización del modelo propuesto, además de la aplicación de metodologías que no son adaptativas al conjunto de datos disponible, específicamente en las técnicas de procesamientos lineales ajustada a conjuntos de datos no lineales (ver Figura 4).


Figura 4.
Porcentaje de clasificación de problemas en la generalización de datos

Se detallan los problemas que se generan en el proceso de entrenamiento, estimando diferentes factores importantes como la recolección de datos o el proceso de etiquetamiento de clases que influyen en el aprendizaje del modelo. Se identifica que el 31% presenta desequilibrio en la transmisión de datos para el conjunto de entrenamiento tema citado en trabajos como [36] y menciona que afecta directamente la generalización y precisión de los modelos de aprendizaje profundo; otro problema significativo es la limitación de datos que está representado por el 23%; en tercer lugar la complejidad computacional representada por un 21% relacionada a la limitación tanto a nivel de infraestructura como complejidad de la arquitectura empleada en el proceso de aprendizaje.

Trabajos como [37], [38] dan importancia al cuarto problema que hace referencia al tiempo para el entrenamiento y sus limitantes que están representadas por el 13% de la muestra total que ocasionan complejidad computacional en la arquitectura de aprendizaje profundo y, los problemas restantes están relacionados con etiquetamiento y datos de baja calidad que están representados con un total del 12%.

Las diferentes propuestas aplicadas mediante usabilidad de los modelos de aprendizaje profundo en los sistemas de inspección óptico automatizados para mitigar problemas de generalización, enfocados en limitación de los sistemas, afectan la etapa de adquisición, y recolección de datos ocasionando desequilibrio en la transmisión de datos. Mediante técnicas de optimización citadas, se establecen la configuración eficiente de los hiper parámetros en el proceso de entrenamiento.

Se identifica que el aprendizaje por transferencia, mencionado en trabajos como [39], cita una técnica de optimización que permite que las redes aprendan de manera más rápida y precisa, se representa con un 34% de las muestras totales, la técnica de normalización por lotes está representado por un 26% y tiene como objetivo normalizar las entradas en cada proceso de convolución de una red neuronal. Como valor agregado se identifica una categoría donde se utilizan estas combinaciones de técnicas tanto en la transferencia y en la normalización, que permiten alcanzar una rapidez y eficiencia en el proceso de entrenamiento, este está representado por un 17% de las muestras totales. Según [40], el control de iteraciones es una técnica muy usada en el proceso para reducir la complejidad del modelo mediante la disminución del número de capas que permite obtener una mayor velocidad en el proceso de aprendizaje. Se evidencia el aumento de la tasa de aprendizaje que está representado con un 15% y se refiere al proceso en la velocidad de aprendizaje de la arquitectura seleccionada, con el objetivo de buscar el error de predicción óptimo para una correcta generalización de datos en el modelo propuesto. Como procesos de optimización restantes se dispone de la actualización de hiper parámetros mediante técnicas como reducción de dimensionalidad de imágenes de entrada representadas con un 4%, la reducción de complejidad representado en parámetros como número de capas o profundidad del modelo, cantidad de neuronas usadas y la función de activación seleccionada para el proceso de entrenamiento, está representada con un 2% y por último la técnica de validación cruzada que se utiliza para identificar desequilibrio en los datos de entrenamiento está representada con un 2%.

Se evidencia que la técnica de regularización con mayor uso es la transformación de datos mencionada en [41], que permite generar datos aleatorios de forma artificial generando la variación de características en las nuevas imágenes, se aplica para el aumento de datos en el dataset de entrenamiento, está representada por un 23% de los trabajos seleccionados. La técnica dropout mencionada en [42], también conocida como abandono o deserción, se aplica con el propósito de evitar de problemas de desaparición de gradiente, representa un 17% de los trabajos seleccionados. La técnica early stopping representa un 13%, esta determina la carga del punto óptimo en el entrenamiento. La técnica de normalización como el tamaño de lote está representado por un 13%, permite evitar problemas de sobrecarga computacional. La técnica como weigth decay está representada por un 11%, el aumento de la complejidad determinado por el número de capas de iteraciones de entrenamiento y la arquitectura seleccionada está representada por el 4%. Se presentan variantes adicionales que utilizan simultáneamente varias técnicas de normalización tales como el dropout y weigth decay, early stopping y transformación de datos que están representadas por un 19% del total de trabajos seleccionados.

Para la pregunta de investigación, Q4. ¿Qué evidencia empírica existe sobre los artículos mencionados?, de un total de 47 documentos seleccionados, 39 documentos se clasifican como propuestas de investigación, que representan un 83%, 6 documentos se relacionan con estructuras de mapeos sistemáticos, que representan un 13% y 2 documentos de conferencia que representan un 4%, [13], [11], [28], [29], [43], [44], [45], [46].

Discusión

Se procede a realizar un análisis de los resultados para generar afirmaciones relacionadas a las preguntas de investigación. Se propone el uso de modelos de redes neuronales convolucionales para la detección y clasificación de defectos, pero se necesita validar la cantidad y calidad de información requerida para entrenar este tipo de arquitecturas mediante sistemas de inspección AOI.

Se identifica la aplicación de metodologías optimizadoras por medio de técnicas de optimización y regularización de parámetros de entrenamiento, pero no se detallan estrategias para prevenir problemas relacionados al desajuste y sobreajuste que afectan la precisión del entrenamiento. Se especifican las diferentes técnicas para mitigar problemas de generalización encontrados en el proceso de investigación, pero no incluye un análisis más completo de la adquisición y recolección de datos que permita obtener un mejor equilibrio específicamente en los datos de entrada del modelo.

Se debe considerar que entre el periodo seleccionado del 2018 al 2022 en este estudio es notorio la falta de artículos que propongan nuevos métodos para mitigar problemas de generalización enfocados al proceso de producción de la manufactura.

Conclusiones

Los resultados obtenidos de esta revisión de literatura permiten identificar modelos de aprendizaje profundo orientados al procesamiento de imágenes mediante redes neuronales convolucionales y sus diferentes tipos de arquitecturas, basados en la detección automática de características. Los diferentes autores exponen como factor inicial de investigación aquellos procesos de inspección en superficies planas mediante el uso de modelos intuitivos que se adapten a los diferentes campos de producción para la detección y clasificación de defectos. La identificación de problemas de generalización en el proceso de entrenamiento y validación permite identificar estrategias optimizadoras y de regularización orientadas a mejorar la predicción de los modelos. Se define la importancia de los trabajos seleccionados identificando las técnicas con mayor usabilidad en procesos de optimización, además se exponen características de los diferentes tipos de defectos generados por las limitaciones de los sistemas de visión artificial y sus conjuntos de datos utilizados en el proceso de aprendizaje. La aportación de este estudio se refleja en la ruta de la revisión de literatura que detalla los objetivos de los trabajos seleccionados permitiendo identificar metodologías de interés en la retroalimentación orientadas a un proceso optimizador con un 26%, evaluación de métodos de aprendizaje profundo con un 26%, problemas de adquisición y de recolección de la información representados con un 21%, técnicas de predicción para el aprendizaje en un 15%, y propuestas de modelos de aprendizaje profundo con un 12% del total de trabajos seleccionados.

Referencias

[1] R. Alvarado-Salazar and J. Llerena-Izquierdo, “Revisión de la literatura sobre el uso de Inteligencia Artificial enfocada a la atención de la discapacidad visual,” Revista InGenio, vol. 5, no. 1, pp. 10–21, 2022, doi: https://doi.org/10.18779/ingenio.v5i1.472.

[2] H.-I. Lin and F. S. Wibowo, “Image Data Assessment Approach for Deep Learning-Based Metal Surface Defect-Detection Systems,” IEEE Access, vol. 9, pp. 47621–47638, 2021, doi: 10.1109/ACCESS.2021.3068256.

[3] A. A. R. M. A. Ebayyeh and A. Mousavi, “A Review and Analysis of Automatic Optical Inspection and Quality Monitoring Methods in Electronics Industry,” IEEE Access, vol. 8, pp. 183192–183271, 2020, doi: 10.1109/ACCESS.2020.3029127.

[4] Q. Luo et al., “Automated Visual Defect Classification for Flat Steel Surface: A Survey,” IEEE Trans Instrum Meas, vol. 69, no. 12, pp. 9329–9349, 2020, doi: 10.1109/TIM.2020.3030167.

[5] Y.-T. Li, P. Kuo, and J.-I. Guo, “Automatic Industry PCB Board DIP Process Defect Detection System Based on Deep Ensemble Self-Adaption Method,” IEEE Trans Compon Packaging Manuf Technol, vol. 11, no. 2, pp. 312–323, 2021, doi: 10.1109/TCPMT.2020.3047089.

[6] A. M. Kamoona, A. K. Gostar, A. Bab-Hadiashar, and R. Hoseinnezhad, “Point Pattern Feature-Based Anomaly Detection for Manufacturing Defects, in the Random Finite Set Framework,” IEEE Access, vol. 9, pp. 158672–158681, 2021, doi: 10.1109/ACCESS.2021.3130261.

[7] Y. Yang et al., “A lightweight deep learning algorithm for inspection of laser welding defects on safety vent of power battery,” Comput Ind, vol. 123, 2020, doi: 10.1016/j.compind.2020.103306.

[8] L. C. Chen et al., “Edge-glued wooden panel defect detection using deep learning,” Wood Sci Technol, vol. 56, no. 2, pp. 477–507, Mar. 2022, doi: 10.1007/S00226-021-01316-3/TABLES/9.

[9] Y. C. Huang, K. C. Hung, C. C. Liu, T. H. Chuang, and S. J. Chiou, “Customized Convolutional Neural Networks Technology for Machined Product Inspection,” Applied Sciences 2022, Vol. 12, Page 3014, vol. 12, no. 6, p. 3014, Mar. 2022, doi: 10.3390/APP12063014.

[10] C. H. Lin, S. H. Wang, and C. J. Lin, “Using convolutional neural networks for character verification on integrated circuit components of printed circuit boards,” Applied Intelligence 2019 49:11, vol. 49, no. 11, pp. 4022–4032, May 2019, doi: 10.1007/S10489-019-01486-5.

[11] P. M. Bhatt et al., “Image-Based Surface Defect Detection Using Deep Learning: A Review,” J Comput Inf Sci Eng, vol. 21, no. 4, Aug. 2021, doi: 10.1115/1.4049535/1094064.

[12] R. K. Sheu, L. C. Chen, M. S. Pardeshi, K. C. Pai, and C. Y. Chen, “AI Landing for Sheet Metal-Based Drawer Box Defect Detection Using Deep Learning (ALDB-DL),” Processes 2021, Vol. 9, Page 768, vol. 9, no. 5, p. 768, Apr. 2021, doi: 10.3390/PR9050768.

[13] H. I. Lin and F. S. Wibowo, “Image Data Assessment Approach for Deep Learning-Based Metal Surface Defect-Detection Systems,” IEEE Access, vol. 9, pp. 47621–47638, 2021, doi: 10.1109/ACCESS.2021.3068256.

[14] J. W. Wang, C. C. Wang, and T. C. Cheng, “AI-based Automatic Optical Inspection of Glass Bubble Defects,” ACM International Conference Proceeding Series, pp. 242–246, Apr. 2020, doi: 10.1145/3396743.3396768.

[15] S. A. Reynoso Farnes, D. M. Tsai, and W. Y. Chiu, “Autofocus Measurement for Electronic Components Using Deep Regression,” IEEE Trans Compon Packaging Manuf Technol, vol. 11, no. 4, pp. 697–707, Apr. 2021, doi: 10.1109/TCPMT.2021.3060809.

[16] J. Llerena-Izquierdo, F. Procel-Jupiter, and A. Cunalema-Arana, “Mobile Application with Cloud-Based Computer Vision Capability for University Students’ Library Services,” Advances in Intelligent Systems and Computing, vol. 1277, pp. 3–15, Jun. 2021, doi: 10.1007/978-3-030-60467-7_1.

[17] H. Giang Nguyen, M. Meiners, L. Schmidt, and J. Franke, “Deep learning-based automated optical inspection system for crimp connections,” 2020 10th International Electric Drives Production Conference, EDPC 2020 - Proceedings, Dec. 2020, doi: 10.1109/EDPC51184.2020.9388203.

[18] M. A. Mallaiyan Sathiaseelan, O. P. Paradis, S. Taheri, and N. Asadizanjani, “Why Is Deep Learning Challenging for Printed Circuit Board (PCB) Component Recognition and How Can We Address It?,” undefined, vol. 5, no. 1, 2021, doi: 10.3390/CRYPTOGRAPHY5010009.

[19] Y. T. Li, P. Kuo, and J. I. Guo, “Automatic Industry PCB Board DIP Process Defect Detection System Based on Deep Ensemble Self-Adaption Method,” IEEE Trans Compon Packaging Manuf Technol, vol. 11, no. 2, pp. 312–323, Feb. 2021, doi: 10.1109/TCPMT.2020.3047089.

[20] G. S. Junior, J. Ferreira, C. Millán-Arias, R. Daniel, A. C. Junior, and B. J. T. Fernandes, “Ceramic Cracks Segmentation with Deep Learning,” Applied Sciences 2021, Vol. 11, Page 6017, vol. 11, no. 13, p. 6017, Jun. 2021, doi: 10.3390/APP11136017.

[21] K. J. Wang, H. Fan-Jiang, and Y. X. Lee, “A multiple-stage defect detection model by convolutional neural network,” Comput Ind Eng, vol. 168, p. 108096, Jun. 2022, doi: 10.1016/J.CIE.2022.108096.

[22] J. Li, N. Cai, Z. Mo, G. Zhou, and H. Wang, “IC solder joint inspection via generator-adversarial-network based template,” Mach Vis Appl, vol. 32, no. 4, pp. 1–16, Jul. 2021, doi: 10.1007/S00138-021-01218-1/TABLES/4.

[23] X. Zheng, J. Chen, H. Wang, S. Zheng, and Y. Kong, “A deep learning-based approach for the automated surface inspection of copper clad laminate images,” Applied Intelligence 2020 51:3, vol. 51, no. 3, pp. 1262–1279, Sep. 2020, doi: 10.1007/S10489-020-01877-Z.

[24] H. G. Nguyen, R. Habiboglu, and J. Franke, “Enabling deep learning using synthetic data: A case study for the automotive wiring harness manufacturing,” Procedia CIRP, vol. 107, pp. 1263–1268, Jan. 2022, doi: 10.1016/J.PROCIR.2022.05.142.

[25] A. Kulkarni and C. Xu, “A Deep Learning Approach in Optical Inspection to Detect Hidden Hardware Trojans and Secure Cybersecurity in Electronics Manufacturing Supply Chains,” Front Mech Eng, vol. 7, Jul. 2021, doi: 10.3389/FMECH.2021.709924.

[26] N. Hussain et al., “A deep neural network and classical features based scheme for objects recognition: an application for machine inspection,” Multimed Tools Appl, pp. 1–23, Apr. 2020, doi: 10.1007/S11042-020-08852-3/TABLES/8.

[27] L.-C. Chen et al., “Edge-glued wooden panel defect detection using deep learning,” Wood Sci Technol, vol. 56, no. 2, pp. 477–507, 2022, doi: 10.1007/s00226-021-01316-3.

[28] T.-H. Kim, H.-R. Kim, and Y.-J. Cho, “Product Inspection Methodology via Deep Learning: An Overview,” Sensors , vol. 21, no. 15. 2021. doi: 10.3390/s21155039.

[29] J. Lehr, A. Sargsyan, M. Pape, J. Philipps, and J. Krüger, “Automated Optical Inspection Using Anomaly Detection and Unsupervised Defect Clustering,” IEEE International Conference on Emerging Technologies and Factory Automation, ETFA, vol. 2020-September, pp. 1235–1238, Sep. 2020, doi: 10.1109/ETFA46521.2020.9212172.

[30] X. Zheng, H. Wang, J. Chen, Y. Kong, and S. Zheng, “A Generic Semi-Supervised Deep Learning-Based Approach for Automated Surface Inspection,” IEEE Access, vol. 8, pp. 114088–114099, 2020, doi: 10.1109/ACCESS.2020.3003588.

[31] Y. Yang et al., “A lightweight deep learning algorithm for inspection of laser welding defects on safety vent of power battery,” Comput Ind, vol. 123, Dec. 2020, doi: 10.1016/j.compind.2020.103306.

[32] Y. F. Chen, F. S. Yang, E. Su, and C. C. Ho, “Automatic Defect Detection System Based on Deep Convolutional Neural Networks,” 2019 International Conference on Engineering, Science, and Industrial Applications, ICESI 2019, Aug. 2019, doi: 10.1109/ICESI.2019.8863029.

[33] V. A. Adibhatla et al., “Unsupervised Anomaly Detection in Printed Circuit Boards through Student–Teacher Feature Pyramid Matching,” Electronics 2021, Vol. 10, Page 3177, vol. 10, no. 24, p. 3177, Dec. 2021, doi: 10.3390/ELECTRONICS10243177.

[34] K.-C. Li et al., “Intelligent Identification of MoS2 Nanostructures with Hyperspectral Imaging by 3D-CNN,” Nanomaterials 2020, Vol. 10, Page 1161, vol. 10, no. 6, p. 1161, Jun. 2020, doi: 10.3390/NANO10061161.

[35] B. M. Haddad, S. F. Dodge, L. J. Karam, N. S. Patel, and M. W. Braun, “Locally Adaptive Statistical Background Modeling with Deep Learning-Based False Positive Rejection for Defect Detection in Semiconductor Units,” IEEE Transactions on Semiconductor Manufacturing, vol. 33, no. 3, pp. 357–372, Aug. 2020, doi: 10.1109/TSM.2020.2998441.

[36] T. W. Tang, W. H. Kuo, J. H. Lan, C. F. Ding, H. Hsu, and H. T. Young, “Anomaly Detection Neural Network with Dual Auto-Encoders GAN and Its Industrial Inspection Applications,” Sensors 2020, Vol. 20, Page 3336, vol. 20, no. 12, p. 3336, Jun. 2020, doi: 10.3390/S20123336.

[37] T. C. Tsan, T. F. Shih, and C. S. Fuh, “TsanKit: artificial intelligence for solder ball head-in-pillow defect inspection,” Mach Vis Appl, vol. 32, no. 3, May 2021, doi: 10.1007/S00138-021-01192-8.

[38] J. Villalba-Diez, D. Schmidt, R. Gevers, J. Ordieres-Meré, M. Buchwitz, and W. Wellbrock, “Deep Learning for Industrial Computer Vision Quality Control in the Printing Industry 4.0,” Sensors 2019, Vol. 19, Page 3987, vol. 19, no. 18, p. 3987, Sep. 2019, doi: 10.3390/S19183987.

[39] Y. Shih, C. C. Kuo, and C. H. Lee, “Low-Cost Real-Time Automated Optical Inspection Using Deep Learning and Attention Map,” Intelligent Automation & Soft Computing, vol. 35, no. 2, pp. 2087–2099, Jul. 2022, doi: 10.32604/IASC.2023.027659.

[40] S. Mei, Q. Cai, Z. Gao, H. Hu, and G. Wen, “Deep Learning Based Automated Inspection of Weak Microscratches in Optical Fiber Connector End-Face,” IEEE Trans Instrum Meas, vol. 70, 2021, doi: 10.1109/TIM.2021.3059105.

[41] H. Yang, S. Mei, K. Song, B. Tao, and Z. Yin, “Transfer-Learning-Based Online Mura Defect Classification,” IEEE Transactions on Semiconductor Manufacturing, vol. 31, no. 1, pp. 116–123, Feb. 2018, doi: 10.1109/TSM.2017.2777499.

[42] Q. Zhang et al., “Deep learning based solder joint defect detection on industrial printed circuit board X-ray images,” Complex and Intelligent Systems, vol. 8, no. 2, pp. 1525–1537, Apr. 2022, doi: 10.1007/S40747-021-00600-W/FIGURES/12.

[43] T. Czimmermann et al., “Visual-Based Defect Detection and Classification Approaches for Industrial Applications—A SURVEY,” Sensors 2020, Vol. 20, Page 1459, vol. 20, no. 5, p. 1459, Mar. 2020, doi: 10.3390/S20051459.

[44] S. Shahrabadi, Y. Castilla, M. Guevara, L. G. Magalhães, D. Gonzalez, and T. Adão, “Defect detection in the textile industry using image-based machine learning methods: A brief review,” J Phys Conf Ser, vol. 2224, no. 1, Apr. 2022, doi: 10.1088/1742-6596/2224/1/012010.

[45] A. A. R. M. A. Ebayyeh and A. Mousavi, “A Review and Analysis of Automatic Optical Inspection and Quality Monitoring Methods in Electronics Industry,” IEEE Access, vol. 8, pp. 183192–183271, 2020, doi: 10.1109/ACCESS.2020.3029127.

[46] D. U. Lim, Y. G. Kim, and T. H. Park, “SMD Classification for Automated Optical Inspection Machine Using Convolution Neural Network,” Proceedings - 3rd IEEE International Conference on Robotic Computing, IRC 2019, pp. 395–398, Mar. 2019, doi: 10.1109/IRC.2019.00072.



Buscar:
Ir a la Página
IR
Modelo de publicación sin fines de lucro para conservar la naturaleza académica y abierta de la comunicación científica
Visor de artículos científicos generados a partir de XML-JATS4R