2.1 Enfoques de aprendizaje profundo para el análisis de microscopías SEM

Un SMS fue realizado con el fin de evaluar el estado actual de los métodos, técnicas y tendencia en el uso de aprendizaje profundo para el análisis de micrografías SEM, las cuales contienen micro y nanopartículas. El SMS permite obtener un panorama amplio del campo de investigación, puntos de atención y tendencias de trabajos realizados hasta el momento (^{Petersen, Feldt, Mujtaba, & Mattsson, 2008}; ^{Carrizo & Rojas, 2018}; ^{Dyba, Dingsoyr, & Hanssen, 2007}). La metodología empleada en este trabajo se describe en (Carrizo & Rojas, 2018), este consiste en tres etapas de ejecución: definición de protocolo, ejecución de la búsqueda y discusión de resultados (ver Figura 1).

Figura 1 Diagrama de flujo del proceso de SMS 

Definición del protocolo

La selección de artículos primarios pretende dar respuesta a las preguntas de investigación, para este caso en particular se consideraron las diferencias entre las técnicas y los métodos que consiguen clasificar y segmentar las nanopartículas contenidas en micrografías SEM, y la precisión de sus resultados; es así como se generaron las siguientes preguntas de investigación:

El alcance de SMS se refiere a la revisión de artículos primarios publicados en las bases de datos, y con los criterios de búsqueda que estuvieran escritos en idioma inglés, y durante el periodo 2017- 2022. En este estudio se emplearon las cuatro bases de datos más relevantes en el área de ciencias de la ingeniería y el desarrollo de software según ^{Dyba, Dingsoyr, & Hanssen, 2007}: Web of Science (WOS), Scopus, SpringerLink y ScienceDirect. Las palabras clave para conducir la búsqueda para la SMS fueron: “SEM”, “scanning electron microscope”, “deep learning”, “CNN”, “segmentation”, “microparticles” y “nanoparticles”, con las cuales se construyó la cadena de búsqueda general: (SEM OR scanning electron microscope) AND (deep learning OR CNN) AND segmentation AND (microparticles OR nanoparticles). Las cadenas de búsqueda para las diferentes bases de datos se construyeron en base a la cadena de búsqueda general, y fueron adaptadas a los requerimientos de cada una de las bases de datos.

Considerando las preguntas de investigación fueron generados criterios de inclusión y exclusión que se muestran en la tabla 1, los cuales se emplearon en la ejecución de la búsqueda.

Al definir el proceso de selección se generaron cuatro filtros posteriores la aplicación de los criterios de inclusión y exclusión, asegurando la calidad de la información recopilada:

Ejecución de la búsqueda

Una vez que se realizó la consulta en las bases de datos, se aplicaron los criterios de inclusión y exclusión, y los 4 filtros se seleccionaron los estudios primarios que son relevantes para responder a las preguntas de investigación.

Discusión de los resultados

Un esquema de caracterización fue creado para poder enfocar y simplificar los estudios primarios obtenidos. Los aspectos generales sobre las técnicas de aprendizaje profundo para la segmentación y detección de nanopartículas en las imágenes provenientes de microscopios SEM fueron analizados. Después se identificó el origen del conjunto de imágenes utilizadas para entrenar los algoritmos de aprendizaje profundo. Además del grado de validación, que incluye si la propuesta dentro del estudio fue validada o solo es una propuesta para utilizar técnicas de aprendizaje profundo. Finalmente, se considera el porcentaje de exactitud que presentan los artículos en sus resultados.

2.2 Prueba de concepto: segmentación de micro y nanopartículas en micrografías de carbonato de calcio

Tareas automatizadas mediante técnicas de aprendizaje profundo

Una de las dificultades con los algoritmos de aprendizaje automático es la cantidad de datos de entrenamiento. En la actualidad, no hay acceso a bases de datos suficientemente grandes como para entrenar modelos en nanotecnología, biología o medicina, por lo que se han desarrollado técnicas de aumentación de datos que aseguran que los algoritmos de aprendizaje máquina aprendan, reduciendo el sobreentrenamiento. En general, se toma una imagen base y se aplican transformaciones como giros, recortes, acercamientos y adición de ruido blanco, entre otras. Entre las técnicas de aumentación de datos que se prueban en este trabajo, se incluyen las encontradas en los trabajos primarios (^{Nartova, y otros, 2022}), así como las disponibles en la plataforma de OpenAI.

Por otra parte, las redes neuronales utilizadas para la detección de objetos utilizan una red troncal pre-entrenada para extraer características de la imagen, y luego utilizan una red de detección para realizar la predicción de la clase y la ubicación del objeto. En cuanto a la segmentación de objetos, se entrena con una representación de múltiples objetos, ya sea superpuestos o solapados. Este tipo de escenarios se encuentra en diversas aplicaciones biológicas, como el análisis morfológico de objetos moleculares o celulares, o la composición de nanoestructuras para observar objetos individuales teniendo en cuenta su tamaño y forma. Sin embargo, una limitación de estas aplicaciones es que se necesita conocer la distribución de tamaños de las nanoestructuras.

Una alternativa para la detección de nanopartículas se presenta en ^{Monchot, y otros, 2021}. En este trabajo se adapta una Mask R-CNN para la detección de nanopartículas de ZnO₂ en micrografías SEM. Esta fue creada por facebook Mask R-CNN es un modelo que mejora el detector de objetos Faster R-CNN al agregar una tercera rama que produce máscaras de objeto. Esto significa que no solo se identifica la clase del objeto y su posición, sino también su forma exacta. Por lo tanto, Mask R-CNN requiere una disposición espacial mucho más fina de los objetos en las imágenes para producir las máscaras con precisión.

Un método para segmentar objetos con superposición parcial es el denominado ACED. Consiste en binarizar la imagen para obtener la silueta, eliminando el fondo. En el primer paso se extrae el contorno de los límites que pueden inferir los objetos superpuestos. Como una opción se utiliza el detector de bordes Canny para extraer los bordes.

Por otro lado, un ejemplo de sistema para identificar, medir y contar nanopartículas es el sistema LIST, que ejecuta tres etapas: (1) reconocimiento de la morfología, (2) medición del tamaño y (3) reconocimiento de la barra de escala y texto para la conversión de la escala (Figura 2). En la primera etapa se determina la morfología de las nanopartículas en la imagen SEM de entrada. A continuación, se realiza la medición del tamaño en función del tipo de morfología de entrada (^{Kim, Han, & Han, 2020}). Finalmente, se realiza el reconocimiento de la barra de escala y texto para extraer la información de la escala y convertir el tamaño estimado en píxeles en la unidad adecuada (por ejemplo, μm o nm).

Figura 2 Flujo de procesamiento de imágenes del software LIST 

3.1 Mapeo sistemático: técnicas para el análisis de micrografías SEM

Los resultados del proceso de SMS se presentan en la tabla 2. De la búsqueda en la base de datos se recuperaron 161 artículos, aplicando los criterios de búsqueda, de inclusión y de exclusión y posterior a aplicar los cuatro filtros, los artículos primarios que seleccionados se restringió a 16.

El resultado del análisis de los 16 artículos que se encontraron, desde la cantidad de estudios de la información sobre la temática, y por qué es de interés abordar esta problemática tan actual se obtuvo la Tabla 3.

Adicionalmente se realizó la búsqueda en las bases de datos recomendadas en el área: EBSCO, IEEE y ACM, sin encontrar resultados relevantes, se encontró una fuente relevante que se agregó al análisis: ^{Rühle, Krumrey, & Hodoroaba, 2021}.

Como resultados en términos de precisión, en los estudios evaluados tenemos que tres artículos presentan una precisión por encima de un 90%: ^{Kaya, y otros, 2019}; ^{Cabrera, y otros, 2022}; ^{Furat, y otros, 2022}). Salvo algunas excepciones tenemos resultados por debajo del 80%: ^{Dyba, Dingsoyr, & Hanssen, 2007}; ^{Riewald, Kurzhals, Bianchini, & Heino, 2022}; ^{Kavuran, 2021}. Sin embargo, es importante mencionar que se encontraron importantes sugerencias, tal como el uso de CNN más robustas o datasets con una complejidad menor en las nanopartículas mostradas en cuanto a su morfología.

El análisis de los artículos primarios permitió encontrar las observaciones eficaces y métodos que presentan una alternativa automatizada en la segmentación y clasificación de nanopartículas. La mayoría de los documentos reportaron como primordial el segmentar y analizar las nanopartículas, así como caracterizar por tamaño y forma para posteriores análisis en diferentes industrias lo cual responde a la pregunta de investigación (^{Soosen Samuel, Bose, & George, 2009}). Las técnicas que son descritas para la detección y conteo de nanopartículas corresponden al uso del aprendizaje profundo en arquitecturas CNN, las cuales mencionan ser las más eficaces, lo cual responde a la pregunta de investigación número (^{Löwy, 2011}).

Las tendencias que se observaron para realizar estos estudios es el uso de CNN para la segmentación y detección de nanopartículas y el uso de redes GAN para clasificar por morfologías las nanopartículas, respondiendo la pregunta de investigación (^{Kaya, y otros, 2019}). Se puede deducir que el enfoque de la inteligencia artificial para la segmentación de micro y nanopartículas en micrografías SEM es el uso de aprendizaje profundo utilizando CNN. Para esto tenemos arquitecturas como Marsk-Net, U- Net, DenseNet, que facilitan el usar estas técnicas para desarrollar metodologías que permiten tener resultados precisos. Para la implementación comúnmente se utilizan librerías como Keras y Tensor Flow, que ponen a disposición éstas y otras herramientas de aprendizaje máquina.

3.2. Análisis de los estudios primarios

Entre los artículos primarios podemos encontrar una fuerte tendencia sobre el objetivo de encontrar una alternativa al análisis de micro y nanopartículas obtenidas de microscopios empleando tecnología de aprendizaje profundo para la detección y segmentación de nanopartículas. Sobre las técnicas de segmentación se encontró que se enfocan en su mayoría en el uso de redes neuronales convolucionales (CNN). Siendo esta técnica la preferida debido a las capas que involucra para procesar información y características no lineales. Un diseño típico de una CNN aprende patrones inherentes a través de filtros aplicables en diferentes resoluciones y las compara con las imágenes de entrada. También se encontró que librerías como Keras permiten visualizar patrones de manera sencilla (^{Baskaran, y otros, 2021}; ^{Khairunissa & Lee, 2022}; ^{Riewald, Kurzhals, Bianchini, & Heino, 2022}; ^{Kavuran, 2021}). Sin embargo, si las muestras a analizar no tienden a tener una mayor complejidad, como nanopartículas sobrepuestas unas a otras, desenfoque, ó un número muy grande de antipartículas dentro de la micrografía, se puede hacer uso de alternativas como Google inception network. Tal es el caso, del estudio de ^{Gesho, Chaisoontornyotin, Elkhatib, & Goual, 2020}, en donde se realizó el reconocimiento de nanopartículas y su tamaño.

Como entradas para el entrenamiento de las técnicas de redes neuronales en los artículos primarios, se encontró que un dataset de imágenes es necesario, y para generarlo se encontró una variedad de alternativas empleadas. Una de las técnicas a destacar es el uso de redes generativas antagónicas Generative Adversarial Networks (GAN). Estas redes hacen posible el generar nuevas micrografías a partir de unas cuantas muestras como en los siguientes artículos: ^{Kaya, y otros, 2019}; ^{Fu, y otros, 2021}; ^{Kim, Han, & Han, 2020}; ^{Coquelin, Fischer, Feltin, Devoille, & Felhi, 2019}. Sin embargo, también es común el uso de micrografías tomadas de manera tradicional de departamentos especializados en universidades (^{Kavuran, 2021}).

3.3. Pruebas de concepto

Las micrografías que se emplearon para la prueba de concepto fueron generadas en la síntesis de micro y nanopartículas de CaCO₃ en el trabajo de ^{Hernández-Zepeda, 2022}. La importancia de la obtención de estas micro y nanopartículas es porque pueden ser empleadas para la remoción de metales pesados, portador de fármacos o aditivo industrial, depende de diferentes variables como: su morfología, área superficial específica, fase cristalina y pureza. Para lograr un producto de síntesis adecuado dentro de una síntesis química, se deben controlar los disolventes y las temperaturas. La variación de estos parámetros ha demostrado tener efectos significativos en la forma, el tamaño, la uniformidad, la estabilidad y otras propiedades de las partículas (^{Khan, Saeed, & Khan, 2019}).

En Hernández-Zepeda para la obtención de nanopartículas de CaCO₃ se emplearon conchas de Crassostrea corteziensis, que son residuos que se generan del cultivo de ostiones en Boca de Camichin, Nayarit. Las conchas de esta especie están formadas de calcita que se utilizó como precursor para obtener micro y nanopartículas de CaCO₃. Mediante el método de sonoquímico y como disolventes se empleó ácido cítrico y bromuro de cetiltrimetilamonio. Una serie de 12 experimentos fueron realizados, obteniendo partículas de tamaños entre 70 nm a 250 nm considerando de diferente morfología consideradas micro y nano partículas y se obtuvieron 33 micrografías.

Aumentación de datos

En la Figura 3 se muestran ejemplos de aumentación de datos a partir de una micrografía de CaCO₃, las operaciones aplicadas fueron técnicas de procesamiento de imágenes utilizando la librería Pillow de Python. En una sola imagen se pueden llevar varias combinaciones de estas transformaciones. Es importante señalar que se debe de limitar el grado del giro para no generar datos que se alejen demasiado de una imagen real y puedan afectar negativamente el entrenamiento del modelo. Técnicas que se analizarán más adelante presentan en alguno de sus pasos para la aumentación de datos cambios sobre la imagen como los que se mostraron.

Los autores ^{Coquelin, Fischer, Feltin, Devoille, & Felhi, 2019} introducen el uso de redes generativas adversariales. Las redes generativas adversariales consisten en dos redes neuronales con arquitecturas independientes que son entrenadas al mismo tiempo. El modelo GAN (generative adversarial networks) consiste una red generadora y una discriminadora. La red discriminadora tiene como tarea principal la clasificación de una imagen como reales o falsas. La red generadora busca poder crear una imagen lo suficientemente parecía a las que se encuentran en la base de datos con la que se entrenan para poder engañar a la discriminadora. El modelo entrena ambas redes y las enfrenta en una dura competición por mejorarse a sí mismas. Al final, el discriminador será capaz de identificar la mínima diferencia entre lo real y lo generado, y la red generativa será capaz de crear imágenes que el discriminador no pueda distinguir.

Figura 3 a) Micrografía de CaCO₃ obtenida por microscopio SEM. b) Micrografía con transformación horizontal. c) Micrografía con giro de 1 grado. d) Micrografía con recorte. 

Para mostrar la viabilidad del uso de redes GAN como técnica de aumentación de datos se hizo una implementación de una red GAN utilizando como base de datos para el entrenamiento 200 imágenes de microscopias SEM de CaCO₃ generadas en la plataforma OpenAI. Una muestra de las imágenes resultantes se puede observar en la Figura 4.

Figura 4 a) Micrografía de base para generación de variantes. b) Variaciones de la imagen original 

La arquitectura de la red discriminadora tiene de entrada una imagen de dimensiones 256 x 256 x 1 y de salida una sola neurona que indica si es real o no la imagen. El segundo modelo discriminador funciona con una capa de entrada de 128 neuronas y genera de salida una imagen del mismo tamaño que la entrada de la red discriminadora. Múltiples entrenamientos fueron realizados variando los valores del ritmo de aprendizaje de ambas redes, alguno de los resultados de estos entrenamientos se muestra en la siguiente Figura 5.

Figura 5 Se muestran las imágenes de salida de la red generadora. El número de épocas de entrenamiento es el que se muestra debajo de cada una de las imágenes. 

Aunque múltiples pruebas de entrenamiento se realizaron, no se pudo conseguir un mejor resultado que el que se muestra en la Figura 5. La dificultad de implementación de redes neuronales GAN cae en el hecho de que el entrenamiento de ambas redes sucede al mismo tiempo. El caso más común que ocurrió en esta implementación fue el problema de colapso de la medición de error por parte de la red generadora. Este colapso de error hace que la red generadora deje de aprender, ya que encuentra que las imágenes que esté generando ya son suficientes para burlar al discriminador proporcionando siempre la misma imagen sin importar el tiempo de entrenamiento. Por este motivo de dificultad, hoy en día, es por el cual la implementación de redes neuronales GAN son desplazadas por otras técnicas de aumentación de datos. Como ejemplo de esto, es el uso de plataformas de OpenIA que ya cuentan con generadoras de imágenes, por lo que es más fácil el generar bases de datos para entrenamiento.

Análisis de partículas

El proceso de canalización en la medición de nanopartículas implica la clasificación de la forma de las partículas y la obtención de una imagen binaria correcta para medir con precisión el tamaño. Se utilizan algoritmos de segmentación y procesamiento de imágenes para lograr este proceso en específico Inception-V3 entrenada con ImageNet y DenseNet. Se aplica una ecualización de histograma y una umbralización adaptativa de Otsu para obtener la imagen binaria correcta. Luego, se extraen los centros de núcleo y se examina la existencia de regiones de cáscara en la imagen binaria. La Figura 6 muestra algunas micrografías de carbonato de calcio procesadas con el software LIST. En ellas se pueden observar algunas partículas detectadas, y el resultado de binarizar la imagen.

Figura 6 Micrografías de CaCO₃ después de ser procesadas por LIST