SciELO - Scientific Electronic Library Online

 
vol.47 número1DeepFake Weeds: integración de redes neuronales y stable diffusion para la detección de malas hierbas en cultivos de tomatePrueba piloto sobre la generación de mapas de malas hierbas con drones y la aplicación variable de herbicidas en maíz índice de autoresíndice de assuntosPesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Não possue artigos similaresSimilares em SciELO

Compartilhar


Revista de Ciências Agrárias

versão impressa ISSN 0871-018Xversão On-line ISSN 2183-041X

Rev. de Ciências Agrárias vol.47 no.1 Lisboa mar. 2024  Epub 28-Fev-2024

https://doi.org/10.19084/rca.34973 

Artigo

Detección y clasificación de malas hierbas mediante drones y redes neuronales profundas: creación de mapas para tratamiento localizado

Weed detection and classification using UAVs and deep neural networks: mapping for localized treatment

Gustavo Mesías-Ruiz1 

José Peña1 

Ana de Castro2 

Irene Borra-Serrano1 

José Dorado1 

1 Instituto de Ciencias Agrarias (ICA-CSIC), Madrid 28006, España

2 Instituto de Investigación y Tecnología Agraria y Alimentaria (INIA-CSIC), Madrid, España


Resumen

La detección precisa y la identificación de malas hierbas son esenciales en la implementación de la Agricultura de Precisión (AP). En este estudio, se abordó la detección y la clasificación de malas hierbas en maíz y tomate en sus etapas tempranas de crecimiento mediante la integración de imágenes adquiridas desde drones y análisis basado en avanzadas redes neuronales convolucionales. Posteriormente, el objetivo de esta investigación fue la creación de mapas georreferenciados que permitieran una gestión en post-emergencia localizada y selectiva de las especies de malas hierbas. Nuestros resultados indican que la combinación de imágenes captadas por drones y un análisis de las mismas basado en algoritmos de aprendizaje profundo proporciona una solución efectiva para este propósito. La precisión y eficiencia alcanzadas en la identificación de malas hierbas en su etapa temprana fueron prometedoras, tanto en el conjunto de especies presentes en el cultivo como en especies individuales. Este avance es de gran relevancia en el ámbito de la AP, ya que permitiría una gestión más eficiente de las malas hierbas mediante la selección del herbicida según el tipo de mala hierba presente, reduciendo el uso de herbicidas y, en última instancia, contribuyendo a la sostenibilidad y la rentabilidad de la agricultura. Además, la generación de mapas georreferenciados facilita la toma de decisiones en tiempo real. En resumen, este estudio sugiere que la combinación de tecnologías emergentes, como drones y redes neuronales profundas, pueden ser herramientas aplicables en el manejo localizado de malas hierbas en el contexto de la AP.

Palabras clave: detección remota; inteligencia artificial; manejo localizado de malas hierbas; maíz; tomate

Abstract

Accurate detection and identification of weeds are essential in the implementation of Precision Agriculture (PA). In this study, we addressed the detection and classification of weeds in maize and tomato in their early growth stages by integrating images acquired from UAVs and analysis based on advanced convolutional neural networks. Subsequently, the objective of this research was the creation of geo-referenced maps that would allow localized and selective post-emergence management of weed species. Our results indicate that the combination of UAV-captured imagery and deep learning algorithm-based image analysis provides an effective solution for this purpose. The accuracy and efficiency achieved in the identification of weeds in their early stage were promising, both in the set of species present in the crop and in individual species. This advance is of great relevance in the field of PA, as it would allow a more efficient management of weeds by selecting the herbicide according to the type of weed present, reducing the use of herbicides and ultimately contributing to the sustainability and profitability of agriculture. In addition, the generation of geo-referenced maps facilitates real-time decision making. In summary, this study suggests that the combination of emerging technologies, such as drones and deep neural networks, may be applicable tools in localized weed management in the context of PA.

Keywords: remote sensing; artificial intelligence; localized weed management; maize; tomato

INTRODUCCIÓN

Las malas hierbas compiten con los cultivos por recursos vitales, afectando negativamente al crecimiento de los mismos y a su rendimiento potencial. La detección temprana de las infestaciones de malas hierbas se presenta como un factor crítico para asegurar el éxito de la aplicación de estrategias de gestión localizada de malas hierbas (site-specific weed management, SSWM) adaptadas a cada ubicación, ya que las diferentes especies pueden requerir enfoques de control distintos (Fernández-Quintanilla et al., 2022). La SSWM es una aproximación enfoque agronómica que implica identificar y gestionar las malas hierbas según su ubicación espacial y distribución, en lugar de aplicar tratamientos uniformes en todo el campo (Lati et al., 2021). Sin embargo, la clasificación de las especies de malas hierbas en estado temprano suele ser compleja y requiere elevados recursos temporales y de análisis debido a las similitudes morfológicas entre la mayoría de las especies de malas hierbas y las plantas de cultivo; además, se necesitan herramientas especializadas y conocimientos de expertos (Fernández-Quintanilla et al., 2018). La identificación incorrecta de las malas hierbas y las consiguientes decisiones erróneas en el tratamiento suelen ocasionar una disminución en la eficacia del control y repercutir negativamente en la producción final del cultivo.

Los avances tecnológicos, como los vehículos aéreos no tripulados (UAV) y el aprendizaje automático (machine learning, ML), están transformando la agricultura al proporcionar nuevas formas de adquirir la información y técnicas para su análisis que pueden ayudar a los agricultores a tomar decisiones fundamentadas y a optimizar las operaciones y recursos en el campo. Por un lado, los UAV son capaces de captar imágenes de alta resolución sobre grandes áreas de cultivo, lo que les confiere usos diversos como la topografía, la vigilancia medioambiental o la exploración y cartografía de cultivos, con una aplicación particular en la detección de malas hierbas, plagas y enfermedades (Rejeb et al., 2022). Por otro lado, el ML y, en particular, los algoritmos de aprendizaje profundo (deep learning, DL), han demostrado un éxito significativo en el procesamiento de imágenes, mejorando la precisión de las tareas de clasificación (Mesías-Ruiz et al., 2023). Algunas técnicas específicas de DL, como las redes neuronales convolucionales (CNN), son altamente adecuadas para tareas de visión por computadora, incluido el reconocimiento de imágenes (Ioffe & Szegedy, 2015).

Ciertas investigaciones han abordado la problemática de manera integral, explorando tecnologías avanzadas y enfoques innovadores para la detección y control preciso de las malas hierbas a partir de imágenes UAV. Por ejemplo, Huang et al. (2018) generaron mapas de la cubierta vegetal. Su enfoque basado en una red totalmente convolucional demostró una alta eficacia y precisión en la cartografía de malas hierbas. En este contexto. y considerando la reducida información disponible sobre la implementación de mapas georreferenciados de malas hierbas en condiciones reales de cultivo, el objetivo principal de esta investigación fue desarrollar una metodología que proporcione información sobre la especie de mala hierba y su georreferenciación en parcelas de cultivos de maíz y tomate en estado temprano, a partir de imágenes del espectro visible (RGB) de UAV. Los objetivos específicos de este estudio se detallan a continuación:

1. Crear un amplio conjunto de datos que incluya especies de malas hierbas en sus primeros estados de crecimiento, destinado al entrenamiento y validación del modelo creado.

2. Detectar, localizar e identificar las especies de malas hierbas en parcelas y validar los resultados.

3. Crear mapas georreferenciados para llevar a cabo control basado en SSWM.

MATERIALES Y MÉTODOS

Se seleccionaron dos cultivos de verano de relevancia mundial (maíz y tomate) y ocho especies comunes de malas hierbas como sistemas cultivo-maleza de referencia para llevar a cabo esta investigación. El procedimiento completo consistió en cuatro etapas (Figura 1): 1) adquisición de imágenes UAV, 2) preprocesamiento de imágenes incluyendo la construcción de ortomosaicos, la división de los ortomosaicos en imágenes de 1000(1000 píxeles y el etiquetado de plantas, lo que condujo a la generación del conjunto de datos de malas hierbas, 3) creación del modelo, que incluyó la extracción de características con capas convolucionales, aplicación de las técnicas de aprendizaje por transferencia basado en ImageNet-1k (Krizhevsky et al., 2012), aumento de datos, y 4) proceso de inferencia para evaluar la capacidad del modelo en la generalización del conocimiento. Posteriormente, con la información de la detección y clasificación de las especies, se crearon los mapas georreferenciados de malas hierbas.

Figura 1 Esquema del procedimiento llevado a cabo en esta investigación. 

Zona de estudio

Las imágenes UAV se recogieron en un campo experimental de maíz situado en Arganda del Rey (Madrid, España) y en un campo comercial de tomate situado en Santa Amalia (Badajoz, España), con coordenadas centrales 40° 18′ 59,25′′ N, 3° 29′ 21,53′′ O y 38° 59' 39,0" N, 6° 03' 31,7" O (sistema de coordenadas Lat/Lon, datum WGS84) respectivamente. Durante los vuelos, las plantas de maíz se encontraban en la fase temprana de crecimiento de 4 hojas desplegadas (BBCH 14), y las de tomate en la fase temprana de primer botón floral visible (BBCH 501) (Meier, 2018).

La adquisición de imágenes se llevó a cabo con un UAV cuadricóptero, modelo md4-1000 (microdrones GmbH, Siegen, Alemania), y una cámara comercial de bajo coste con sensor rojo-verde-azul (RGB), modelo Sony ILCE-6300L (Sony Group Corporation, Tokio, Japón). La cámara disponía de un sensor CMOS Exmor® de tipo APS-C (23,5×15,6 mm) que captura imágenes de 6.000×3.376 píxeles con 24,2 megapíxeles efectivos. El recorrido del UAV se diseñó para volar a una velocidad de 2 m/s, con un solapamiento frontal y lateral del 70%, y a una altitud de 11 metros sobre la superficie. Se inspeccionaron aproximadamente 0,75 ha del campo de maíz y 1,2 ha del campo de tomate, lo que generó un conjunto de 565 y 895 imágenes, respectivamente, con una distancia de muestreo del suelo (GSD) de 0,17 cm/píxel en cada campo. Se realizaron los ortomosaicos con el software Agisoft PhotoScan (Agisoft LLC, St. Petersburg, Rusia).

Pre-procesamiento

Expertos en malherbología etiquetaron las especies empleando la herramienta gráfica de software gratuito labelImg (Tzutalin, 2015). En esta investigación se identificaron ocho especies de malas hierbas comunes presentes de forma natural: Chenopodium album L., Convolvulus arvensis L., Cyperus rotundus L., Lolium rigidum Gaud., Portulaca oleracea L., Salsola kali L., Solanum nigrum L. y Sorghum halepense (L.) Pers. Se seleccionó un número total de 15.789 etiquetas de malas hierbas para el conjunto de datos, que se dividieron en entrenamiento y validación distribuido en 80% y 20%, respectivamente.

Detección y Clasificación

El modelo YOLOv8m (Jocher et al., 2023), es una CNN diseñada para la detección de objetos, fue seleccionado para este estudio debido a su combinación de velocidad y precisión en su entrenamiento e inferencia, respectivamente. El modelo fue entrenado utilizando el conjunto de datos etiquetados con el framework KerasCV. Durante el entrenamiento se aplicó la técnica de aprendizaje por transferencia.

Inferencia

Para validar la capacidad de generalización del conocimiento se determinó de acuerdo al criterio de los expertos un conjunto de 200 plantas de malas hierbas por especie como verdad-terreno sobre otro cultivo de tomate de la misma zona correspondiente al estado BBCH 509.

RESULTADOS Y DISCUSIÓN

El modelo creado tuvo como resultados una precisión alta en la clasificación de las ocho especies de malas hierbas. Sobre el conjunto verdad-terreno, el modelo logró una detección del 99% para Cyperus rotundus L., identificando correctamente 198 de los 200 elementos. Para Portulaca oleracea L, el rendimiento es óptimo, con la detección correcta de los 200 elementos, sin embargo, la detección presenta una dificultad cuando se trata de Solanum nigrum L. al detectarse 186 plantas.

Figura 2 (a) Mapa de malas hierbas generado con el modelo YOLOv8m para el cultivo de tomate. (b) Especies identificadas de malas hierbas georreferenciadas. ★ Cyperus, Portulaca, + Solanum. 

La capacidad de discriminación entre especies en este escenario presentó resultados prometedores superiores al 99% por cada especie. Sin embargo, es crucial abordar las limitaciones observadas en la clasificación de Solanum nigrum L., donde se identificaron dos casos de confusión con Portulaca oleracea L.

CONCLUSIONES

Esta investigación creó un gran conjunto de datos a partir de imágenes de UAV e implementó eficazmente el modelo YOLOv8-m para detectar, clasificar y localizar ocho especies diferentes de malas hierbas que crecen habitualmente en los cultivos de maíz y tomate. Este estudio supone una contribución significativa no sólo al mostrar un gran rendimiento de una compleja arquitecturas CNN de última generación, sino también al proporcionar una metodología para la clasificación precisa de las malas hierbas a nivel de especie durante las primeras fases de crecimiento en el mundo real. Esto es especialmente crítico porque, en la fase inicial de desarrollo, las diferencias morfológicas y fisiológicas entre especies pueden ser mínimas.

AGRADECIMIENTOS

Este trabajo ha sido financiado por la Unión Europea NextGenerationEU/PRTR y la Agencia Estatal de Investigación (MCIN/AEI/10.13039/501100011033) a través de los proyectos DATI-PRIMA (PCI2021-121932) y SmartWeeding (PID2020-113229RBC41), y de las ayudas FPI (PRE2018-083227) y Juan de la Cierva (FJC2021-047687-1) de los investigadores Gustavo Mesías-Ruiz e Irene Borra-Serrano, respectivamente.

Los autores agradecen a los técnicos David Campos y José Manuel Martín, miembros del grupo de investigación Tech4Agro, su apoyo durante el muestreo de campo y el etiquetado de imágenes.

REFERENCIAS BIBLIOGRÁFICAS

Fernández-Quintanilla, C.; Dorado, J; Andújar, D. & Peña-Barragán, J.M., (2022) - Advanced detection technologies for weed scouting. Burleigh Dodds Science Publishing, p. 205. https://doi.org/10.19103/AS.2021.0098.09 [ Links ]

Fernández-Quintanilla, C.; Peña, J.M.; Andújar, D.; Dorado, J.; Ribeiro, A. & López-Granados, F. (2018) - Is the current state of the art of weed monitoring suitable for site-specific weed management in arable crops? Weed Research, vol. 58, n. 4, p. 259-272. https://doi.org/10.1111/wre.12307 [ Links ]

Huang, H.; Deng, J.; Lan, Y.; Yang, A.; Deng, X. & Zhang, L. (2018) - A fully convolutional network for weed mapping of unmanned aerial vehicle (UAV) imagery. PLOS ONE, vol. 13, art. e0196302. https://doi.org/10.1371/journal.pone.0196302 [ Links ]

Ioffe, S. & Szegedy, C. (2015) - Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. In: Proceedings of the 32nd International Conference on Machine Learning. Presented at the International Conference on Machine Learning, PMLR, p. 448-456. [ Links ]

Jocher, G.; Chaurasia, A. & Qiu, J. (2023) - YOLO. Ultralytics. [ Links ]

Krizhevsky, A.; Sutskever, I. & Hinton, G.E. (2012) - ImageNet Classification with Deep Convolutional Neural Networks. In: Advances in Neural Information Processing Systems. Curran Associates, Inc. [ Links ]

Lati, R.N.; Rasmussen, J.; Andujar, D.; Dorado, J.; Berge, T.W.; Wellhausen, C.; Pflanz, M.; Nordmeyer, H.; Schirrmann, M.; Eizenberg, H.; Neve, P.; Jørgensen, R.N. & Christensen, S. (2021) - Site-specific weed management-constraints and opportunities for the weed research community: Insights from a workshop. Weed Research, vol. 61, n. 3, p. 147-153. https://doi.org/10.1111/wre.12469 [ Links ]

Meier, U. (2018) - Growth stages of mono- and dicotyledonous plants. BBCH Monograph. Julius Kühn-Institut (JKI) Quedlinburg. [ Links ]

Mesías-Ruiz, G.A.; Pérez-Ortiz, M.; Dorado, J.; de Castro, A.I. & Peña, J.M. (2023) - Boosting precision crop protection towards agriculture 5.0 via machine learning and emerging technologies: A contextual review. Frontiers in Plant Science, vol. 14, art. 1143326. https://doi.org/10.3389/fpls.2023.1143326 [ Links ]

Rejeb, A.; Abdollahi, A.; Rejeb, K. & Treiblmaier, H. (2022) - Drones in agriculture: A review and bibliometric analysis. Computers and Electronics in Agriculture, vol. 198, art. 107017. https://doi.org/10.1016/j.compag.2022.107017 [ Links ]

Tzutalin (2015) - LabelImg. Free Software: MIT License. [ Links ]

Recibido: 15 de Enero de 2024; Aprobado: 28 de Febrero de 2024

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons