Descripción del proyecto

Se propone abordar el problema de eliminación de malezas mediante un robot autónomo equipado con sensores de imagen y de profundidad, que realizará monitoreo para la detección de malezas y enviará la señal correspondiente para el control. La solución se basará en una plataforma de navegación con sensores de imagen y de profundidad (cámaras estéreo o LIDAR) como principales sensores de localización. Para la detección de malezas se utilizarán técnicas de visión por computadora y de aprendizaje profundo. Se realizarán pruebas de campo para la identificación y clasificación, se generará una base de datos, se entrenarán los algoritmos y luego se evaluará la detección automática. Además, se estudiarán diferentes velocidades de avance del robot, que se espera que alcance al menos la de una caminata humana.

Se buscará erradicar las malezas mediante técnicas de bajo impacto. El robot deberá ser capaz de detectar las malezas y accionar el mecanismo de control sobre ellas. Además, deberá guardar la información geolocalizada de la maleza detectada para planificar posteriormente una nueva intervención en caso de especies perennes. Para ello, primero estudiaremos las técnicas existentes y realizaremos los prototipos correspondientes para evaluarlas. Posteriormente evaluaremos estos prototipos y realizaremos una prueba de campo con el robot y el prototipo que logre mejores resultados. Como ejemplo, estudiaremos la factibilidad de prototipos de erradicación mecánica, de erradicación con calor, de chorro de agua, de vapor o de pasta de celulosa.

El proyecto se organiza en las siguientes componentes:

Detección de malezas

Se desarrollará un sistema para la detección y reconocimiento de malezas desde los robots utilizando redes neuronales y técnicas clásicas de visión por computadora.

Prototipos de actuadores para control de maleza

Se desarrollarán tres prototipos basados en distintas tecnologías para el control de malezas: uno mecánico, uno eléctrico y otro de aplicación controlada de fluidos.

Sistema de navegación para vehículo terrestre

Se desarrollará un sistema de navegación autónoma que permitirá al robot planificar trayectorias de interés y desplazarse por ellas en predios frutícolas, ubicarse con precisión en el entorno y registrar su posición durante las tareas de monitoreo y control.

Sistema de monitoreo aéreo

Se desarrollará un sistema de navegación autónoma para un dron, capaz de recorrer el área de interés, identificar la presencia de malezas y registrar su localización en un mapa georreferenciado para apoyar la planificación de intervenciones.

Integración de componentes

Se integrarán los distintos desarrollos del proyecto para conformar un sistema completo de monitoreo y control de malezas, capaz de detectar, intervenir y generar reportes históricos a partir de recorridas terrestres y aéreas.

Experimentación

Se seleccionarán predios de experimentación y se evaluará la validez de los prototipos en función del tipo de maleza, las condiciones del entorno y el comportamiento de los robots, entre otros factores.

Integrantes

Integrantes por área

Temas agronómicos

Referente: Juana Villalba, Grupo Disciplinario de Malherbología, Facultad de Agronomía

  • Melanie Silva, Facultad de Agronomía
Percepción visual y detección de malezas

Referente: Mercedes Marzoa Tanco, INCO, Facultad de Ingeniería

  • Ana Clara Nóbile, INCO, Facultad de Ingeniería
  • Guillermo Amorin, INCO, Facultad de Ingeniería
Prototipo de fluidos

Referente: Ignacio Franco, IMFIA, Facultad de Ingeniería

  • German Vazquez, IMFIA, Facultad de Ingeniería
Prototipo de actuación mecánica y diseño mecánico general

Referente: Santiago Correa, IIMPI, Facultad de Ingeniería

  • Agustin Lopez, IIMPI, Facultad de Ingeniería
  • Guillermo Vaz, IIMPI, Facultad de Ingeniería
Prototipo de actuación eléctrico y diseño eléctrico general

Referente: Gonzalo Tejera, INCO, Facultad de Ingeniería

  • María Noel Ruiz, INCO, Facultad de Ingeniería
  • Luis Ignacio Ibáñez, INCO, Facultad de Ingeniería
Navegación terrestre

Referente: Gonzalo Tejera, INCO, Facultad de Ingeniería

  • Maite Martinez, INCO, Facultad de Ingeniería
  • Nicolas Blumetto, INCO, Facultad de Ingeniería
Navegación aérea

Referente: Facundo Benavides, INCO, Facultad de Ingeniería

  • Matias Mastrangelo, INCO, Facultad de Ingeniería
Comunicación entre robots

Referente: Jorge Visca, INCO, Facultad de Ingeniería

Noticias

Radio

Entrevista en La Diaria Radio

Entrevista audiovisual en el programa Las Ganas, donde Juana Villalba y Mercedes Marzoa Tanco presentan el proyecto, explican el trabajo interdisciplinario y muestran a Pipe, uno de los robots utilizados para el monitoreo y control de malezas.

Ver en YouTube

Proyectos relacionados

Proyecto de investigación: MAGRO, Navegación de robots en entornos agropecuarios para la estimación de cantidad y calidad de la cosecha frutícola utilizando visión 3D y aprendizaje profundo

Proyecto que busca diseñar e implementar una solución para estimar la cantidad y la calidad de la cosecha de frutos de pepita, con especial atención a la manzana. Esta estimación es importante para asegurar una buena coordinación de la logística de la cosecha, el envasado, el procesamiento y la venta del producto final. La navegación autónoma sistemática es fundamental para realizar la estimación, ya que permite recabar información geolocalizada de forma autónoma. Es así que desarrollaremos técnicas económicas y robustas de navegación autónoma para la operación prolongada de robots en ambientes agropecuarios.

Proyecto de grado: Sistema de generación de instancias y reducción de carga del etiquetado de imágenes

El proyecto tiene como objetivo el incremento en el rendimiento de modelos de detección de objetos para la detección de malezas en contextos donde el esfuerzo humano disponible para la elaboración del conjunto de datos es limitado. En particular, consiste en la experimentación de técnicas de aprendizaje activo y aumento de datos vía modelos generativos, el primero con el fin de seleccionar un subconjunto de imágenes altamente representativas para el aprendizaje del modelo, y el segundo para generar nuevas instancias vía modelos difusos y posteriormente autoetiquetarlas utilizando técnicas por canales de colores o modelos de detección. 

Proyecto de grado: Navegación semántica para entornos agropecuarios

La navegación semántica busca integrar la percepción visual del entorno para enriquecer tanto el mapa como la planificación de trayectorias. En este contexto se buscará reconocer elementos propios de los entornos agrícolas que puedan resultar un obstáculo para los robots, como alambres, pastos altos, ramas o barro. Además, se explorará la detección de hileras para planificación de trayectorias.  

Proyecto de grado: Identificación de malezas mediante el procesamiento de imágenes multiespectrales

Este trabajo presenta la construcción de un dataset multiespectral para la detección de malezas en cultivos nacionales a partir de capturas realizadas con UAV. Para ello, se seleccionaron imágenes representativas, se definió un flujo reproducible de preprocesamiento radiométrico y geométrico, se establecieron criterios consistentes de etiquetado. Además, se realizó un relevamiento del estado del arte para la detección de malezas con estas imágenes y se entrenaron modelos para validar la calidad del dataset, considerando los trabajos relacionados y comparándolos con ellos.

Tesis de maestría: Identificación de landmarks semánticos para SLAM en entornos agrícolas

Los algoritmos de SLAM visual tradicional fallan en entornos agrícolas naturales debido a la falta de geometría clara, la textura repetitiva de las hileras, las oclusiones generadas por el follaje y las extremas variaciones estacionales. Para solucionar estas deficiencias, el SLAM semántico ofrece una vía prometedora, pero requiere identificar marcas semánticas en el entorno que sean consistentes en el tiempo. Esta tesis propone integrar marcas semánticas persistentes, evaluando específicamente la invarianza de la estructura de ramificación primaria de los árboles frente a los cambios de estación, como la transición entre invierno y verano.

Contacto

Para consultas sobre el proyecto o información adicional comunicarse con las personas responsables o visitar el sitio del grupo que lidera el proyecto.

Gonzalo Tejera Lopez
gtejera@fing.edu.uy

Mercedes Marzoa Tanco
mmarzoa@fing.edu.uy

Grupo MINA
www.fing.edu.uy/inco/grupos/mina/