PROCEDIMIENTO Y SISTEMA DE GUIADO PARA LA RECOLECCIÓN AUTOMÁTICA DE PRODUCTO HORTÍCOLA BASADO EN MODELADO DIGITAL 3D
SECTOR DE APLICACIÓN DE LA INVENCIÓN
La presente invención se enmarca dentro del sector técnico de la mecanización agraria y conlleva la aplicación práctica de técnicas de modelado digital tridimensional.
ESTADO DE LA TÉCNICA
Automatización en la recolección de productos agrícolas
La automatización de la recolección de productos hortofrutícolas es una de las aspiraciones de la mecanización agraria. Sin embargo aún hoy en día existen cultivos y productos, como el espárrago verde y morado, cuya mecanización no ha sido exitosa. En estos cultivos la recolección manual todavía es mayoritaria debido a los costes de las máquinas recolectoras y a los problemas de pérdidas que presentan.
La creciente demanda del mercado y el encarecimiento de la mano de obra a lo largo de los años ha llevado a que algunos cultivos se abandonen es países como España y se relocalicen en zonas geográficas de menores costes de mano de obra de recolección.
Con independencia del coste de la mano de obra, la recogida manual de los productos hortofrutícolas requiere muchas veces adoptar posturas incómodas que causan dolencias, riesgos y cansancio sumo en los operarios de recolección.
Los dos hechos anteriores son especialmente críticos en aquellos casos en los que la cosecha no puede realizarse en una única pasada. En este caso, se requiere más mano de obra y que la recolección de cada pasada no dañe el producto que queda pendiente de desarrollo para la siguiente pasada de recolección.
Desde mediados del siglo pasado son numerosas las iniciativas para automatizar esta recolección. Hay propuestas que van desde una semi-automatización hasta la automatización completa. Así, en ES2014148 se describe una máquina cosechadora que abre y cierra los caballones donde se sitúan los vástagos
(retoños o turiones) de espárrago blanco, para que en el intermedio del proceso de apertura y cierre sean cortados y recogidos manualmente. Otras patentes como US4,288,970 y US4,918,909 describen sistemas totalmente mecánicos de selección y corte, en los que la selección siempre se realiza por la altura del espárrago y el corte mediante la entrada de los tallos en estrechas calles donde sensores electromecánicos o electroópticos son los encargados de dar la señal de corte.
En ES2148654 T3 (EP96116737.6) se describe un sistema centrado en determinar la posición para el caso del espárrago blanco aún no emergido y que se basa en sensores con capacidad de detección subterránea dado que el espárrago blanco se cultiva bajo el nivel del suelo, enterrado, para que no le afecte la luz solar. En este caso se proponen técnicas de infrarrojo, ultrasonidos y un sistema marcador o de señalización física de la posición.
En US8,136,336 se describe un recolector selectivo de espárragos que posee un sistema de sensores-recolectores que actúan en unas calles o bandas relativamente estrechas. Cada sensor comanda un recolector mecánico, por lo que el sistema es complejo y costoso.
También existen máquinas de recolección en el mercado, un ejemplo es la cosechadora Geiger SP-2012 (Geiger Manufacturing, Stockton, California, USA), pero sus pérdidas (del 20% al 40%) son todavía elevadas comparadas con la recolección manual, se generan daños colaterales a los turiones que quedan y su precio es elevado. En este caso la detección de los turiones se realiza por medio de dos haces de láseres que determinan si la altura del espárrago es adecuada y un cabezal óptico con 16 canales, cada cual de tres pulgadas, que se corresponden con 16 cilindros de corte.
En EP0053994 B1 se describe un robot completamente automatizado en el movimiento y corte, y cuya parte sensora se compone de una cámara y de una fuente de iluminación, ambas contrapuestas y paralelas al caballón. En este caso la posición del espárrago se obtiene de dos tomas de la cámara en posiciones distintas que permiten determinar el desplazamiento del robot hasta situarse perpendicular al turión para realizar el corte. También se describe la posibilidad de usar dos cámaras, una junto a otra, con diferente amplitud del campo de visión y persistencia para conseguir una doble toma que permita determinar la posición del espárrago y comandar el desplazamiento y corte del robot.
Irie y colaboradores [Irie N., Taguchi N., Horie T., Ishimatsu, T. (2009), Development of Asparagus Harvester Coordinated with 3-D Vision Sensor, en Journal of Robotics and Mechatronics, Vol.21, No.5, pp. 583-589] describen un carro sobre raíles que, junto al sistema de procesado, posee dos proyectores láser que marcan el nivel mínimo y máximo de altura sobre el vástago y una cámara de televisión con los que determinan si el turión debe ser cortado y también generan las órdenes de control del brazo robotizado. Lewis [Lewis, A., (2013), Automated Asparagus Harvester Feasibility Study, en Master of Engineering Management ENMG 680] propone un sistema de reconocimiento de formas (alto y ancho) basado en dos cámaras digitales y un sistema de iluminación artificial basado en diodos LED.
En la actualidad se están desarrollando numerosas aplicaciones dentro del campo denominado agricultura de precisión. En la agricultura de precisión se conjuga el conocimiento preciso de la posición de las máquinas agrícolas por medio de tecnologías de navegación global por satélites (GNSS) como es el caso del GPS (Global Positioning System), con actuaciones particulares (p.e. abonado, siembra, tratamientos fitosanitarios, etc.) sobre cada posición de la parcela agrícola o sobre plantas concretas (p.e sobre un olivo determinado), para lo que se utilizan sistemas de actuadores convencionales (p.e. sistemas eléctricos, hidráulicos, etc.).
En la patente WO2007088225, se describe un sistema de visión artificial para recolectar pequeños frutos en cultivos hidropónicos en alto y en hileras, en entornos estructurados como un invernadero. Esta invención consiste en un sistema de visión que permite el guiado preciso de un dispositivo robótico para la aprehensión, corte y almacenamiento del fruto, designando el punto de corte del pedúnculo. El sistema de visión básico está compuesto por: dos cámaras de color, una matriz de diodos láser ópticos puntuales y un diodo láser adicional capaz de proyectar un haz óptico plano o en abanico de forma que le permita diferenciar y localizar los frutos individuales en los racimos o grupos a partir de la reconstrucción tridimensional de los spots o marcas proyectadas en el racimo por el conjunto de láseres ópticos puntuales dispuestos en matriz. Este sistema presenta varias limitaciones respecto a la invención que se propone: a) solo utiliza sensores que trabajan en el espectro visible, lo que limita la selección del fruto a una comparación de sus características geométricas y de color sin poder evaluar el estado fisiológico real, b) el sistema está concebido para su utilización
en el entorno estructurado de un cultivo hidropónico sin sustrato donde los frutos están en alto y pre-organizados espacialmente y donde existe un fondo artificial que facilita la detección esta concepción no es válida para su aplicación en campo abierto, c) el sistema organiza la corta de frutos colgantes de péndulos (punto de corte sobre el fruto) mientras que para la casuística en la que se centra esta patente el punto de corte es inferior y se puede ver afectado por la variabilidad del terreno, d) el sistema no genera un modelo 3D sino parches de mediciones sobre frutos, tal que esta concepción no es válida para su aplicación en campo abierto,. e) el sistema de cámaras se reduce a 2 y su posicionamiento respecto a los frutos sería exclusivamente "lateral" mientras que en nuestra propuesta el número de cámaras sería mayor y su disposición "envolvente", es decir cubriríamos los 360 grados de horizonte que rodean a los espárragos antes de su corte.
Modelado 3D
Los modelos digitales 3D de superficie (en adelante "m3D") son una representación numérica y digital, de carácter métrico, de una realidad como la superficie de un terreno o de una edificación. Para la creación de m3D existen actualmente 3 tipos de sistemas: a) pasivos (cámaras fotográficas), b) activos (escáneres láser), c) pasivo/activo (cámara de profundidad como Kinect® de Microsoft®).
Sistemas pasivos
Dentro del primer tipo de sistemas, están los basados en fotogrametría. La fotogrametría es una técnica que permite reconstruir en 3D un objeto a partir de una serie de fotografías hechas desde distintos puntos de vista y en las que aparezca dicho objeto fotografiado. Esta técnica viene empleándose desde los años 50 (1950) en el campo de la cartografía. No obstante, para aplicar esta técnica de forma efectiva en el modelado 3D necesario para esta aplicación se requiere el conocimiento de coordenadas terreno para poner el modelo a escala y nivelado (con la vertical del modelo siguiendo la dirección de la gravedad). En los últimos 10 años esta técnica se ha visto mejorada con las aportaciones provenientes del campo de la visión computerizada, concretamente con la creación de algoritmos de identificación automatizada de objetos puntuales relevantes, siendo el más conocido de ellos el SIFT [Lowe, D.G. (2004). Distinctive
image features from scale-invariant keypoints. Int. J. Comput. Vis. 60, 91-110.]. SIFT significa scale-invariant feature transform y gracias a esa característica invariante del objeto identificado se puede identificar un mismo punto en las distintas fotografías que aparece, denominándose tales puntos como puntos homólogos. Esa identificación de puntos homólogos permitirá reconstruir la posición relativa (terminología fotogramétrica) existente entre dos fotografías en el momento de la toma. La terminología empleada en el ámbito de la visión computerizada es "estructura debida al movimiento" (en inglés, "structure from motion," o SfM). Una forma rápida y usual de conocer la posición relativa entre dos cámaras es mediante el algoritmo de los 8 puntos (Hartley y Zisserman, 2003), dicho algoritmo se fundamenta en la geometría epipolar generada por un plano que contiene a un punto en el espacio modelo y a los 2 puntos de vista de cada una de las fotografías. Una vez conocidas las posiciones de las dos cámaras en el espacio, es decir su SfM, es posible conocer la posición de cualquier punto en el espacio modelo conociendo sus fotocoordenadas, a éste último proceso se le conoce con el nombre de resección. No obstante lo dicho, para poder formar el m3D (a falta de escalarlo y nivelarlo con respecto a un determinado sistema de referencia) suelen ser necesarias más de 2 fotografías. El incremento del número de fotografías implica la existencia de residuos en puntos homólogos que aparecen en más de 2 fotografías, lo que conduce a resolver un problema de optimización, de modo que se busca la optimización minimizando los residuos de acuerdo a algún criterio. El criterio más usado suele ser la minimización de la norma L1 (Triggs, B., Mclauchlan, P., Hartley, R., Fitzgibbon, A. (1999). Bundle adjustmenta modern synthesis. In Proceedings of the International Workshop on Vision Algorithms: Theory and Practice. 298-372) y el procedimiento para conseguirlo se denomina ajuste de haces (Brown, D.C. (1976). The bundle adjustment - progress and prospects. International Archives of Photogrammetry 21(3): 3-03, 33 pages). Para conseguir un buen ajuste es necesario la calibración de la cámara, y más cuando ésta no es una cámara fotogramétrica, como las actuales digitales compactas, bridge, reflex o mirrorless. Esta calibración puede hacerse a priori, e incorporar los parámetros de calibración antes de la orientación relativa o mediante autocalibración, que implica introducir las restricciones en el propio sistema de ajuste de haces (Brown, D.C. (1976). The bundle adjustment - progress and prospects. International Archives of Photogrammetry 21(3): 3-03, 33 pages, Snavely, N., Seitz, M. , Szeliski, R. (2008). Modeling the world from internet photo collections. International Journal of Computer Vision, 80 (2): 189-210). La
solución de poner a escala el modelo puede hacerse mediante una transformación de Helmert que también involucre ajuste mínimo cuadrático, ello implica el conocimiento de puntos sobre el terreno o el conocimiento de la posición de las cámaras en su propio sistema de referencia. En un sistema mecanizado de recolección de productos hortícolas como el que se propone, dicho sistema de referencia lo puede proporcionar el chasis de la máquina recolectora.
Sistemas activos
Dentro de los sistemas activos hay diversas tecnologías: láser, sonar, infrarrojo, etc. A estos dispositivos se les denomina activos porque son capaces de emitir un pulso de señal. La medición de la distancia entre el emisor y el objeto se realiza después de recibir el rebote sobre del pulso de onda emitido sobre el objeto de interés. Según la tecnología la medición de la distancia puede calcularse de dos formas (Pfeifer, N., Briese, C. (2007). Láser scanning - principies and applications. in GeoSiberia): en función del tiempo de vuelo o teniendo en cuenta la diferencia de fase. En aplicaciones geomáticas los dispositivos activos suelen basarse en una luz puntual (puntero) donde hay un único foco emisor, pero en otros campos se utilizan disposiciones en forma de cortina, que permiten barrer con gran detalle los elementos que la atraviesan. Estas técnicas son las que proporcionan la mayor precisión y ofrecen la mayor densidad de puntos en el menor tiempo de captura de datos.
Sistemas pasivos/activos
El principio de los sensores Pasivo/Activo es el mismo que el usado en la fotogrametría y visión computerizada, es decir, reconstrucción de la estructura o posición de dos cámaras a partir de sus respectivas imágenes (SfM), y una vez conocidos los parámetros de orientación reconstruir el m3D de los puntos homólogos que aparecen en dichas imágenes. La diferencia está en que una de las imágenes es un patrón de puntos cuyas coordenadas, conocidas por el sistema, se generan de forma aleatoria por un programa. Dicho patrón se introduce en un proyector de infrarrojos cuya lente tiene unos parámetros de calibración conocidos. Por tanto el proyector de infrarrojos haría las veces de la cámara 1 en el SfM. La otra diferencia es que la otra imagen no es capturada por una cámara 2 en el espectro visible, si no en la longitud de onda del infrarrojo, con lo que capturará el patrón de puntos emitido por el proyector de infrarrojos (MacCormick, (2013). How does the Kinect work?
http://users.dickinson.edu/~imac/selected-talks/kinect.pdf (Último acceso el 24 de febrero de 2015). Debido a estas dos diferencias con la fotogrametría (sensores pasivos) es por lo que se ha denominado a esta categoría como Pasivo/Activo. Pasivo por la cámara de infrarrojos y activo por el proyector de infrarrojos.
Atributos para la selección inteligente y de calidad
Los sistemas referidos en el apartado de automatización en la recolección de productos agrícolas basan la recolección exclusivamente en el criterio de altura y, en algunos casos, en la conjunción de los criterios de altura y diámetro. En la actualidad es posible realizar una recolección mucho más selectiva con el propósito de recolectar sólo el producto que cumple con unos estándares de calidad prefijados. Esta selección inteligente se basa en diversos parámetros.
Los índices de vegetación se han usado profusamente para caracterizar la salud de multitud de productos vegetales, tanto con fines alimenticios como de conservación de plantas. Probablemente el índice más utilizado es el NDVI (Normalized Difference Vegetation Index). La forma usual de calcular este índice es a partir de imágenes tomadas en el espectro del infrarrojo próximo (NIR) y en el visible (VIS), de manera que por cada pixel se obtiene un valor basado en la
siguiente fórmula: NDVI =. El rango del NDVI oscila entre -1 y +1,
indicando la máxima salud cuanto más próximo a +1. Siendo el NDVI un indicador de salud de la planta (MYNENI, R.B., HALL, F.G., SELLERS, P.J. and MARSHAK, A.L., 1995, The interpretation of spectral vegetation indexes. IEEE Transactions on Geoscience and Remóte Sensing, 33, pp. 481-486), no siempre significa que tal vegetal sea el más apreciado por el consumidor y por tanto el de máxima calidad. En la determinación de la calidad intervendrán otros aspectos tales como propiedades organolépticas, textura y color. Así, el conjunto de características que para un mercado (p.e. Europa) definen un producto de máxima calidad, no coincide con el conjunto de características demandado por otro mercado diferente (p.e. Asia). En el caso del espárrago la textura se puede expresar como función de otras dos variables que son fuerza de cizalla máxima y energía de corte, la cuales pueden ser estimadas a partir del infrarrojo (Flores-Rojas, K, Sánchez, M. T., Pérez-Marín, D, Guerrero, J. E., Garrido-Varo, A. 2009, Quantitative assessment of intact green asparagus quality by near infrared spectroscopy.
Postharvest Biology and Technology. 52(3):300-306). Por todo ello el empleo de una cámara de infrarrojos puede ser de utilidad, en un sistema como el que se propone, a la hora de estimar los parámetros de salud de la planta y textura. En cuanto al parámetro color será suficiente un patrón de color para caracterizar y categorizar los colores preferidos por los consumidores.
Así, para evitar los inconvenientes de la recolección de los sistemas existentes (pérdidas de material cosechado, pérdidas colaterales en material no cosechado, tecnologías mecánicas costosas, tecnologías digitales poco inteligentes, etc.) y para mejorar el sistema de cosecha teniendo en cuenta las exigencias del mercado actual y a las posibilidades que brindan la agricultura de precisión y las nuevas tecnologías de medición de distancias se propone un sistema de recolección selectiva basado en parámetros de forma, por medio de modelos digitales tridimensionales, y parámetros organolépticos.
OBJETO DE LA INVENCIÓN
El primer objeto de la invención consiste en un procedimiento para la selección de productos hortofrutícola (en adelante, "procedimiento de la invención) que comprende la creación de un modelo 3D que contiene información sobre las características geométricas del terreno, junto con parámetros geométricos, biológicos y de actividad biológica de elementos de producto que determinan su estado fisiológico.
Ejemplos preferidos de cada uno de estos parámetros son:
parámetros geométricos: localización, altura, diámetro,
parámetros biológicos: peso, color y textura,
parámetros de actividad biológica: fuerza de cizalla máxima y energía de corte.
Algunos de estos parámetros se pueden medir con los sensores adecuados y otros se modelizan a partir de los parámetros medidos y de información conocida de producto que se desea recolectar.
Un segundo objeto de la invención es un sistema para el guiado de manipuladores robóticos que permita la recolección automatizada de productos hortofrutícolas, en adelante "sistema de la invención", que comprende los medios necesarios para la
generación de modelos digitales tridimensionales (3D) del producto a recoger y de su entorno a partir de los cuales se generara información precisa y aprovechable por un sistema de toma de decisiones que comanda los medios de corte automatizado o robotizado.
Este sistema permite una selección óptima del material a cortar, pues además de la altura, el diámetro y atributos como el color o textura, factores tenidos en cuenta por los sistemas descritos anteriormente, utiliza información relativa a nivel de actividad biológica del producto antes de realizar el corte, de forma que se pueda seleccionar el material que cumplan con los criterios de calidad en un momento determinado y dejar en el terreno otros para que vayan madurando.
Por otro lado, la determinación del modelo digital 3D de superficie del contexto del corte (producto de interés y productos vecinos), permite optimizar los desplazamientos de los medios de corte, reduciendo los daños colaterales al material que queda en el terreno.
Adicionalmente, una vez realizado el corte, y antes de depositarlo en las cajas de almacenaje, el sistema puede realizar la clasificación automatizada a partir de los atributos individuales obtenidos para producto cortado, lo que permite la clasificación en la propia línea de recolección.
Un tercero objeto de la invención es un manipulador robótico que comprende el sistema de la invención.
Un cuarto objeto de la invención es un programa de ordenador que comprende instrucciones para hacer que un ordenador lleve a cabo el procedimiento de la
invención.
Otro objeto de la invención es un medio de almacenamiento legible por un ordenador que comprende instrucciones de programa capaces de hacer que un ordenador lleve a cabo el procedimiento de la invención.
Otro objeto de la invención se refiere a una señal transmisible que comprende instrucciones de programa capaces de hacer que un ordenador lleve a cabo el procedimiento de la invención.
Así, esta invención es especialmente útil para la recolección de espárrago verde y morado pero también de cualquier otra planta, parte de planta y de cualquier especie.
Supone un avance técnico notable sobre los sistemas que actualmente se emplean en la recolección dado que proporciona la base para la obtención de un modelo geométrico y digital que podrá ser aprovechado por cualquier sistema robotizado de corte y recolección. No se detecta un turión aislado, sino que se extrae la geometría de una escena incluyendo el suelo lo que permite reducir daños colaterales en los cortes, organizar la corta y mantener un registro adecuado de la operación dentro de los sistemas de agricultura de precisión. Esta propuesta permite la especialización de los intervinientes en la producción de los subsistemas de recolección y permite ser adaptada a sistemas ya existentes. Además, el sistema inventado es capaz de extraer atributos de interés comercial y tenerlos en cuenta para la corta y selección automatizada del producto, lo que supone un avance muy notable frente a los sistema actuales. Todo lo anterior permite un notable ahorro de costes y mejora en la calidad del producto recolectado.
DESCRIPCIÓN DE LAS FIGURAS
Figura 1.- Representación esquemática del alzado frontal una realización del sistema de la invención. GPS representa los medios de posicionamiento global, i la interfaz de operarios, As el array de sensores, Ae el array de emisores, c las señales de calibración, b el brazo robótico que realiza el corte, m la estructura mecánica que soporta el sistema y e representa el producto hortofrutícola a recoger. La flecha inferior indica la dirección del movimiento de la estructura mecánica.
Figura 2.- Representación esquemática del alzado lateral una realización del sistema de la invención. GPS representa los medios de posicionamiento global, i la interfaz de operarios, As el array de sensores, Ae el array de emisores, c las señales de calibración, b el brazo robótico que realiza el corte, m la estructura mecánica que soporta el sistema y e representa el producto hortofrutícola a
recoger. La flecha inferior indica la dirección del movimiento de la estructura mecánica.
Figura 3.- Representación esquemática de la planta de una realización del sistema de la invención. GPS representa los medios de posicionamiento global, i la interfaz de operarios, As el array de sensores, Ae el array de emisores, c las señales de calibración, b el brazo robótico que realiza el corte, m la estructura mecánica que soporta el sistema y e representa el producto hortofrutícola a recoger. La flecha inferior indica la dirección del movimiento de la estructura mecánica.
DESCRIPCIÓN DETALLADA DE LA INVENCIÓN
Definiciones:
A lo largo de la presente descripción de entenderá como "escena" la realidad conformada por un área limitada en el espacio y en el tiempo y que es capturada en su totalidad por el sistema de sensores que conforman la invención.
Se entenderá por "estado fisiológico" al punto concreto del ciclo vegetativo de los elementos individuales de un producto a recolectar en un momento determinado. El estado fisiológico de interés es aquel que se considere adecuado para una recolección dada y que vendrá determinado por un conjunto de parámetros (p.e. altura, diámetro, volumen, peso, color, textura, actividad biológica, firmeza, etc,) que determinan el punto óptimo de recolección con un objetivo concreto determinado (p.e. venta cercana, venta en el extranjero, procesado industrial, etc.).
El estado fisiológico de un elemento de producto, es una situación concreta en un momento determinado que dependen del historial del elemento producto y que se expresa en una serie de variables observables (p.e. altura, anchura, volumen, color, vigor, contenido de agua, etc.) y otras modelables a partir de las observables (p.e. peso, fuerza de cizalla, energía de corte, etc.). El estado fisiológico debe ser el adecuado según el propósito de la comercialización (p.e. en cercanía, en el extranjero, procesado en industria, etc.). Y el sistema que se
preconiza en esta patente permite determinar el estado fisiológico de manera precisa gracias a la integración de sensores diversos (color, infrarrojos, determinación de geometría, etc.), que hasta la fecha no habían sido aplicados de manera conjunta.
Por "características geométricas del terreno" se entenderá la forma superficial del terreno en el que crecen los productos a recolectar. Entre sus características más importantes se encuentra su microtopografía, la presencia de objetos extraños (p.e. restos, piedras, etc).
Por "disposición del producto" se entenderá la posición espacial relativa de unos productos con otros en una escena 3D, donde el aspecto más importante es presencia de elementos de la escena que actúan como obstáculos (p.e. en el caso de espárragos tallos de plantas y turiones) para la extracción del producto de interés (p.e. maduro) sin generar daños a futuras recolecciones (p.e. producto aún no maduro).
Procedimiento de la invención
En un primer aspecto, la invención consiste en un procedimiento para la selección de productos hortofrutícolas que comprende la creación de un modelo 3D que contiene información sobre la geometría de la superficie del suelo, junto con parámetros geométricos y parámetros de actividad biológica del producto, tales como localización, tamaño, disposición, color, la textura, el estado fisiológico del producto, la fuerza de cizalla máxima o la energía de corte del producto hortofrutícola.
En particular, los parámetros geométricos del producto empleados son localización, altura, diámetro, peso, color y textura, y los parámetros de actividad biológica del producto se seleccionan del grupo consistente en estado fisiológico, fuerza de cizalla máxima y energía de corte.
De forma más detallada, podemos describir el procedimiento objeto de la invención como un procedimiento que comprende las siguientes etapas:
1o. Generación de un modelo 3D correspondiente a una escena en la que se identifican las características geométricas del terreno, la localización y
disposición del producto en el terreno y las características de las características geométricas y de actividad biológica de cada producto, a partir de datos obtenidos mediante sensores formadores de imagen que trabajan en el espectro visible y en el infrarrojo.
2o. Extracción de los parámetros correspondientes a cada elemento producto.
3o. Selección para el corte basada en reglas de decisión previamente definidas.
4o. Corte y recolección.
A continuación se describe cada una de estas etapas de forma más detallada:
Etapa 1.- Generación de un modelo 3D correspondiente a una escena en la que
se identifica la posición del producto v su situación en el terreno.
La generación del modelo 3D se realiza procesando la información capturada por medios sensores formadores de imagen, y, opcionalmente, medidores de distancia colocados en una disposición "envolvente" de la escena a reconstruir. Estos medios permiten obtener los datos necesarios para establecer los parámetros de interés de los elementos presentes en la escena y la situación y distribución espacial relativa de unos con otros (contexto). En particular, permite obtener los parámetros geométricos y la localización de cada elemento de producto presente en la escena.
De forma opcional, se pueden incorporar los datos obtenidos mediante sensores medidores de distancia para aumentar la precisión.
Otros parámetros de interés como el color, la textura, el estado fisiológico, la fuerza de cizalla máxima y/o la energía de corte de cada elemento producto se incorporan al modelo 3D, dando lugar a modelos más precisos. Estos parámetros son medióles por sensores formadores de imagen trabajando en el espectro visible e infrarrojo.
Este modelo aporta el conocimiento geométrico y topológico de la realidad,
necesario para llevar a cabo las siguientes etapas.
Etapa 2.- Extracción de los parámetros correspondientes a cada elemento producto
Los parámetros aportan información sobre las características geométricas y organolépticas de cada producto hortofrutícola de forma individual.
El modelo tridimensional obtenido en la etapa 1 permite obtener los parámetros que se tendrán en cuenta en la selección de forma sencilla e individualizada para cada elemento de producto.
3°. Selección para el corte.
En esta etapa se toma la decisión sobre la recolección o no de cada uno de los elementos de producto presentes en la escena.
La selección se realiza de acuerdo con unas reglas de decisión predefinidas que contemplan las características deseables en cada tipo de producto y se comparan con los parámetros obtenidos en las etapas anteriores, individualizados para cada elemento de producto (p.e. turión).
A modo de ejemplo, las reglas pueden consistir en un conjunto de restricciones lógicas (p.e. "[altura > A] Y [diámetro > D] Y [Textura = T1 O Textura = T2]), o implementadas como un conjunto de pesos propios de una técnica de inteligencia artificial (p.e. Redes Neuronales, Máquina de Soporte Vectorial, Algoritmos Genéticos, etc.).
El conjunto de reglas se define previamente por el usuario, quien podrá establecer criterios y asignar valores concretos relativos a los parámetros (p.e. diámetro, altura, color, textura, peso, estado fisiológico).
4°. Corte v recolección.
Como resultado de la etapa anterior se dispondrá de una decisión concreta sobre cada elemento de producto (p.e. turión), la decisión será cortarlo o no.
Las coordenadas de corte se conocerán de manera precisa a partir del modelo 3D de la escena, generado en la etapa 1.
Adicionalmente, tras el corte, producto seleccionado se puede volver a clasificar según sus características y de acuerdo con reglas adicionales que atenderían a la clasificación comercial.
En una realización más concreta, el procedimiento comprende los siguientes pasos:
Etapa 1.
Adquisición de imágenes de la escena, tanto el espectro visible como en el espectro infrarrojo térmico y, opcionalmente, medición de distancias empleando sensores medidores de distancia.
Generación, mediante técnicas de fotogrametría se genera un modelo 3D de la escena genera a partir de los datos obtenidos mediante sensores (colocados en disposición envolvente alrededor de dicha escena) que trabajan en el espectro visible y en el infrarrojo y, opcionalmente, incluyendo los datos obtenidos mediante sensores medidores de distancia para aumentar la precisión.
Extracción de objetos del modelo 3D. Se obtienen tantos objetos como cuerpos aparecen en la escena más la superficie del terreno.
Etapa 2.
Determinación, de parámetros geométricos (altura, diámetro, volumen, peso) asociados a cada objeto identificado en el modelo 3D de la escena.
Determinación se determinan los atributos color y textura a partir de las imágenes obtenidas por los medios sensores que trabajan en el espectro visible.
Determinación de uno o más de los parámetros de actividad biológica ( de estado fisiológico, opcionalmente, fuerza de cizalla máxima y/o energía de corte) a partir de las imágenes obtenidas mediante los sensores formadores de imagen que trabajan en el espectro infrarrojo.
Etapa 3
Comparación de los parámetros determinados en los pasos anteriores con las reglas de decisión predefinidas y selección de los elementos del producto presentes en la escena aptos para recolectar.
Etapa 4.
Corte y recolección individual de cada uno de los elementos del producto seleccionados en paso anterior.
Sistema de la invención
Un segundo objeto de la invención es un sistema para el guiado de un manipulador robótico para la recolección de productos hortícolas que comprende:
Medios sensores formadores de imagen que trabajan en el espectro visible y en el infrarrojo y, opcionalmente, medios sensores medidores de distancia, para medir los parámetros geométricos y de actividad biológicas necesarios para llevar a cabo el procedimiento de la invención.
Medios de almacenamiento de información para almacenar los datos recogidos por los medios sensores y las reglas predeterminadas sobre los parámetros adecuados para la recolección de un producto.
Medios de procesamiento de información para procesar el procedimiento de la invención.
El nuevo sistema formado por el manipulador robótico controlado por el sistema de la invención también es objeto de la presente invención.
A continuación se describen con mayor detalle cada uno de los medios que comprende el sistema:
Medios sensores para la captura de parámetros
El sistema de la invención comprende los sensores necesarios para extraer de una escena (y consecuentemente, de los elementos de producto presentes en ella) los parámetros que permiten clasificar cada elemento de producto y la distribución espacial relativa de unos con otros (contexto). Los parámetros geométricos empleados son localización en la escena, altura, diámetro, peso, color y textura, y los parámetros de actividad biológica se seleccionan del grupo consistente en estado fisiológico, fuerza de cizalla máxima y energía de corte.
La generación del modelo 3D se consigue utilizando medios sensores formadores de imagen que trabajan en el espectro visible y en el infrarrojo y, opcionalmente, medios sensores medidores de distancia.
En una realización particular, la base de los sensores formadores de imágenes son sistemas CDD o CMOS dispuestos en forma de matriz (cámaras). Son sensores pasivos que captan la radiación reflejada por los elementos presentes en una escena en un intervalo de longitudes de onda determinado.
Estas cámaras se utilizan para extraer parámetros de interés (color, textura, estado fisiológico, fuerza de cizalla máxima y energía de corte). Así, a modo de ejemplo, para la obtención del color se utilizarán sensores con una ventana de actuación en la región del espectro visible. Para la obtención del estado fisiológico y fuerza de cizalla máxima y energía de corte se utilizarán sensores con una ventana de actuación en el infrarrojo.
En una realización particular, en el sistema de la invención, los sensores formadores de imagen también podrán proporcionar los datos básicos para el cálculo del modelo 3D y partir de éste los parámetros geométrico y de contexto, por lo que no sería necesario emplear medidores de distancia.
No obstante, en otra realización preferente, el sistema de la invención comprende, junto con los sensores formadores de imagen, sensores medidores de distancias, preferentemente basados en sistemas de barrido para proporcionar los datos base para el cálculo del modelo 3D y partir de éste del aspecto geométrico y del contexto. Ejemplo de sensores basados en sistemas de barrido son los escáneres láser de haz puntual y los escáneres láser de cortina.
Preferentemente el sistema comprenderá una pluralidad de cada uno de los medios sensores, en particular, una pluralidad de sensores formadores de imagen y/o una pluralidad de sensores medidores de distancia, al objeto de disponer de varios puntos de vista sobre la escena. La cantidad y tipología de los sensores y su disposición podrá ser variable en función del producto a recolectar y de la geometría de la máquina recolectora que hospede este sistema de la invención.
En otra realización más particular, y para mejorar su rendimiento, el sistema de la invención también comprende medios generadores de luz estructurada. La luz estructurada facilita las tareas de cálculo y permite obtener una mayor precisión en la creación del modelo 3D de la escena. Ejemplos de sistemas generadores de luz estructurada son fuentes láser o infrarrojas que incluyen una rejilla de difracción la cual origina el patrón o estructura proyectada por el haz. En el caso de productos hortofrutícolas que no posean una superficie con una textura irregular, como puede ser el caso de los espárragos, el uso de generadores de luz estructurada es imprescindible.
Si el sistema utiliza sensores formadores de imagen, en otra realización preferente, y para mejorar su rendimiento, el sistema de la invención también puede incluir medios generadores de luz artificial para iluminar la escena. Estos sistemas, basados en cualquier tipo de fuente luminosa (p.e. Led, halógena, incandescente, fluorescente), permitirán disponer de un nivel de iluminación homogéneo en toda la escena. Este sistema permite trabajar en horas de baja intensidad solar, proporciona total independencia de la iluminación solar existente, reduce las sombras y favorece la creación del modelo 3D por técnicas fotogramétricas.
En otra realización particular, preferentemente si el sistema utiliza sensores formadores de imagen para generar el modelo 3D, el sistema de la invención también comprende medios para la autocalibración. Estos medios son unos dispositivos pasivos cuya superficie posee un patrón geométrico con alto contraste. Los medios son sistemas activos que realizan la misma función que las marcas.
En otra realización particular, el sistema de la invención también comprende medios pasivos y activos para el mantenimiento de la limpieza de los sensores. Los medios pasivos son pantallas y encapsulamientos que evitan la entrada y deposición de polvo y suciedad sobre las superficies sensoras y emisoras. Los medios activos son dispositivos de cualquier índole (p.e. barredor mecánico, soplador neumático, corona electrostática, etc.) que limpian, barren o repelen la suciedad.
Medios para almacenar la información
El sistema de la invención requiere de medios para almacenar las reglas de decisión del procedimiento de la invención y, adicionalmente, la información generada por los sensores y para almacenar los registros de funcionamiento del sistema. Los medios para almacenar datos pueden ser dispositivos magnéticos, ópticos, magneto-ópticos o de estado sólido y, al igual que en el caso. Dado el ambiente de trabajo en el que se desarrolla la actividad de recolección los medios de estado sólido son la opción preferida.
Medios de procesamiento de información
Junto con los medios sensores, el sistema de la invención comprende medios de procesado de información. El procesamiento de la información podrá ser realizado por cualquier tipo de medio o dispositivo dotado de una unidad central de proceso (p.e. ordenador, microcomputador, microcontrolador, etc.) que sea programable. El objetivo de estos medios es ejecutar un programa de ordenador que comprende instrucciones para hacer que un ordenador lleve a cabo el procedimiento de la invención.
Los medios de procesado de información dispondrán de las entradas adecuadas a la tipología de los sensores que implemente el sistema sensor. Este sistema se encargará de generar el modelo digital 3D de la escena observada, tanto del suelo como del vuelo (objetos presentes en la escena). El sistema de procesado extraerá los objetos presentes en la escena y su geometría y atributos derivados (altura, ancho, volumen, contexto).
Estos medios de procesado de comunican con los medios sensores y con los medios de recolección. La comunicación puede realizarse mediante cables o de forma inalámbrica mediante emisores y receptores de ondas (Wi-Fi o Bluetooth, por ejemplo), lo que permitiría una ubicación remota de estos medios de procesado.
Una vez identificado un elemento que cumpla con las reglas de decisión establecidas, el sistema de procesado digital enviará a los medios de corte y recolección las órdenes de desplazamiento adecuadas para que alcance la posición de corte del elemento a cortar teniendo en cuenta las geometrías tanto del elemento a cortar como del resto de elementos de la escena (contexto).
En una realización particular, estos medios también podrán ser empleados para calibrar y ajustar el funcionamiento de todos los elementos intervinientes en la implementación del procedimiento de la invención. En particular, pueden ser empleados para calibrar y ajustar medios de corte y recolección o el sistema de control de desplazamiento y posición. La introducción de estos parámetros se podrá realizar por medio de cualquier dispositivo informático (p.e. tableta, ordenador, etc.) a través de una interface y del software adecuado.
Este sistema de procesado digital dispondrá de un sistema de reloj que permita la sincronización de todos elementos del sistema de la invención (sensores, procesado) y de los que proporciona el sistema anfitrión (brazo de corte, desplazamiento).
Otras consideraciones sobre el sistema
Este sistema inteligente se basa en sensores se utilizan tecnologías mucho más baratas y sencillas que las totalmente mecánicas o electromecánicas. Además, al usar sensores con salidas estándar éstos podrán ser fácilmente sustituibles. El disponer de un sistema central de proceso que es el que se encarga de la inteligencia del sistema permite que sea parametrizado, lo cual permite adaptarse mejor a las necesidades de cada explotación (p.e. especies, variedad), características del suelo, características y gustos del mercado, etc.
Los medios de procesamiento y almacenamiento de la información pueden estar separados de los sensores y medios para cortar y almacenar el producto. En este caso, el sistema debe contar también con medios de transmisión de señales que permitan la comunicación entre las partes.
Opcionalmente, el sistema de la invención debe permitir la interacción con los operarios del sistema. Para ello se dispondrá de un canal de comunicación (p.e. salida USB, RS232) o de una interface para la interacción humana (p.e. LCD, teclado, pantalla, pantalla táctil).
Opcionalmente, el sistema de la invención debe permitir la actualización de su sistema lógico instalado (firmware). Para ello dispondrá de un canal de comunicación (p.e. serial, UART TTL, TWI, SPI, I2C).
Manipulador robótico que comprende el sistema de la invención
El sistema de la invención está diseñado para guiar y controlar manipuladores robóticos para la recolección de productos hortofrutícolas. Ejemplos de manipuladores son los brazos de corte empleados en agricultura robotizada.
El conjunto formado por un manipulador robótico y el sistema de la invención da lugar a un nuevo manipulador robótico mejorado que también es objeto de la invención.
Adicionalmente, el manipulador robótico se complementa con medios para el almacenaje del producto recogido. Estos medios pueden ser cualquier conjunto de bateas, cajas, o carriles sobre los que el sistema de corte pueda colocar el producto cortado y clasificado.
Un esquema de la disposición de los distintos medios que comprende el sistema soportado sobre una estructura mecánica que comprende el manipulador mecánico se puede ver en las figuras 1, 2 y 3.
Implementación del procedimiento de la invención
Un cuarto objeto de la invención es un programa de ordenador que comprende instrucciones para hacer que un ordenador lleve a cabo el procedimiento de la invención.
La invención abarca programas de ordenador que pueden estar en forma de código fuente, de código objeto o en un código intermedio entre código fuente y código objeto, tal como en forma parcialmente compilada, o en cualquier otra forma adecuada para usar en la implementación de los procesos de acuerdo con la invención. En particular, los programas de ordenador también abarcan aplicaciones en la nube que implementen el procedimiento de la invención.
Estos programas pueden estar dispuestos sobre o dentro de un soporte apto para su lectura, en adelante, "medio portador o ``portador. El medio portador puede ser cualquier entidad o dispositivo capaz de portar el programa. Cuando el programa va incorporado en una señal que puede ser transportada directamente por un cable u otro dispositivo o medio, el medio portador puede estar constituido por dicho cable u otro dispositivo o medio. Como variante, el medio portador podría ser un circuito integrado en el que va incluido el programa, estando el circuito integrado adaptado para ejecutar, o para ser utilizado en la ejecución de, los procesos correspondientes.
A modo de ejemplo, los programas podrían estar incorporados en un medio de almacenamiento, como una memoria ROM, una memoria CD ROM o una memoria ROM de semiconductor, una memoria USB, o un soporte de grabación magnética, por ejemplo, un disco flexible o un disco duro. Alternativamente, los programas podrían estar soportados en una señal portadora transmisible. Por ejemplo, podría tratarse de una señal eléctrica u óptica que podría transportarse a través de cable eléctrico u óptico, por radio o por cualesquiera otros medios.
En este sentido, otro objeto de la invención es un medio de almacenamiento legible por un ordenador que comprende instrucciones de programa capaces de hacer que un ordenador lleve a cabo el procedimiento de la invención.
Finalmente, un último objeto de la invención se refiere a una señal transmisible que comprende instrucciones de programa capaces de hacer que un ordenador lleve a cabo el procedimiento de la invención.
Funcionamiento del sistema
Una vez definidas las reglas de decisión e introducidas en el sistema de la invención, el sistema analizará una escena determinada, obteniendo los parámetros necesarios para tomar la decisión sobre el corte y recolección del producto. Si la decisión es afirmativa, el sistema enviará al manipulador robótico las órdenes de desplazamiento adecuadas para el corte y evacuación de la escena de cada elemento de producto seleccionado, así como para la clasificación comercial del elemento ya recolectado.
Por las características del modelo 3D, el sistema puede enviar al manipulador mecánico las órdenes de desplazamiento adecuadas para que el corte se produzca sin daño para el resto del producto que queda en la escena.
REALIZACIÓN PREFERENTE DE LA INVENCIÓN
A continuación se describe un modo preferente de realización, sin que esto suponga una limitación sobre su realización con otras configuraciones que cumplan con las características técnicas antes descritas.
En este ejemplo de realización se va presentar el caso de uso de sensores formadores de imágenes.
Se dispone del sistema de la invención instalado en un sistema anfitrión (o "marco").
Medios sensores:
El marco anfitrión dispone de 8 cámaras sensoras con ventana espectral de trabajo en el espectro visible dispuestas en 4 arrays de 4 elementos (Arrays sensores, As) en dos planos horizontales. (Figuras 1, 2 y 3).
También se dispone de 4 focos emisores de haces de luz estructurada, (arrays emisores, Ae). Estos focos se han de disponer de manera que los puntos emitidos cubran toda la superficie de la escena, de manera homogénea. Una geometría sencilla como la mostrada en la Figura 3 permite disponer de suficientes medios de emisión para la configuración dada a los medios sensores. Los emisores empleados de luz estructurada empleados son LED por su bajo consumo y altas prestaciones lumínicas.
Adicionalmente se dispone en el marco de 4 señales de calibración, c, que pueden adoptar formas y tamaños muy diversos. En este modo de realización las señales son distintas para facilitar el procesado de las imágenes y el cálculo del modelo 3D. Dada la simplicidad de este medio se prefiere que exista el mayor número de ellos para que cada una de las cámaras observe más de uno. La disposición puede ser cualquier lugar, pero se prefiere que estén asociados a otros medios, como los sensores o emisores, al objeto optimizar la protección y limpieza.
Medios de almacenamiento v procesado:
Los medios de almacenamiento y procesamiento de la información se encuentran adecuadamente conectados y comunicados entre sí, con los medios sensores y con los medios de corte, recogida y almacenamiento del producto que aporta el sistema anfitrión.
Para facilitar los cálculos del sistema generador de modelos digitales de superficie 3D es importante determinar de manera precisa la posición y orientación de los
dispositivos sensores respecto a la estructura anfitriona, y de ésta respecto al brazo de corte.
Para la obtención de la posición absoluta del manipulador robótico (sistema anfitrión), se prefiere el uso de sistemas globales de navegación por satélites, por lo que se ha empleado un sistema GPS (Global Positioning System) apoyado con correcciones diferenciales en tiempo real a los que se les podrá dotar del apoyo de sistemas inerciales. El reloj GNSS es la base de tiempos empleada para la sincronización de todos los procesos y dispositivos.
El sistema de procesado preferido es una CPU de alto rendimiento dada la necesidad de realizar cálculos complejos y de manera ágil.
En el caso de los medios de almacenamiento de la información procedente de los sensores y del procesado, se ha utilizado una memoria Flash por su estado sólido y mayor velocidad.
Otros medios.
Para evitar los problemas debidos a la suciedad ambiental y al polvo que se genera durante la recolección, todas las cámaras, medios emisores y de apoyo estarán aislados del exterior y dispondrán de un sistema de limpieza automatizado. Un sistema de limpieza preferido es el uso de chorros de aire comprimido sobre la superficie de la cápsula protectora.
Medios para cortar, recoger y almacenar el producto.
El manipulador robótico guiado por el sistema de la invención consiste en un brazo de corte robotizado y un conjunto de contenedores para recibir el producto clasificado.
Procedimiento para la generación de un modelo 3D de la escena v selección inteligente del producto
El procedimiento que se ha implementado mediante el sistema es el siguiente:
Una vez seleccionada una escena que contiene productos hortofrutículas, se llevan a cabo los siguientes pasos:
Se toman 8 de imágenes de la escena sometida a un patrón de luz estructurada láser conformado por puntos.
De manera simultánea a 1 se toman 8 imágenes en el infrarrojo térmico.
Mediante técnicas de fotogrametría se genera un modelo 3D de la escena.
El modelo 3D se somete a la extracción de objetos. Se obtienen tantos objetos como cuerpos aparecen en la escena más la superficie del terreno.
A partir del modelo 3D, cada objeto se le determinan los atributos geométricos (altura, diámetro, volumen, peso).
A partir de las imágenes del visible se determinan los atributos color y textura.
A partir de las imágenes del infrarrojo se determinan los atributos estado fisiológico, fuerza de cizalla máxima y energía de corte.
A partir de los atributos, el sistema basado en las reglas de decisión en precorte determina los elementos del producto presentes en la escena que pasan a ser candidatos a recolectar.
Se determina la secuencia de cortes y trayectorias de corte de cada uno de los elementos del producto al objeto de no dañar al producto que permanecerá en la escena.
Se ejecutan uno a uno, los cortes de cada uno de los elementos del producto. A la vez que se ejecuta el corte, cada elemento ya efectivamente cortado se evacúa de la escena y se realiza la selección final por medio de las reglas de postcorte para la clasificación comercial. El brazo de corte liberará cada elemento de producto cortado en un contenedor correspondiente a su clasificación comercial.
