sistema de inspecciÓn y clasificaciÓn de hojas de plantas ... · 11.1 clasificaciÓn de las...

SISTEMA DE INSPECCIÓN Y CLASIFICACIÓN DE HOJAS DE PLANTAS MEDICINALES POR MEDIO DE VISIÓN ARTIFICIAL

ROGGER DAVID GAVIRIA MONTOYA CODIGO: 2161117

CRISTHIAN DAVID MARIN HURTADO

CODIGO: 2161116

UNIVERSIDAD AUTONOMA DE OCCIDENTE DEPARTAMENTO DE AUTOMÁTICA Y ELECTRÓNICA

FACULTAD DE INGENIERÍAS PROGRAMA DE INGENIERÍA MECATRÓNICA

SANTIAGO DE CALI 2018

SISTEMA DE INSPECCIÓN Y CLASIFICACIÓN DE HOJAS DE PLANTAS MEDICINALES POR MEDIO DE VISIÓN ARTIFICIAL

ROGGER DAVID GAVIRIA MONTOYA CODIGO: 2161117

CRISTHIAN DAVID MARIN HURTADO

CODIGO: 2161116

PROYECTO DE GRADO PARA OPTAR AL TÍTULO DE INGENIERO MECATRONICO

DIRECTOR

VICTOR ADOLFO ROMERO CANODOCTOR OF PHILOSOPHY IN FIELD ROBOTICS

MSC IN ELECTRICAL ENGINEERING INGENIERO MECATRONICO

UNIVERSIDAD AUTONOMA DE OCCIDENTE DEPARTAMENTO DE AUTOMÁTICA Y ELECTRÓNICA

FACULTAD DE INGENIERÍAS PROGRAMA DE INGENIERÍA MECATRÓNICA

SANTIAGO DE CALI 2018

3

Nota de aceptación:

Aprobado por el Comité de Grado en cumplimiento de los requisitos exigidos por la Universidad Autónoma de Occidente para optar al título de Ingeniero Mecatrónico

Álvaro José Rojas Arciniegas

Jurado

Juan Carlos Perafan Villota

Jurado

Santiago de Cali, 04 de octubre de 2018

4

CONTENIDO

pág.

RESUMEN 10

ABSTRACT 12

INTRODUCCIÓN 13

1. PLANTEAMIENTO DEL PROBLEMA 16

2. JUSTIFICACIÓN 17

3. ANTECEDENTES 18

3.1 UNA APLICACIÓN DE KMEANS CLUSTERING E INTELIGENCIA ARTIFICIAL EN EL RECONOCIMIENTO DE PATRONES PARA ENFERMEDADES DE CULTIVOS 18

3.2 APLICANDO TÉCNICAS DE PROCESAMIENTO DE IMÁGENES PARA DETECTAR ENFERMEDADES EN PLANTAS 18

3.3 AUTENTICACIÓN DE LA IMAGEN DE HOJA UTILIZANDO TÉCNICA DE PROCESAMIENTO DE IMÁGENES 19

3.4 DESARROLLO DE UN SISTEMA DE VISIÓN ARTIFICIAL PARA EL CONTROL EFICIENTE DE PULVERIZADORES DE CERA EN EL TRATAMIENTO POST-COSECHA DE LA FRUTA 20

3.5 AVANCES EN VISIÓN ARTIFICIAL PARA LA INSPECCIÓN AUTOMÁTICA DE PRODUCTOS HORTOFRUTÍCOLAS 21

3.6 LOS SISTEMAS DE VISIÓN ARTIFICIAL APLICADOS A LA MEDICINA 22

3.7 SISTEMA DE VISIÓN POR COMPUTADOR PARA DETECTAR HIERBA NO DESEADA EN PROTOTIPO DE CULTIVO DE FRIJOL USANDO AMBIENTE CONTROLADO 23

5

4. OBJETIVOS 24

4.1 OBJETIVO GENERAL 24

4.2 OBJETIVOS ESPECIFICOS 24

5. MARCO DE REFERENCIA 25

5.1 MARCO TEORICO 25

5.2 MARCO CONCEPTUAL 26

5.2.1 CONCEPTOS SOBRE VISIÓN ARTIFICIAL 26

5.2.2 CONCEPTOS SOBRE RECONOCIMIENTOS 27

5.2.3 CONCEPTOS ELÉCTRICOS Y ELECTRÓNICOS 30

5.3 MARCO ESPACIAL 31

6. METODOLOGIA 32

6.1 FASES DEL PROYECTO 32

7. SELECCIÓN DE LAS PLANTAS MEDICINALES 37

7.1 HINOJO 37

7.2 CALÉNDULA 37

7.3 ENSAYO DE DESHIDRATACIÓN PARA LA VISUALIZACIÓN DE COLOR 37

8. DISEÑO Y CONSTRUCCIÓN DE LA RECAMARA PARA LA ADQUISICIÓN DE IMÁGENES 41

8.1 SOPORTE PARA LA CAMARA 42

8.2 CABINA CON ILUMINACIÓN 43

9. ALGORITMOS DE RECONOCIMIENTO 44

9.1 SEGMENTACION DE IMÁGENES CON KMEANS 44

6

9.2 RED NEURONAL MULTICAPA (MLP) 49

9.3 RED NEURONAL CONVOLUCIONAL 51

10. DESARROLLO DEL APLICATIVO PARA INTERACCIÓN HOMBRE MAQUINA 56

11. RESULTADOS Y DISCUSIONES 58

11.1 CLASIFICACIÓN DE LAS CLASES DE PLANTAS MEDICINALES 58

11.2 CLASIFICACION DE LAS CATEGORIAS UTILIZANDO PROCESAMIENTO DE IMÁGENES 59

11.3 CLASIFICACION DE LAS CATEGORIAS CON RED NEURONAL MLP 61

11.4 CLASIFICACION DE LAS CATEGORIAS CON RED CONVOLUCIONAL 62

12. CONCLUSIONES 64

13. RECOMENDACIONES 65

BIBLIOGRAFIA 66

ANEXOS 69

7

LISTA DE ILUSTRACIONES

pág.

Figura 1 Diagrama de bloques de la metodología 19

Figura 2 Adquisición de imágenes y tratamiento de la señal 21

Figura 3 Prototipo para la inspección de fruta mínimamente procesada 22

Figura 4 Sistema para la detección de venas en la mano 23

Figura 5 Centroides de dos clusters 29

Figura 6 Línea del Watershed 30

Figura 7 Raspberry Pi 3 33

Figura 8 Logitech c920 33

Figura 9 Iluminación 34

Figura 10 Etapa de potencia 34

Figura 11 Etapa del sensor infrarrojo 35

Figura 12 Caléndula fresca 38

Figura 13 Caléndulas 1 día 39

Figura 14 Caléndulas 2 días 39

Figura 15 Hinojo Fresco 40

Figura 16 Hinojo 2 días 40

Figura 17 Etapas de diseño 41

Figura 18 Estructura diseñada 41

Figura 19 Soporte cámara 42

Figura 20 soporte final 42

Figura 21 Diseño Solid Works de la cabina 43

8

Figura 22 Cabina de iluminación 43

Figura 23 Formula del algoritmo kmeans 44

Figura 24 Imagen origina vs imagen cuantizada 45

Figura 25 Espacio de color HSV 46

Figura 26 Mascaras para los colores amarillos y naranjas 46

Figura 27 Plantas de caléndula fresca 47

Figura 28 Resultado del conteo de pixeles caléndula fresca 47

Figura 29 Plantas de caléndula deshidratada 48

Figura 30 Resultado del conteo de pixeles caléndula deshidratada 48

Figura 31 Inspección de insecto 49

Figura 32 Red MLP con 3 neuronas en la capa de salida 50

Figura 33 Datos de entrenamiento 51

Figura 34 Datasets caléndula 52

Figura 35 Entrenamiento de la red 53

Figura 36 Caléndula para proceso de extracción de aceite 54

Figura 37 Caléndula para proceso de tisana 54

Figura 38 Caléndula para proceso de desecho 54

Figura 39 Interfaz de clasificación 56

Figura 40 Interfaz de configuración 57

Figura 41 Matriz de confusión para la clasificación utilizando segmentación (Kmeans) de imágenes 58

Figura 42 Matriz confusión para la clasificación utilizando red MLP 58

Figura 43 Matriz confusión para la clasificación utilizando red convolucional 59

9

Figura 44 Matriz de confusión caléndula con segmentación (Kmeans) de imágenes 60

Figura 45 Matriz de confusión hinojo con segmentación (Kmeans) de imágenes 60

Figura 46 Matriz de confusión caléndula con red MLP 61

Figura 47 Matriz de confusión hinojo con red MLP 62

Figura 48 Matriz de confusión caléndula con red convolucional 63

Figura 49 Matriz de confusión hinojo con red convolucional 63

Figura 52 Prompt de anaconda 69

Figura 53 Activación del tensorflow 70

Figura 54 Escritorio de una Raspberry pi con raspbian 72

10

LISTA DE ANEXOS

Anexo A. Requisitos PC 69

Anexo B. Requisitos Rasberry 72

11

RESUMEN

Este texto expone el desarrollo de un sistema para la clasificación de hojas de plantas medicinales, basado en visión artificial, con el fin de ser utilizado en una planta de extracción de aceites y elaboración de tisana.

Inicialmente el proceso cuenta con dos opciones, la primera poder determinar qué clase de planta se encuentra dentro del sistema (caléndula, hinojo), haciendo el proceso de manera automática, la segunda opción es la posibilidad de que el operario seleccione el tipo de planta que se encuentra actualmente en el proceso; el estado actual de la planta se categoriza en tres procesos (proceso_1: extracción de aceite, proceso_2: tisana, proceso_3: desecho), para decidir cuál es el proceso más adecuado se implementan diferentes métodos de clasificación, tales como los algoritmos de segmentación de imágenes por medio de kmeans, redes neuronales MLP y redes neuronales convolucionales, estos métodos están programados en python y montados en un sistema embebido (Raspberry pi 3), por su facilidad de uso y su bajo costo, en comparación con otros sistema embebidos1 que si bien son más completos, tienen costos superiores.

El proceso inicia con una banda transportadora que lleva las plantas (caléndula e hinojo) de forma independiente, luego de esto llegan a la etapa de inspección, donde se toma una fotografía y se procesa la imagen, finalmente dependiendo de la calidad evidenciada por el sistema se decide si se utiliza para extracción de aceites o para tizana.

El objetivo de esta automatización es minimizar tiempos y aumentar calidad de los productos, pues la tecnificación de este proceso en la actualidad es incipiente; Es importante recalcar que en este momento la labor se ejecuta de forma manual, donde la fase de selección es realizada por una persona lo que deja a la subjetividad de cada individuo la decisión del estado de la planta escogida.

Palabras clave: Procesamiento de imágenes, Automatización, Algoritmos, Clasificación, Raspberrypi3, Python.

1 NVIDIA. [En línea]. Jetson TK1. [consultado el 30 de agosto de 2018]. Disponible en internet: https://www.nvidia.com/object/jetson-tk1-embedded-dev-kit.html

12

ABSTRACT

This text exposes the development of a system for the classification of leaves of medicinal plants, based on artificial vision and with the purpose of being used in a plant of extraction of oils and elaboration of tisane.

Initially the process has two options, the first can determine what kind of plant is within the system (calendula, fennel), making the process automatically, the seconds options is the possibility of the operator selecting the type of plant that is is currently in the process; The current state of the plant is categorized into three processes (process_1: oil extraction, process_2: tisane, process_3: waste), to decide which is the most appropriate process to implement different classification methods, such as segmentation algorithms by means of of k -media, MLP neural networks and convolutional neural networks, these methods are programmed in python and mounted in an embedded system (Raspberry Pi 3), for their ease of use and for low cost, compared to other embedded systems that although they are more complete , they have higher costs.

The process begins with a conveyor belt that carries the plants (calendula and hinojo) independently, after this they arrive at the inspection stage, where a photograph is taken and the image is processed, finally depending on the quality evidenced by the system. It is decided whether it is used for oil extraction or for tisane.

The objective of this automation is to minimize times and increase the quality of the products, since the technification of this process is currently incipient; It is important to consider that at this moment the work is carried out manually, where the selection phase is carried out by a person, which leaves the decision of the chosen plant state to the subjectivity of each individual.

Key words: Image processing, Automation, Algorithms, Classification, Raspberrypi3, Python.

13

INTRODUCCIÓN

El territorio colombiano ocupa únicamente el 0,77% del total del área terrestre del mundo, sin embargo, en Colombia se alberga aproximadamente el 10% de las especies vegetales y animales conocidas, lo que constituye una ventaja comparativa para el desarrollo socioeconómico y ambiental del país. Ideas novedosas de negocios sostenibles con alto valor agregado basados en el Biocomercio pueden generar ingresos que faciliten el cumplimiento de los objetivos de Desarrollo Sostenible en el país.

En el artículo 2 del Decreto 2266 de 2004 se define un preparado fitoterapéutico como "El producto medicinal empacado y etiquetado, cuyas sustancias activas provienen de material de la planta medicinal o asociaciones de estas, presentado en estado bruto o en forma farmacéutica que se utiliza con fines terapéuticos. También puede provenir de extractos, tinturas o aceites. No podrá contener en su formulación principios activos aislados y químicamente definidos"2. Estos se clasifican en: extractos, tinturas, aceites de infusión, infusión, tisana o agua aromática, decocción, jarabes, lociones, ungüentos y cremas.

Los aceites esenciales son formas altamente concentradas de la parte de la planta de la cual se extraen. Consisten en una mezcla de sustancias aromáticas que sólo la naturaleza puede producir. De acuerdo con el instituto Alexander Von Humboldt, las especies con mayor volumen de comercialización en el país por sus propiedades medicinales son la caléndula, alcachofa, valeriana, diente de león, menta, manzanilla, romero y tomillo3, otra planta cuyas propiedades medicinales son muy poderosas y destaca por su fuerza para equilibrar las funciones del sistema digestivo según Josep Teixe herborista del manantial de salud es el hinojo4.

Los aceites esenciales están contenidos en semillas, glándulas, pelos glandulares, sacos, o venas de diversas piezas de la planta. La mayoría de plantas contienen de 0,01 a 10% de contenido de aceite esencial. La cantidad media que se encuentra 2 COLOMBIA. MINISTRO DE LA PROTECCIÓN SOCIAL, et al. DIARIO OFICIAL 45.610 del 15 de Julio de 2004. DECRETO NÚMERO 2266 DE 2004. [En línea].Invima [consultado el 19 de abril de 2017]. Disponible en internet: https://www.invima.gov.co/images/pdf/productos-fitoterapeuticos/decretos/decreto_2266_2004.pdf 3 CASTRO Dagoberto, et al. Cultivo y producción de plantas aromáticas y medicinales. [En línea] uco.edu.co [Consultado el 19 de abril de 2017]. Disponible en internet: http://www.uco.edu.co/investigacion/fondoeditorial/libros/Documents/Libro%20Plantas%20Aromaticas%202013.pdf 4 CEBRIÀN Jordi, et al. Hinojo. [En línea] cuerpomente.com [Consultado el 19 de abril de 2017]. Disponible en internet: https://www.cuerpomente.com/guia-plantas/hinojo

http://www.uco.edu.co/investigacion/fondoeditorial/libros/Documents/Libro%20Plantas%20Aromaticas%202013.pdf

http://www.uco.edu.co/investigacion/fondoeditorial/libros/Documents/Libro%20Plantas%20Aromaticas%202013.pdf

14

en la mayoría de las plantas aromáticas es alrededor de 1 a 2%. Regularmente el contenido de aceites esenciales aumenta después de la lluvia y alrededor del mediodía, cuando se ha eliminado el agua de rocío depositada sobre la planta, y ha comenzado una deshidratación antes de la humedad relativa alta de la noche; la excepción a este comportamiento se presenta en la manzanilla que alcanza una mayor concentración de aceite esencial durante la noche.

La calidad y la intensidad de los aceites esenciales varían debido a diferencias de la planta, condiciones de cultivo, época de recolección, parte cosechada de la planta, manejo del material vegetal, métodos de extracción, entre otros.

Para garantizar la calidad de las plantas se consultó con profesores de química de la universidad autónoma, sobre estos parámetros que se pueden tener encuentra en las plantas y bajo qué condiciones las plantas son mejores para la extracción de aceite y la elaboración de tisana, el parámetro principal que nos mencionaron fue el cambio de coloración en las plantas cuando están frescas y contienen mayor cantidad de agua y cuando han perdido cierta cantidad de agua al transcurrir los días, para más información ver (pág. 33).

Además, la cantidad de principios activos (productividad) de las plantas medicinales y aromáticas están determinados por los siguientes factores:

• Genético. Se le considera el factor principal (metabolismo secundario). • Ontogenético. Varía de acuerdo con la edad y el estado de desarrollo de la planta. • Ambiental. Los genes responsables de la producción de principios activos pueden ser activados o desactivados de acuerdo con las condiciones climáticas, nutricionales, y de ataque de plagas a que haya sido sometido el material vegetal.

Las plagas se pueden identificar visualmente de la siguiente manera:

• La rosquilla negra (Spodoptera litoralis Boisd.) y los gusanos grises (hinojo, caléndula). • Cenicilla (caléndula, alcachofa, romero, diente de león): manchas blancas harinosas en hojas o tallo. • Pudrición basal y raíces (tomillo, romero, caléndula y menta): las raicillas pueden presentar coloración oscura.

15

• Pudrición radical (tomillo, hinojo y romero): lesiones cuarteadas en tallos, puede ser basal o en otra región del tallo y en ocasiones pudrición de las raíces. • Royas (menta): pústulas de color amarillo especialmente por el envés de la hoja. • Virus CMVy TSWT (manzanilla y caléndula): amarillamiento y deformaciones en hojas. • Mosca de los sustratos (tomillo, menta caléndula y romero): presencia de larvas pequeñas (cabeza negra de 1mm) en el sustrato o en la base de las plántulas. • Palomilla o mosca blanca (caléndula, menta y alcachofa): presencia del insecto principalmente en el envés de las hojas y presencia de un moho negro sobre las mismas. • Otras plagas son: pulgones, trips, arañas, minadores, gusanos, ácaros, babosas, nematodos, cochinillas harinosas.

Para lograr que los productores nacionales puedan ser competitivos en los mercados internacionales, es necesario garantizar que los procesos de selección sean los más adecuados para que los productos que están enviando a otros países cumplan con los mejores criterios de calidad debido a que están dirigidos a ser consumidos por seres humanos.

Lo anterior plantea la necesidad de contar con una adecuada etapa de inspección que garantice la mayor extracción de aceite. Los sistemas de visión son una alternativa rentable y segura para realizar este tipo específico de inspección, ya que se analizan e interpretan para dar una retroalimentación a tiempo, esto se debe a que es una actividad de carácter monótono y de alta velocidad. Los sistemas de visión crean una combinación armoniosa entre un adecuado sistema de iluminación y adquisición, unidas a técnicas de procesamiento digital de imágenes e investigaciones en el sector hortofrutícola puede llegar a extraer información valiosa que permita vigilar automáticamente un proceso de control de calidad.

Este documento muestra el desarrollo de un sistema el cual, por medio de algoritmos para el procesamiento digital de imágenes, logra inspeccionar y clasificar distintas hojas de plantas medicinales teniendo en cuenta los parámetros para el control de calidad establecidos por un experto.

16

1. PLANTEAMIENTO DEL PROBLEMA

Hoy en día el sector agrícola es uno de los principales sectores económicos del país, obligando a muchas industrias a manejar estándares de calidad cuando han pasado por una etapa de industrialización y control.

El proceso de clasificación y selección de plantas medicinales para la extracción de aceites esenciales se hace de manera manual, un trabajador entrenado es el encargado de clasificar y seleccionar las hojas que se encuentran en buen o mal estado para la extracción del aceite, pero al ser un proceso manual hace que la selección no sea unificada5.

A raíz de esto en el procesamiento de plantas medicinales la tecnificación es incipiente, generándose un porcentaje muy elevado de pérdida de estos productos debido a la falta de procesamiento adecuado, lo que limita el nivel de competitividad de esta industria en el país. Debido a la escasez de tecnologías utilizadas en dichos procesos, la selección se soporta en gran parte por una persona que manipula las hojas para seleccionarlas, generando errores en esta fase y riesgos de contaminación, ocasionada por mala manipulación e higiene, la cual origina enfermedades tales como, hepatitis infecciosa, gastroenteritis o bacillus cereus entre otras6.

A raíz de esto nace la idea de seleccionar y clasificar las plantas de manera automatizada con el uso de visión artificial en el proceso, esto es un componente importante por la gran variedad de utilidades que posee, como por ejemplo la detección y reconocimiento de objetos, y la evaluación de los resultados.

5 ANGEL, Juan Gonzalo. Producción y comercialización de hierbas aromáticas – TvAgro por Juan Gonzalo Angel [video]. Tabio Cundinamarca (Colombia): YouTube, TvAgro. (29 de marzo de 2016). [Consultado: 22 de agosto de 2018]. Disponible en Internet: https://www.youtube.com/watch?v=1Zz3LSCzidQ 6 ALIANZAS PARA EL EMPODERAMIENTO ECONÓMICO. Transicion productiva y empoderamiento rural. [En linea]. Rimisp. Paraguay. (30 de agosto de 2013). [Consultado: 22 de agosto de 2018]. Disponible en internet: https://rimisp.org/noticia/transicion-productiva-y-empoderamiento-rural/

17

2. JUSTIFICACIÓN

Hoy en día algunas empresas utilizan materiales que son nocivos para la salud del trabajador “fungicidas”, lo cual genera ambientes hostiles que imposibilitan el desempeño ideal. Además del ambiente el factor humano afecta el proceso de revisión, los cuales pueden ser ocasionados por el mismo estado anímico o cansancio físico del colaborador, sugiriendo entonces esta alternativa de proyecto que busca dar solución al problema que se presenta en el proceso de extracción de aceites en hojas de plantas medicinales, haciendo uso de algoritmos de supervisión para seleccionarlas y calificarlas, por medio de un sistema que permita obtener información de las plantas dependiendo su color realizando así una clasificación para su posterior proceso.

La eficacia es determinada por expertos técnicos o jurados entrenados para comprobar la calidad sensorial (“estado de la hoja, color, etc.”), lo que a la hora de realizarlo de forma manual resulta en desventaja pues por la subjetividad derivada del proceso pone en manifiesto la dificultad para realizar estos controles de calidad. A causa de estos inconvenientes se ve la necesidad de un control de calidad óptimo en la selección, aplicando un sistema de visión artificial lo cual de una forma eficiente nos permiten determinar el estado de la planta, para decidir si es apta para la extracción de aceites esenciales.

Para la toma de imágenes de las plantas es necesario un espacio de trabajo en donde la interferencia sea mínima, garantizando así gran detalle en toda el área de la hoja, y poder hacer una buena clasificación de la misma, de esta manera se eliminaría la realización de la actividad por parte de una persona logrando eliminar la elección bajo parámetros de subjetividad obteniendo un proceso rápido, confiable y al no haber contacto humano con las plantas, se reduce la posibilidad de transmisión de bacterias ocasionadas por la manipulación de un colaborador.

Esta investigación se basa principalmente en el desarrollo de un algoritmo para el sistema automatizado de extracción de aceites, mediante el uso de visión artificial, ayudando a la revisión inicial para el control de calidad de las plantas.

18

3. ANTECEDENTES

La visión artificial o visión técnica es un subcampo de la inteligencia artificial que tiene como objetivo la obtención de información del mundo físico a partir de imágenes utilizando un computador para ello. Esta sección presenta una revisión de trabajos que han abordado problemas relacionados con visión artificial para aplicaciones agroindustriales.

3.1 UNA APLICACIÓN DE KMEANS CLUSTERING E INTELIGENCIA ARTIFICIAL EN EL RECONOCIMIENTO DE PATRONES PARA ENFERMEDADES DE CULTIVOS

Mrunalini y Prashant presentan una técnica para clasificar e identificar diferentes tipos de enfermedades de las cuales las plantas se ven afectadas, la aproximación dada para la extracción de características es usando el método de la co-concurrencia del color. Para detectar automáticamente las enfermedades de las hojas, se utilizan redes neuronales, este enfoque propuesto puede apoyar significativamente una detección precisa de la hoja7. El cambio en el color de las hojas es un aspecto importante para la notificación. Cuando la salud de las hojas está en buen estado, el color de estas es diferente, pero tan pronto como las hojas se ven afectadas por algún patógeno, su color cambia automáticamente.

3.2 APLICANDO TÉCNICAS DE PROCESAMIENTO DE IMÁGENES PARA DETECTAR ENFERMEDADES EN PLANTAS

Kulkarni y Patil Ashwin también presentan una metodología para detectar tempranamente enfermedades en las plantas, utilizando diversas técnicas de procesamiento de imágenes y redes neuronales artificiales (ANN). El enfoque propuesto se basa en el clasificador de ANN para la clasificación y el filtro de Gabor para la extracción de las características de las plantas, los resultados arrojados tienen una tasa de reconocimiento de hasta un 91%. Los autores presentan la detección de enfermedades a través de un método eficaz como lo es la Kmeans Clustering, y un análisis de color y textura. Para clasificar y reconocer las plantas, utilizan la textura y las características del color que aparecen generalmente en áreas normales y afectadas8.

7 MRUNALINI Badnakhe.et al. An Application of K-Means Clustering and Artificial Intelligence in Pattern Recognition for Crop Diseases. [En línea]. ipcsit. [Consultado el 18 de Marzo de 2017]. Disponible en internet: http://www.ipcsit.com/vol20/26-ICAIT2011-A4023.pdf 8 KULKARNI Anand.et al. Applying image processing technique to detect plant diseases. [En línea]. researchgate [Consultado el 18 de Marzo de 2017].

19

3.3 AUTENTICACIÓN DE LA IMAGEN DE HOJA UTILIZANDO TÉCNICA DE PROCESAMIENTO DE IMÁGENES

En el documento se habla de cómo se clasifica y autentifica los materiales vegetales, medicinales y las hierbas ampliamente utilizadas para la preparación de medicamentos en India, para garantizar la preparación de estos es importante tener en cuenta tanto la calidad como la autenticidad de la hoja. Las hojas de las plantas medicinales se examinan a fondo, se analizan y se comparan con la base de datos para dar las medidas correctas de la textura y determinar a qué categoría pertenece la hoja. Debido a las equivocaciones que surgen por las similitudes en las hojas se adopta un método que genere mayor precisión. Utilizando la técnica de procesamiento de imágenes, el error de hojas semejantes puede ser autenticado por varios parámetros específicos de cada una.9

Figura 1 Diagrama de bloques de la metodología

Fuente: ARPN Journal of Engineering and Applied Sciences. Authentication of leaf image using image processing technique. [Imagen].arpnjournals. [Consultado: 12 de junio del 2017]. Disponible en internet: http://www.arpnjournals.com/jeas/research_papers/rp_2015/jeas_0515_2091.pdf

En la Figura 1 se puede observar que el proceso inicia con la captura de la imagen con una cámara digital de más de 12 megapíxeles, bajo un fondo blanco para detectar las características agudas de las hojas y también para una mayor claridad, el segundo paso es la extracción de características la cual ayuda a disminuir la https://www.researchgate.net/publication/308953779_Aplying_image_proccessing_technique_to_ detect_plant_diseases. 9 VIJAYASHREE T. et al. Authentication Of Leaf Image Using Image Processing Technique. [En línea]. arpnjournals [Consultado el 18 de Marzo de 2017]. Disponible en internet: http://www.arpnjournals.com/jeas/research_papers/rp_2015/jeas_0515_2091.pdf

http://www.arpnjournals.com/jeas/research_papers/rp_2015/jeas_0515_2091.pdf

20

cantidad de recursos necesarios para describir el conjunto de datos obtenido cuando se realiza un preprocesamiento de la imagen en el cual se incluye reducción del ruido o distorsión, y mejora de la imagen para detectar los bordes afilados de la hoja, el siguiente paso es el reconocimiento de patrones que incluye pixelización, filtrado lineal y cuantificación, las cuales las hojas tiene un patrón que varía dependiendo de ella como su tamaño, longitud, anchura y textura el paso siguiente es la implementación del software en el que se extraen las características capturadas y se comparan con la base de datos y se obtiene el resultado, mediante un algoritmo computacional se comprueba si la imagen de la hoja se encuentra dentro de la categoría o no, y por medio de un display se muestra el resultado.

3.4 DESARROLLO DE UN SISTEMA DE VISIÓN ARTIFICIAL PARA EL CONTROL EFICIENTE DE PULVERIZADORES DE CERA EN EL TRATAMIENTO POST-COSECHA DE LA FRUTA

Este proyecto consiste en la elaboración una máquina, que funcione con principios mecánicos y de visión, esta implementación es una colaboración entre la empresa CITROSOL. S.A y LA UNIVERSIDAD POLITÉCNICA DE VALENCIA con el fin de desarrollar un sistema de visión artificial para el control de pulverizadores de cera en las líneas de tratamiento pos-cosecha de fruta. El proyecto consiste en el desarrollo de los algoritmos de visión artificial para la estimación de cantidad de fruta (específicamente para naranjas) el estudio y selección del hardware necesario (cámaras, tarjetas, ordenadores, etc) y la integración del sistema en la cadena de producción, incluyendo el control de los pulverizadores. 10

10 UNIVERSIDAD POLITECNICA DE VALENCIA. Desarrollo De Un Sistema De Visión Artificial Para El Control Eficiente De Pulverizadores De Cera En El Tratamineo Pos-Cosecha De La Fruta. [En línea]. horticom. [Consultado el 3 de Marzo de 2017]. Disponible en internet: http://www.horticom.com/pd/imagenes/76/144/76144.pdf10

21

Figura 2 Adquisición de imágenes y tratamiento de la señal

Fuente: Universidad Politécnica de Valencia. Sistema de iluminación, adquisición de imágenes y tratamiento de la señal, difusores de cera. [Imagen].cpi.upv.es. [Consultado: 12 de marzo del 2017]. Disponible en internet: cpi.upv.es/rs/2543/d112d6ad-54ec-438b-9358.../8e6/fd/1/.../casos-cpi-citrosol.pdf

3.5 AVANCES EN VISIÓN ARTIFICIAL PARA LA INSPECCIÓN AUTOMÁTICA DE PRODUCTOS HORTOFRUTÍCOLAS

Los sistemas de visión artificial aseguran que la calidad de los productos hortofrutícolas sean lo mejor para el consumidor, las características que influyen en la apariencia del producto, en sus cualidades nutricionales y organolépticas o en su aptitud para la conservación. La mayoría de estos factores se han evaluado tradicionalmente mediante inspección visual realizada por personal cualificado. Sin embargo, la producción a grandes escalas, la necesidad de cumplir con estándares cada vez más exigentes o la dura competencia de terceros, países con menores costes de producción. La implantación de sistemas de visión artificial en la agricultura ha aumentado considerablemente en los últimos años. Los sistemas basados en esta tecnología proveen información sustancial sobre los atributos de los objetos presentes en una escena y son capaces de analizar los objetos en regiones del espectro electromagnético que están más allá de los límites humanos, como el ultravioleta o el infrarrojo. La amplitud espectral de los sistemas ópticos artificiales les permite ser utilizados para la predicción de la madurez o la inspección de la calidad. Los procesos de pos-cosecha se han beneficiado enormemente de las técnicas de visión artificial, y son actualmente capaces de inspeccionar la calidad de los productos de manera individual y objetiva, el IVIA (Instituto Valenciano de Investigaciones Agrarias) ha estado trabajando principalmente en la puesta a punto de diferentes técnicas que han facilitado el desarrollo de sistemas automáticos de inspección de calidad, de dos productos diferentes: los arilos de granada y los gajos de satsuma.

Dichas aplicaciones tienen algunos elementos en común a la hora de diseñar maquinaria que permita clasificarlo automáticamente. Ambos productos son de pequeño tamaño, presentan un elevado grado de dificultad en su manejo y se

22

rompen con facilidad, dificultando la construcción de sistemas para manipularlos, tanto aislarlos para poder inspeccionarlos individualmente, como para agruparlos en lotes de calidad similar.

Figura 3 Prototipo para la inspección de fruta mínimamente procesada

Fuente: BLASCO, José. et al. [Imagen]. horticom. [Consultado: 18 de Marzo del 2017]. Disponible en internet: http://www.horticom.com/pd/article.php?sid=74834

3.6 LOS SISTEMAS DE VISIÓN ARTIFICIAL APLICADOS A LA MEDICINA

Alejándose del sector industrial se puede observar que este tipo de sistemas han obtenido un gran crecimiento en otro tipo de aplicaciones. Un sector en el que la visión ha evolucionado considerablemente ha sido en el campo de la medicina. En la actualidad se están llevando a cabo numerosos procesos que han supuesto un gran avance y han mejorado las condiciones de salud de muchas personas. Una de esas tantas aplicaciones es el método que Marcotti, Hidalgo y Mathé han encontrado para mejorar la calidad de las venopunciones. Se ha implementado un prototipo, el cuál utiliza luz infrarroja para la detección de las venas, captarlas y posteriormente proyectarlas sobre la piel del paciente. De esta manera, se mejora este procedimiento de forma significativa reduciendo su precisión y la molestia del paciente. 11

11 3CIENCIAS. Visión Artificial Aplicada Al Control De La Calidad. [En línea] 3ciencias.com [Consultado el 18 de Marzo de 2017]. Disponible en internet: https://www.3ciencias.com/wp-content/uploads/2014/12/VISI%C3%93N-ARTIFICIAL-APLICADA-AL-CONTROL-DE-LA-CALIDAD.pdf

http://www.horticom.com/pd/article.php?sid=74834

23

Figura 4 Sistema para la detección de venas en la mano

Fuente: GARCIA, j. et al. Prototipo del experimento. [Imagen]. 3ciencias. [Consultado18 de Marzo del 2017]. Disponible en internet: https://www.3ciencias.com/wp-content/uploads/2014/12/VISI%C3%93N-ARTIFICIAL-APLICADA-AL-CONTROL-DE-LA-CALIDAD.pdf

3.7 SISTEMA DE VISIÓN POR COMPUTADOR PARA DETECTAR HIERBA NO DESEADA EN PROTOTIPO DE CULTIVO DE FRIJOL USANDO AMBIENTE CONTROLADO

También hay aplicaciones de la visión artificial a procesos de reconocimiento de hierba no deseada en cultivos de frijol, ya que un estudio asegura que dichas hierbas roban nutrientes a las plantas cercanas, para ello usan un ambiente controlado y aseguran una iluminación adecuada para la obtención optima de imágenes, dicho sistema utiliza métodos heurísticos para la diferenciación entre los elementos de la imagen” maleza, hierba de frijol, animales”, pudiendo detectar de manera automática la hierba no deseada, para esta aplicación se usa como software MATLAB, para el procesamiento de las imágenes y una cámara web para la obtención de imágenes. 12

12 BETANCOURT, diego. Sistema de visión por computador para detectar hierba no deseada en prototipo de cultivo de frijol usando ambiente controlado. [En línea]. Trabajo de grado ingeniería Bogotá: Universidad Católica De Colombia Facultad De Ingeniería Programa De Ingeniería Electrónica Y Telecomunicaciones [Consultado el 20 de Marzo 2017]. Disponible en internet: http://repository.ucatolica.edu.co/bitstream/10983/1690/1/TRABAJO%20DE%20GRADO.pdf

https://www.3ciencias.com/wp-content/uploads/2014/12/VISI%C3%93N-ARTIFICIAL-APLICADA-AL-CONTROL-DE-LA-CALIDAD.pdf

https://www.3ciencias.com/wp-content/uploads/2014/12/VISI%C3%93N-ARTIFICIAL-APLICADA-AL-CONTROL-DE-LA-CALIDAD.pdf

24

4. OBJETIVOS

4.1 OBJETIVO GENERAL

Diseñar e implementar un sistema de reconocimiento con visión artificial para la selección de hojas de plantas medicinales.

4.2 OBJETIVOS ESPECIFICOS

• Seleccionar las plantas a trabajar en el proyecto e identificar criterios de selección para cada una, de acuerdo a los parámetros establecidos por un experto. • Desarrollar un espacio de trabajo que garantice la adquisición optima de las imágenes. • Investigar y evaluar diferentes algoritmos de detección y reconocimiento de patrones que permitan clasificar las hojas. • Investigar y evaluar diferentes algoritmos de reconocimiento de patrones que permitan inspeccionar la calidad de las hojas • Desarrollar una aplicación que integre el algoritmo desarrollado utilizando software libre.

25

5. MARCO DE REFERENCIA

5.1 MARCO TEORICO

En la actualidad los sistemas de detección y reconocimiento de objetos se pueden clasificar en dos tipos: el primero utiliza sensores tales como los sensores térmicos de proximidad, infrarrojos, escáneres entre otros, y los segundos son las cámaras, siendo estos los sistemas de visión artificial.

El sistema de reconocimiento de objetos “plantas” propuesto en este proyecto a realizar, está basado en las teorías de los sistemas de visión artificial, utilizando algoritmos de supervisión como técnicas de clasificación Kmeans y clasificación por redes neuronales (MLP, CNN).

Un sistema de visión artificial busca reconocer, analizar y entender una escena y sus componentes, partiendo de una o más imágenes bidimensionales. Entre los objetivos más comunes de estos sistemas están: la detección, segmentación, localización y reconocimiento de ciertos objetos en las imágenes; en el caso particular de este proyecto, el objetivo se centra en detectar y reconocer plantas medicinales.

El reconocimiento por visión artificial es una herramienta para el control de calidad en la industria. La gran versatilidad, elevada cadencia de inspecciones y precisión, hacen que la visión artificial haga posible la inspección de la totalidad de la producción.

Los principales componentes de un sistema de visión artificial incluyen el espacio de trabajo el cual debe ser un área aislada y acondicionada para permitir que las características sobresalgan, el sensor de imagen “cámara” que se utiliza para captar la hoja de la planta, el procesador de visión convierte la imagen captada a digital para que se pueda procesar y analizar, la parte de inspección suele estar compuesta con una plataforma de prototipos electrónica de código abierto (open-source) basada en hardware y software flexibles y fáciles de usar como la raspberry. Finalmente, la comunicación se suele realizar mediante una señal de E/S discreta o información enviada mediante una conexión serial a un dispositivo que registra o usa información.

26

5.2 MARCO CONCEPTUAL

En esta sección del documento se considerarán los diferentes conceptos para el desarrollo del sistema de visión artificial con el fin de identificar las diferentes características sobre su uso. Posteriormente se definirán conceptos orientados a los sistemas de reconocimiento que permitirán el óptimo funcionamiento del sistema en cuestión, y finalmente se estudiarán diferentes conceptos eléctricos y electrónicos que harán posible el análisis de diferentes características a implementar.

5.2.1 Conceptos sobre visión artificial

Visión artificial: Se puede decir que la Visión Artificial mediante la utilización de las técnicas adecuadas, permite la obtención, procesamiento y análisis de cualquier tipo de información especial obtenida a través de imágenes digitales en planos 2D.

Cámaras: las cámaras fotográficas tienen como objetivo la captura de imágenes estáticas, tales como personas, paisajes etc. Con las cuales se puede obtener de manera visual detalles importantes.

Captación: Obtención de la imagen visual del objeto a inspeccionar.

Ruido digital: Es la variación aleatoria del brillo o el color en las imágenes digitales producido por el dispositivo de entrada.

Píxel: Una imagen digital se considera como una cuadrícula. Cada elemento de esa cuadrícula se llama Píxel (Picture element). La resolución estándar de una imagen digital se puede considerar de 512x484 Pixel.

Preprocesamiento: Posterior a la obtención de una imagen digital, se procede a mejorar la calidad informativa de dicha imagen, es decir, transformar esa primera imagen adquirida de manera adecuada para facilitar la interpretación de la información que esta contiene. Algunas de las técnicas de preprocesamiento más habituales son:

27

• Filtrado: se trata de modificar el valor de cada pixel de la imagen en función de las intensidades de sus pixeles vecinos, esto a su vez son métodos para resaltar o suprimir, de forma selectiva, información contenida en una imagen a diferentes escalas espaciales, para destacar algunos elementos de la imagen, o también para ocultar valores anómalos. • Transformación del histograma: Las transformaciones del histograma ayudan a mejorar el proceso de segmentación de los elementos de la imagen, aunque esencialmente sirve para modificar el contraste de la imagen y el rango dinámico de los niveles de gris.

Procesamiento de imágenes: El procesamiento de imágenes tiene como objetivo mejorar el aspecto de las imágenes, realzando detalles importantes y hacerlos más evidentes, las imágenes pueden haber sido tomadas de diferentes maneras como una fotografía o electrónicamente por medio de monitores o televisión, el procesamiento de imágenes se puede realizar por medio de métodos ópticos o por medio de métodos digitales, en una computadora. 13

La iluminación: Es la parte más crítica dentro de un sistema de visión. Las cámaras capturan la luz reflejada de los objetos. El propósito de la iluminación utilizada en las aplicaciones de visión es controlar la forma en que la cámara va a ver el objeto. La luz se refleja de forma distinta si se ilumina con una fruta, o si se ilumina una hoja de papel blanco y el sistema de iluminación por tanto debe ajustarse al objeto a iluminar.

5.2.2 Conceptos sobre reconocimientos

Binarización: Este proceso transforma la imagen en escala de grises, a una imagen de blanco y negro (unos y ceros) mediante una comparación o umbral. Este umbral define el valor límite del pixel siendo negro si está por debajo de este umbral o blanco si está por encima.

Detección de bordes: Los bordes de una imagen digital se pueden definir como transiciones entre dos regiones de niveles de gris significativamente distintos.

13 ALONSO, Antonio. et al. Procesamiento de imágenes. [En línea]. Biblioteca digital. México. 1997. [Consultado el 18 de Marzo de 2017]. Disponible en internet: http://bibliotecadigital.ilce.edu.mx/sites/ciencia/volumen2/ciencia3/084/htm/sec_2.htm

28

Suministran una valiosa información sobre los contornos de los objetos y puede ser utilizada para segmentar la imagen, reconocer objetos, etc.

Segmentación: Ya definida y procesada la información se procede a dividir los elementos en regiones, diferenciando los elementos que aparecen y los separa en un entorno lógico de unos o ceros (blanco o negro). Por tal motivo al momento de decidir segmentar una imagen es necesario tener en cuenta que los elementos estén separados uno del otro.

Técnica de clasificación SVM: Las SVM (o Máquinas de Vectores de Soporte) son un conjunto de algoritmos de aprendizaje supervisado. La idea de las SVM es que, a partir de unas entradas al modelo, se etiquetan las clases y se entrena una SVM construyendo un modelo que sea capaz de predecir la clase de los nuevos datos que se introduzcan al modelo, la SVM representa en un eje de coordenadas los vectores de entrenamiento, separando las clases por un espacio lo más grande posible, cuando nuevos datos son introducidos al modelo, estos se colocan sobre el mismo eje y en función de la cercanía de los grupos antes separados, los cuales serán clasificados en una u otra clase. 14 Técnica de clasificación KNN: El algoritmo k vecinos más próximos (KNN, del inglés K-NearestNeighbors) es un método de clasificación que se basa en la estimación de patrones pertenecientes a alguna de las clases definidas dentro del conjunto de entrenamiento15, este algoritmo basado en instancia de tipo supervisado de machine learning. Puede usarse para clasificar nuevas muestras (valores discretos) o para predecir (regresión, valores continuos).16 Técnica de clasificación Kmeans: El nombre representa cada uno de los clusters por la media o media ponderada de sus puntos, es decir, por su centroide. La representación mediante centroides tiene la ventaja de que tiene un significado gráfico y estadístico inmediato. Cada cluster por tanto es caracterizado por su centro o centroide como se observa en la Figura 5 que se encuentra en el centro o el medio

14 SÁNCHEZ ANZOLA, Nicolás. Máquinas de soporte vectorial y redes neuronales artificiales en la predicción de movimiento USD/COP spot intradiario. [En línea]. ODEON. 2016. [Consultado el 18 de Marzo de 2017]. Disponible en internet: http://revistas.uexternado.edu.co/index.php/odeon/article/view/4414/5256 15 COMAS, Diego Sebastián. et al. Segmentación de imágenes mediante reconocimiento de patrones. [En línea]. Argentina. Sg6671. 2014. [Consultado el 18 de Marzo de 2017]. Disponible en internet: http://www.sg6671.com.ar/ecimag2014/c3/ECIMAG2014-Curso-C3_Modulo.pdf 16 BAGNATO juan Ignacio. Clasificar con k-Nearest-Neighbor ejemplo en Python. [En línea]. Aprendemachinelearning. 2018. [Consultado el 18 de Marzo de 2017]. Disponible en internet: http://www.aprendemachinelearning.com/clasificar-con-k-nearest-neighbor-ejemplo-en-python/

29

de los elementos que componen el cluster. Kmeans es traducido como K-medias, un ejemplo del agrupamiento se puede observar en la Figura 5. 17

Figura 5 Centroides de dos clusters

Fuente: CAMBRONERO, Cristina. Et al. Algoritmos de aprendizaje: KNN & KMEANS. [Imagen].it.uc3m.es. [Consultado 18 de marzo de 2017]. Disponible en internet: http://www.it.uc3m.es/jvillena/irc/practicas/08-09/06.pdf

Técnica de segmentación Watershed: En este proceso una imagen en escala de grises puede ser vista como un relieve topográfico, donde se interpreta el nivel de gris de un píxel como su altura en el relieve. También, se puede considerar la magnitud del gradiente de una imagen como una superficie topográfica. Los píxeles que tienen las más altas intensidades de gradiente corresponden a las líneas divisorias, que representan los límites de las regiones. El agua puesta sobre cualquier píxel encerrado por una línea divisoria común fluye colina abajo a un mínimo de intensidad local común. Los píxeles que drenan a un mínimo común forman una cuenca, que representa un segmento de la imagen (un objeto). 18

17 CAMBRONERO, Cristina García. Et al. Algoritmos de aprendizaje. [En línea]. It.uc3m.es. Madrid. 2006. [Consultado el 18 de Marzo de 2017]. Disponible en internet: http://www.it.uc3m.es/jvillena/irc/practicas/08-09/06.pdf 18 Colaboradores de Wikipedia. Segmentación (procesamiento de imágenes) [en línea]. Wikipedia, La enciclopedia libre, 2016 [fecha de consulta: 24 de marzo del 2017]. Disponible en https://es.wikipedia.org/w/index.php?title=Segmentaci%C3%B3n_(procesamiento_de_im%C3%A1genes)&oldid=91179490.

30

Figura 6 Línea del Watershed

Fuente: EDDINS, Steve. [Imagen].Mathworks. [Consultado: el 20 de Marzo del 2017]. Disponible en internet: https://www.mathworks.com/company/newsletters/articles/the-watershed-transform-strategies-for-image-segmentation.html

5.2.3 Conceptos eléctricos y electrónicos

Circuitos digitales: Suele utilizar el sistema digital de unos y ceros (sistema binario) para transmitir, procesar o almacenar información. Con la combinación de unos y ceros se puede procesar todo tipo de información está codificada en dos únicos estados (1,0), la cual se implementa para generar circuitos lógicos que permitan enviar información acerca del estado en que se encuentran el dispositivo, basándonos en estos circuitos logramos controlar displays 7 segmentos para la simulación de números y estados lógicos. Ruido eléctrico: Son aquellas señales, de origen eléctrico, no deseadas y que están unidas a la señal principal, o útil, de manera que la pueden alterar produciendo efectos que pueden ser más o menos perjudiciales. Sistemas embebidos: Los sistemas embebidos son dispositivos integrados en productos, que controlan una o varias funciones, con recursos limitados. Por ejemplo, los sistemas de transporte como ascensores, trenes y coches que utilizamos frecuentemente contienen un gran número de sistemas embebidos que se encargan, de manera transparente para el usuario, del control de movimiento, conectividad, autodiagnóstico, gestión energética, confort y seguridad de las personas, entre otras funciones. 19

19 PEREZ, jon. Sistemas embebidos. [En línea]. Ikerlan. [Consultado el 18 de Marzo de 2017]. Disponible en internet: http://www.ikerlan.es/es/que-investigamos/sistemas-embebidos

31

Raspberry pi: Es un micro ordenador o placa de computadora SBC de bajo costo, los podemos utilizar como servidor de contenidos, conectados al televisor o como ordenador, la Raspberry Pi es uno de los productos más populares para estos fines, tanto por su atractivo precio como por las enormes opciones que trae consigo. 20 5.2.4 Conceptos sobre software libre

Software open source: Se clasifican como sistemas open source, a los programas informáticos que permiten el acceso a su código de programación, lo que facilita modificaciones por parte de otros programadores ajenos a los creadores originales del software en cuestión.

5.3 MARCO ESPACIAL

El proyecto se realiza en Colombia, Valle del Cauca Cali en la universidad Autónoma de Occidente. Este proyecto se basa en los mecanismos de automatización, algoritmia, micro controladores y su parte de reconocimiento se centra mucho en el estado del producto, estas teorías hacen que el propósito del proyecto sea innovar y pueda implementar soluciones de bajo costo para esta área.

20 UNIVERSITAT POLITÈCNICA DE VALENCIA. Raspberry pi. [En línea]. Histinf. [Consultado el 18 de Marzo de 2017]. Disponible en internet: http://histinf.blogs.upv.es/2013/12/18/raspberry-pi/

32

6. METODOLOGIA

En el proyecto se recopilan imágenes para la realización de los datos de validación, con el fin de desarrollar la inspección y clasificación de hojas de plantas medicinales en una línea de producción, se basa en una metodología cuantitativa, pues se debe manipular un numero de variables independientes hasta lograr ejercer un control sobre ellas, así mismo obtener unas variables dependientes encargadas de mostrar los resultados del reconocimiento. Con el uso de esta herramienta se puede dar prioridad a las hojas que cumplan con los parámetros de calidad definidos con los algoritmos realizados.

Por otro lado, la implementación del proyecto tiene características de una investigación aplicada, ya que se utilizaron técnicas de procesamiento de imágenes, conocimientos basado en sistema de visión artificial, conocimiento de redes neuronales e incluyendo técnicas de iluminación.

6.1 FASES DEL PROYECTO

Para dar soluciona a la problemática planteada en este proyecto, se realizan diferentes fases que vienen desde la investigación e implementación de algoritmos basado en procesamiento de imágenes hasta los algoritmos con redes neuronales, siendo estos últimos los de mayor inversión de tiempo por su complejidad a la hora de ser implementados en un dispositivo embebido.

Fase 1: Investigación

• Indagación sobre diferentes proyectos con visión artificial que empleen la misma tecnología a nivel nacional e internacional. • Investigación sobre la automatización a bajo costo. • Búsqueda de elementos relacionados (teoría, instrumentación, características, entre otros) al método de visión que se desea emplear. • Exploración de los diferentes leguajes de programación que se pueden implementar en los sistemas embebidos.

33

Fase 2: Selección de los componentes

Para la implementación del proyecto se utilizaron diferentes elementos para obtener un correcto funcionamiento del sistema, la selección de los componentes fue escogido con base en una automatización a bajo costo (ABC) y compatibilidad entre equipos.

- sistema embebido (raspberry pi 3): Este dispositivo se ha seleccionado para ser el ordenador del proyecto, cuenta con compatibilidad frente a dispositivos de adquisición de imágenes como son las webcams, GoPro, Kinect entre otros, también fue elegido por su bajo costo en el mercado.

Figura 7 Raspberry Pi 3

Fuente: RASPBERRY PI 3 MODEL B [imagen]. raspberry.org. [Consultado: 21 julio del 2018]. Disponible en internet: https://www.raspberrypi.org/products/raspberry-pi-3-model-b/

- Webcam: La cámara seleccionada para el proyecto es la Logitech c920, es necesario resaltar su compatibilidad con la Raspberry pi 3, esta cuenta con parámetro de configuraciones tales como brillo, contraste, nitidez, zoom entre otros, a los cuales se pueden acceder desde el código, generando así una herramienta indispensable para el proyecto.

Figura 8 Logitech c920

Fuente: Logitech C920 HD Pro – Webcam Full HD (1080pm, sensor de 15 Mp), negro. [imagen] microtiendasonline.es. [Consultado: 21 julio del 2018]. Disponible en internet: https://microtiendasonline.es/tienda/logitech-c920-hd-pro-webcam-full-hd-1080pm-sensor-de-15-mp-negro/

34

- Iluminación: Siendo una de los factores importantes para la óptima adquisición de imágenes, se decidió diseñar una iluminación de tipo backlight que se acople a la estructura realizada, como se puede observar en la Figura 9, en donde la cámara se posiciona mirando el objeto en la misma dirección que la luz, este proceso reduce las sombras, suaviza las texturas y minimiza la influencia de rayos, polvo e imperfecciones que puede tener el objeto, esta misma es activada o desactivada por una etapa de potencia con opto acoplador, a partir de una pequeña tensión aplicada genera una señal para el funcionamiento de la iluminación, el circuito utilizado se puede visualizar en la Figura 10, de la etapa de potencia.

Figura 9 Iluminación

Fuente: elaboración propia

Figura 10 Etapa de potencia


35

- Triggers: Este dispositivo es diseñado para detectar el canjilón con el cumulo de matas a procesar, cuenta con un par de diodos infrarrojos que están basados en la combinación de un emisor y un receptor próximos entre ellos, a continuación, se puede observar el circuito en la Figura 11.

Figura 11 Etapa del sensor infrarrojo


Fase 3: Generación de algoritmos

Python es un lenguaje de programación open source, el cual fue implementado en este proyecto por su versatilidad, a su vez es seleccionada por la compatibilidad que se tiene con el sistema embebido como con las librerías de procesamientos de imágenes y redes neuronales.

A continuación, se describen los algoritmos desarrollados:

- Diseño del algoritmo con procesamiento de imágenes, basándonos en la teoría de color HSV, el cual nos genera la primera base de datos de capturas para ser utilizadas en nuestros próximos algoritmos.

- Diseño del algoritmo con red neuronal multicapa, esta red se implementó por medio de histograma con clusters obtenidos de un proceso de kmeans, enseñándole el comportamiento por medio de los datos adquiridos con el proceso anterior.

36

- Diseño de algoritmo con red neuronal convolucional, se implementa una red con capa convolucional de 32 filtros con un núcleo de 3x3. Esta red es entrenada con las imágenes validadas en los algoritmos anteriores, realizándolo con cada uno de los procesos a implementar.

Fase 4: Validación y diseño de aplicación

- Validación del funcionamiento de los algoritmos por medio de matrices de confusiones.

- Validación del funcionamiento del sistema embebido por medio de comparativas con un computador.

- Validación de tiempos de respuesta para cada algoritmo realizado.

- Creación del aplicativo.

37

7. SELECCIÓN DE LAS PLANTAS MEDICINALES

Después de investigar diferentes tipos de plantas medicinales e indagar sobre los beneficios que tienen cada una de ellas, se opta por seleccionar la caléndula e hinojo. Estos tipos de plantas son una excelente fuente para la extracción de aceites medicinales, adicionalmente cuentan con propiedades aromáticas para la elaboración de tisanas.

7.1 HINOJO

El hinojo es una planta utilizada a menudo para problemas del sistema digestivo, tales como la acidez, los gases, la pérdida de apetito, etc. También se usa para los problemas del tracto respiratorio como la tos, asma y bronquitis. 21

7.2 CALÉNDULA

Es una planta muy conocida y apetecida por las personas, gracias a su amplia variedad de propiedades farmacéuticas, tales como antinflamatorias, antisépticas, antibacteriana, fungicida, cicatrizante entre otros tipos de aplicaciones, también resulta muy beneficiosa para las quemaduras de la piel, disminuyendo la inflamación, migar el dolor y estimula la regeneración y recuperación de la piel. 22

7.3 ENSAYO DE DESHIDRATACIÓN PARA LA VISUALIZACIÓN DE COLOR

Luego de seleccionar las plantas a utilizar se realizó investigación de los procesos en los cuales se usan las especies elegidas indagando junto con ello el estado adecuado para la realización de cada proceso. Para ello se acudió a docentes de química con amplio conocimiento en plantas, finalizada la investigación de los diferentes estados de las flores y los procesos a desarrollar con las mismas, se llegó a la conclusión que, para la extracción de aceites, estas deben tener gran cantidad de líquido (agua) en ellas.

21 VIX. Propiedades medicinales del hinojo. [En línea]. vix.com [Consultado el 3 de Agosto de 2018]. Disponible en internet: https://www.vix.com/es/imj/salud/2010/05/29/propiedades-medicinales-del-hinojo 22 ECOAGRICULTOR. Caléndula: propiedades medicinales y su cultivo ecológico. [En línea]. .ecoagricultor [Consultado el 3 de Agosto de 2018]. Disponible en internet: https://www.ecoagricultor.com/plantas-medicinales-cultivo-y-usos-de-la-calendula/

38

También se propone un segundo proceso el cual consiste en la elaboración de tisana, para este caso el contenido de líquido no debe ser abundante, pues en la preparación de este producto se requiere pasar el insumo por un horno para la deshidratación; entre menos liquido tenga el tiempo en el horno será menor, generando costo beneficios en el proceso.

Con los datos validados por los expertos se procede a hacer pruebas con las plantas, se realiza verificación de los cambios generados en ellas al paso de los días, donde se da como resultado la perdida de líquido interno. Las pruebas se iniciaron con la especie caléndula, siendo esta la primera seleccionada para la realización del presente proyecto.

Para la identificación del estado de la planta, lo que lleva a la selección del proceso a realizar, es decir determinar si se hace extracción de aceite o tisana, primero se obtuvo un dataset con capturas de las especies frescas, con las cuales se analizaron los colores de cada una.

Figura 12 Caléndula fresca


La imagen Figura 12, muestra caléndulas frescas, y se observa que la coloración que tiene dicha planta tiene mayor concentración de amarillo en el centro de la flor y un tono de naranja claro en las orillas de la misma.

39

Figura 13 Caléndulas 1 día


Pasado un día se observa cambio de coloración en las plantas como se puede ver en la Figura 13, los tonos naranjas claros ahora son más oscuros tendiendo a una tonalidad más rojiza y los tonos amarillos van desapareciendo.

Figura 14 Caléndulas 2 días


En la Figura 14, pasados dos días después de la primera toma, se evidencia gran cambio en las plantas. Luego de analizar el cambio en la coloración, se pude concluir que a mayor concentración de líquidos (caléndula fresca) la flor contiene mayor concentración de tonos amarillos, pero al pasar los días la planta empieza a perder líquidos, haciendo que el amarillo vaya desapareciendo y los tonos naranjas se intensifiquen, quedando mayor concentración de estos.

Después de realizar las pruebas con la primera especie seleccionada, se procede a realizar las pruebas con el hinojo.

40

Figura 15 Hinojo Fresco


Figura 16 Hinojo 2 días


En las ilustraciones 15 y 16, se puede observar que al igual que la caléndula se ve un cambio en la coloración del hinojo a medida que pierde líquidos.

41

8. DISEÑO Y CONSTRUCCIÓN DE LA RECAMARA PARA LA ADQUISICIÓN DE IMÁGENES

Figura 17 Etapas de diseño


Como se muestra en la Figura 17, el diseño de la recamara de inspección depende de dos etapas: el sistema que soporta la cámara para realizar la captura de imágenes y la cabina que es una estructura física que cumple con las necesidades de la banda transportadora en donde se genera un corredor con baja iluminación externa, además la cabina cuenta con una sección para el ingreso de la cámara desde la parte superior, desde ese mismo punto se genera la iluminación backlight. Adicionalmente tiene perforaciones en donde va la barrera fotoeléctrica que a su vez se encarga de la adquisición de la imagen, como se puede observar en la Figura 18.

Figura 18 Estructura diseñada


42

8.1 SOPORTE PARA LA CAMARA

Se diseña un soporte para la cámara c920, que garantiza el menor movimiento, primero se diseña una estructura que cubre toda la cámara para garantizar un agarre completo como se puede observar en la Figura 19, seguidamente se diseña un soporte externo fijo, en este caso fue utilizado un dispositivo para sostener celulares, al cual se le diseña dos piezas para dar el alto que se necesitaba como se detalla en la Figura 20.

Figura 19 Soporte cámara


Figura 20 soporte final


43

8.2 CABINA CON ILUMINACIÓN

Este sistema se encontrará en una banda transportadora por lo que el diseño realizado se acopla para generar un solo dispositivo con una ranura para ingresar la iluminación backlight y agujeros para ingresar los sensores que activan el disparo de la cámara, a su vez el inicio del algoritmo a implementar, ver ilustraciones 21 y 22.

Figura 21 Diseño Solid Works de la cabina


Figura 22 Cabina de iluminación


44

9. ALGORITMOS DE RECONOCIMIENTO

9.1 SEGMENTACION DE IMÁGENES CON KMEANS

Se realizan comprobaciones con cada una de las plantas para verificar los cambios de colores en los diferentes estados de maduración de la misma, con esto se tiene un punto de partida con el cual se podrá clasificar la calidad de cada una de ellas, en primera instancia se debe realizar una captura de la imagen y poder separar los colores de la misma para luego extraer el color que se necesita examinar, para esto se usa un algoritmo llamado kmeans.

k-menas es un algoritmo de clasificación no supervisada (clusterización) que agrupa objetos en k grupos o también llamados clusters basándose en sus características, el agrupamiento se realiza minimizando la suma de distancias entre cada objeto y el centroide de su grupo o clúster. Se suele usar la distancia cuadrática. Los objetos se representan con vectores reales de d dimensiones (x1, x2,…, xn) y el algoritmo kmeans construye k grupos donde se minimiza la suma de distancias de los objetos dentro de cada grupo S={S1,S2,…,Sk}, a su centroide. el problema se puede formular de la siguiente forma23:

Figura 23 Formula del algoritmo kmeans

Fuente: El algoritmo kmeans aplicado a clasificación y procesamiento de imágenes. [Imagen]. unioviedo.es. [Consultado: 3 de agosto del 2018]. Disponible en internet: https://www.unioviedo.es/compnum/laboratorios_py/kmeans/kmeans.html Donde S es el conjunto de datos cuyos elementos son los objetos xj representados por vectores, donde cada uno de sus elementos representa una característica o atributo. K son los grupos o clusters con su correspondiente centroide μi.

23 UNIOVIEDO. El algoritmo k-means aplicado a clasificación y procesamiento de imágenes. [En línea]. [Consultado el 3 de Agosto de 2018]. Disponible en internet: https://www.unioviedo.es/compnum/laboratorios_py/kmeans/kmeans.html

45

Figura 24 Imagen origina vs imagen cuantizada


En la Figura 24 se puede observar la imagen de muestra para ingresar al algoritmo kmeans, vs la imagen con el algoritmo aplicado, donde se puede observar que se ve separada por los colores contenidos en ella, de esta manera es más fácil poder distinguir los tonos y poder seleccionar el color necesario para seguir con el procesamiento.

Con los colores separados ya se puede tomar el que se necesita para seguir con el procesamiento, teniendo en cuenta las consideraciones anteriormente expuestas, la caléndula cuando tiene mayor concentración de agua es mejor para el procesamiento de extracción de aceites y su tonalidad de color es más amarillos y naranjas claros, con base en esto se crea unos rangos de tonalidades para filtrar los colores que necesitamos; para entender los rangos de colores y como se hacen se debe tener presente el espacio a trabajar para poder acomodar los valores de la mascar de color. Existen diferentes tipos de espacios de colores como el RGB siendo el más conocido, el YCBCT el cual se utilizan en los sistemas de fotografía digital y las impresoras, y existen otros como el HSV (ver Figura 25), este espacio de colores tiene tres componentes, el H (Hue), S (Saturation), y V (Value o Brightness).

Hue: es el color real, se mide en grados en sentido antihorario, comenzando y terminando en rojo = 0° o 360°, por lo tanto, amarillo = 60, verde = 120, etc. Cabe aclarar que los rangos en opencv para el H van entre 0 y 179.

Saturation: es pureza del color, medida en porcentaje desde el centro del cono (0) a la superficie (100).

46

Value o Brightness: se mide en porcentaje igual que la saturación va en porcentaje de negro (0) a blanco (100), por lo que es 50% en el borde superior de la Figura de nuestro cono. Hacia el centro, el brillo aumenta a medida que se disminuye la saturación.

Figura 25 Espacio de color HSV

Fuente: Convert HSV to RGB colors [Imagen]. stackexchange. [Consultado: el 20 de julio del 2018]. Disponible en internet: https://cs.stackexchange.com/questions/64549/convert-hsv-to-rgb-colors

Teniendo claros los espacios de colores se procede a realizar las máscaras para los colores que se necesitan, en este caso son las tonalidades de color amarillo y naranjas.

Figura 26 Mascaras para los colores amarillos y naranjas

Fuente: Elaboración propia

Se tiene un rango mínimo y máximo para cada una de las máscaras como se observa en la Figura 26, con lo cual los pixeles que se encuentren en ese rango de colores son los que luego se almacenaran y contaran para poder estimar la cantidad de colores que hay de amarillo y naranja en la imagen.

47

Como se mencionaba anteriormente con los colores separados por clusters y posteriormente filtrados por las máscaras se procede a contar la cantidad de pixeles que hay en la imagen.

Figura 27 Plantas de caléndula fresca

Fuente: elaboración propia Figura 28 Resultado del conteo de pixeles caléndula fresca

Fuente: elaboración propia Como se puede observar al cargar una imagen de caléndula fresca el algoritmo detecta los colores y cuenta la cantidad de pixeles que hay, ver Figura 27 y 28, también se aprecia que en concordancia con lo anteriormente mencionado al ser una planta fresca y conservar la mayor cantidad de agua es una planta que está en las mejores condiciones para la extracción de aceites, y en el resultado del algoritmo se puede ver la correcta clasificación según su calidad.

48

Figura 29 Plantas de caléndula deshidratada


Figura 30 Resultado del conteo de pixeles caléndula deshidratada


También se hizo una prueba con las plantas de caléndula que ha perdido líquidos, por lo cual las plantas que se encuentran en esta condición son mucho mejor para el proceso de tisana como ya se había mencionado antes, ver Figura 29 y 30. Por último, en los procesamientos de visión artificial normalmente se realizan operaciones morfológicas, se basan en operaciones de teoría de conjuntos, dichas operaciones simplifican las imágenes y conservan las principales características como la forma de los objetos. Comúnmente las operaciones morfológicas son utilizadas para el Pre-procesamiento de imágenes (supresión de ruidos, simplificación de formas), para hacer cualquier transformación morfológica se necesitan dos variables: la máscara original (imagen a procesar) y un kernel (matriz de convolución), el kernel es un arreglo pequeño lleno de valores. Según sea el caso, existen dos principales operaciones dentro de la morfología, que son la erosión y la dilatación, la erosión en imágenes binarias elimina los pixeles de los contornos de los objetos presentes, y la dilatación en imágenes binarias agrega pixeles a los contornos de los objetos presentes en la imagen, cuando se combinan estas dos operaciones se tendrán dos resultados, el opening (apertura=Erosión + Dilatación) y el closing (cierre= Dilatación + Erosión), para este caso se utiliza el opening, pues se quiere hacer un

49

preprocesamiento eliminando la mayor cantidad de ruido en la imagen. Dicho esto, se utilizan operaciones morfológicas para disminuir el ruido en la imagen, con la finalidad de poder conservar las principales características de objetos, en este caso se usa para detectar algún tipo de insecto que ingrese al sistema y poder descartarlo en el proceso como se puede apreciar en la Figura 31.

Figura 31 Inspección de insecto


9.2 RED NEURONAL MULTICAPA (MLP)

Una MLP o Multi Layer Perceptrón es una red neuronal que conecta múltiples capas en un gráfico dirigido, lo que significa que la ruta de la señal a través de los nodos solo va en una dirección. Cada uno, además de los nodos de entrada, tiene una función de activación no lineal. Las redes MLP utilizan una propagación inversa como una técnica de aprendizaje supervisado, dado a las múltiples capas de neuronas que se tienen (ver Figura 32).

Las MLP son utilizadas para resolver problemas que requieren de aprendizaje supervisado, como las investigaciones en neurociencia computacional y el procesamiento distribuido paralelo, las aplicaciones incluyen reconocimiento de voz, reconocimiento de imágenes y traducción automática.

50

Figura 32 Red MLP con 3 neuronas en la capa de salida


Se plantea trabajar con una estructura de red MLP con datos estadísticos que son suministrados por las imágenes capturadas en el proceso anterior, se toma cada una de las imágenes y se emplea el método utilizado para el procesamiento de imágenes por segmentación de colores kmeans, este crea una cantidad de clusters (4) a los cuales se les asignaran la cantidad de pixeles por grupo, al tener estos datos se van a guardar en un block de notas para luego ser utilizados en el entrenamiento de la red MLP.

Para cada una de las clases se le debe realizar este proceso sacando así los datos necesarios para suministrarlos a la nueva red. En este caso se utilizó por un banco de 70 imágenes, por último, los datos son guardados en un archivo de texto para luego poder utilizarlos. Finalmente se obtienen unos datos como se puede observar en la Figura 33.

51

Figura 33 Datos de entrenamiento

Fuente: elaboración propia Ahora se procede a entrenar la red, los datos de entrada van a ser los diferentes vectores de valores obtenidos por el procedimiento anterior de donde se sacan 4 datos, los cuales van a ser la entrada de la red y su salida serán alguna de las 3 clases enseñadas como se puede ver más adelante en los resultados de la red neuronal MLP.

9.3 RED NEURONAL CONVOLUCIONAL

Para el algoritmo de red neuronal convolucional se optó por utilizar una red Smartvgg, dicha red es un derivado de la red vgg16 y vgg19 que se caracterizan por su simplicidad, utilizando solo capas 3x3 convolucionales apiladas una sobre la otra a mayor profundidad.

La capa convolucional tiene 32 filtros con un núcleo de 3x3. Con un paso de 1 se utiliza una función de activación RELU seguida de la normalización. La capa POOL usada en el presente proyecto tiene un tamaño de 3x3 para reducir rápidamente las dimensiones espaciales; se realizan otras dos capas con la misma estructura, solo se modifica el tamaño del filtro de 32 a 64 y de 64 a 128 cuando más se profundiza en la red. Las entradas a la red convolucional tiene una dimensione espaciales de entrada 96x96x3, y se utiliza un optimizador de Adam con decaimiento de velocidad

52

de aprendizaje para luego compilar el modelo con entropía cruzada categórica ya que se tienen más de 2 clases.24

A la hora de realizar una red neuronal convolucional se deben tener varios aspectos en cuenta, uno de ella es la adquisición de imágenes para la construcción de conjuntos de datos para el aprendizaje profundo, lo que comúnmente se llama dataset, para ello se realizan diferentes fotos de la imagen a entrenar tratando de que no queden iguales, después de tener cierta cantidad de imágenes se realiza un programa en donde se aumenta la cantidad de imágenes para tener un dataset más variado, se giran las imágenes y se les aplican diferentes filtros, por último se guarda cada uno de esos procedimientos para así tener un banco de imágenes mayor.

Figura 34 Datasets caléndula

Fuente: elaboración propia El conjunto de datos de aprendizaje profundo para este caso consta de 977 imágenes por clase, el objetivo es formar una red neuronal convolucional utilizando keras, junto con el aprendizaje profundo para reconocer y clasificar cada uno de estas clases. Las clases que se reconocen son diferentes tipos de flores en este ejemplo se usa la caléndula:

24 ROSEBROCK, adrian. Multilayer clasification with keras. [En linea]. pyimagesearch. [consutldo15 de marzo de 2017] . Disponible en internet: https://www.pyimagesearch.com/2018/05/07/multi-label-classification-with-keras/

53

Fresca (clases Proceso_1, 977 imágenes) pasadas unos días (clase proceso_2, 977 imágenes) Con un insecto o enfermedad (clase proceso_3, 977 imágenes)

Como se realizó un proceso de adquisición y aumentación de los datos hay una combinación diversa de imágenes para el entrenamiento que permitirá que nuestra CNN reconozca las tres clases de caléndula en una variedad de imágenes, con dicho entrenamiento se obtuvo una precisión de clasificación del 98%.

Se pude observar en la Figura 34 los datos de entrenamiento realizado con las imágenes obtenidas anteriormente.

Figura 35 Entrenamiento de la red


Observando los resultados del script de entrenamiento, Figura 35, se observa que se obtuvo una precisión de clasificación del 98%. Hay que tener en cuenta que todo lo anteriormente mencionado se realiza en un computador, más no en la raspberry, ya que a la hora de entrenar la red demanda mucho procesamiento, lo que la raspberry pi 3 no puede soportar, por ello se opta por entrenar la red en un computador para luego pasar los datos de la red entrenada a la raspberry pi 3. Los diferentes comandos de instalación, para implementar la red en la raspberry se puede observar en los anexos.

Ya con la red entrenada y funcionando en la raspberry pi 3 se procede a ingresar imágenes de cada una de las clases para comprobar la clasificación. Ver ilustraciones 36, 37 y 38.

54

Figura 36 Caléndula para proceso de extracción de aceite


Figura 37 Caléndula para proceso de tisana


Figura 38 Caléndula para proceso de desecho


Como se observa en las ilustraciones anteriores la red le da una etiqueta a cada una de las clases, que corresponden de la siguiente manera: 0 para proceso de extracción de aceites (ver Figura 36), 1 para proceso de tisana (ver Figura 37) y 2 para desecho (ver Figura 38). El anterior procedimiento se realiza de igual manera

55

para el hinojo, lo único que se modifica son los parámetros de configuración de imagen como se podrá observar en el GUI de configuración en la Figura 40.

56

10. DESARROLLO DEL APLICATIVO PARA INTERACCIÓN HOMBRE MAQUINA

El desarrollo del aplicativo dentro del sistema embebido se realiza con el paquete estándar de GUI (interfaz gráfica de usuario) de Python llamado tkinter, para su implementación es necesario instalar una serie de paquetes los cuales pueden ser observados en el ANEXO.

Dentro de este proyecto se utilizaron dos interfaces donde una se encarga del funcionamiento de la maquinaria y el otro es insumo para la generación de los algoritmos a utilizar, en este apartado se mostrará las aplicaciones funcionando en la Raspberry Pi, en esta se observarán capturas las dos interfaces realizadas, viendo así la funcionalidad de cada una.

Con el primer aplicativo se generó una interfaz en donde el usuario observara las capturas en tiempo real del proyecto y su etiqueta de salida, como se puede observar en la siguiente Figura, en esta se muestra el título del proyecto, los logos de la universidad, la ventana de la imagen, etiqueta de salida, nombre de semilleros con ponentes. Ver Figura 39.

Figura 39 Interfaz de clasificación


57

Con el segundo aplicativo se genera una interfaz en donde el usuario interactúa con la configuración de los datos de entradas, que a su vez son utilizados para el entrenamiento de los diferentes algoritmos, según se muestra en la siguiente Figura, sus componentes son el título, los logos de la universidad, nombres de semilleros con ponentes, ventana de video, usuario y contraseña, si no se cuenta con estos dos últimos mencionados no se podrá modificar los valores pues los sliders de configuraciones estarán deshabilitados y ellos son posibilitan las variaciones de valores del video en tiempo real, adicionalmente se encuentra el botón de captura de imagen, botón de iluminación que activa o inactiva la luz interna de la cabina, finalmente se encuentra el botón de configuración encargado de subir los valores de los sliders para configura.

Figura 40 Interfaz de configuración


58

11. RESULTADOS Y DISCUSIONES

Como se mencionó en el apartado 11, se realizan diferentes procedimientos para lograr un mismo fin que es la categorización de las plantas medicinales, luego se seleccionara un pseudocódigo como principal del proyecto que cumpla con las expectativas de tener mayor precisión que a su vez generar en menor tiempo la compilación de imagen; para generar estos datos se utilizan dos herramientas internas dentro del programa Python una se encargara de medir el tiempo de ejecución “librería Time” y para la otra se utilizara una herramienta llamada matriz de confusión la cual permite la visualización del desempeño de un algoritmo. Más adelante se hablará sobre las clases y categorías, cuando hablamos de clases nos referimos a caléndula e hinojo, a su vez estas se pueden categorizar en tres procesos, dependiendo de su estado (PROCESO1: extracción de aceites, PROCESO2: tizana, PROCESO3: Desecho).

11.1 CLASIFICACIÓN DE LAS CLASES DE PLANTAS MEDICINALES

Como se menciona en el titulo once, se generan diferentes algoritmos para la clasificación de las plantas a trabajar, cada uno de los procedimientos mencionados se les obtuvieron como resultados matrices de confusión del método correspondiente; las etiquetas son C y H (caléndula e hinojo, respectivamente). (ver ilustraciones 41, 42 y 43)

Figura 41 Matriz de confusión para la clasificación utilizando segmentación (Kmeans) de imágenes


59

Figura 42 Matriz confusión para la clasificación utilizando red MLP


Figura 43 Matriz confusión para la clasificación utilizando red convolucional


Al ver los resultados ofrecidos por las matrices (Kmeans = 61.66%, MLP = 48,33%, CNN = 85%) se puede observar que la implementación con segmentación y red convolucional tiene un mayor porcentaje en la precisión.

11.2 CLASIFICACION DE LAS CATEGORIAS UTILIZANDO PROCESAMIENTO DE IMÁGENES

Al igual que en la clasificación de las clases de plantas se utilizan los algoritmos propuestos para catalogar las categorías de cada una de las matas. Los resultados obtenidos a la hora de implementar este algoritmo muestran que la utilizar de los colores en escala HSV en conjunto con las operaciones morfológicas generan

60

resultados precisos, fiables y repetibles para la detección de la calidad de las plantas. No obstante, el tiempo que se genera es de 3 segundos de la implementación por captura, este lapso es alto debido al agrupamiento de los diferentes pixeles de colores integrados en la imagen capturada. A continuación, se pueden observar las matrices de confusión para cada una de las plantas (caléndula, hinojo), en donde los PR son los procesos de clasificación de cada uno (PR1 proceso de extracción de aceites, PR2 proceso de tizana, PR3 proceso desecho).

Figura 44 Matriz de confusión caléndula con segmentación (Kmeans) de imágenes

Fuente: elaboración propia Figura 45 Matriz de confusión hinojo con segmentación (Kmeans) de imágenes


61

Como se puede observar en la Figura 45, el algoritmo tuvo una exactitud del 80% en donde clasifico bien 48 de 60 imágenes suministradas, y en la Figura 45, tuvo una exactitud del 83.33% clasificando bien las 50 imágenes, esto se debe a la diversidad de tonalidades existente en las plantas.

11.3 CLASIFICACION DE LAS CATEGORIAS CON RED NEURONAL MLP

Para lograr resultados con esta red se trabajó con las imágenes adquiridas en el algoritmo anterior, en este se implementa a cada imagen obtenida un preprocesamiento de un histograma utilizando clusters de Kmeans, en cual para cada intervalo se le asigna un color, el tiempo de la implementación por captura es de 2 segundo; no obstante, la clasificación de las imágenes es más variable entre ellas. Del mismo modo se pueden observar las matrices de confusión para cada una de las plantas (caléndula, hinojo), en donde los PR son los procesos de clasificación de cada uno (PR1 proceso de extracción de aceites, PR2 proceso de tizana, PR3 proceso desecho).

Figura 46 Matriz de confusión caléndula con red MLP


Como se puede observar en la Figura 46, el algoritmo tuvo una exactitud del 53.33% en donde clasifico bien 32 de 60 imágenes suministradas.

62

Figura 47 Matriz de confusión hinojo con red MLP


Como se puede observar en la Figura 47, el algoritmo tuvo una exactitud del 54.36% en donde clasifico bien 34 de 60 imágenes suministradas.

11.4 CLASIFICACION DE LAS CATEGORIAS CON RED CONVOLUCIONAL

A la hora de implementar esta red y obtener buenos resultado se buscó que en la Raspberry Pi se pudieran utilizar, siendo así una red con estructura pequeña y compacta. Esta red es igualmente entrenada con los datos validados en los procesos anteriores, dándole más funcionalidad al proyecto, hay que resaltar que el tiempo transcurrido en la implementación de esta red es de 1,8 segundos por captura, de manera similar se pueden observar las matrices de confusión para cada una de las plantas (caléndula, hinojo), en donde los PR son los procesos de clasificación de cada uno (PR1 proceso de extracción de aceites, PR2 proceso de tizana, PR3 proceso desecho).

63

Figura 48 Matriz de confusión caléndula con red convolucional


Al observar la Figura 48, el algoritmo tuvo una exactitud del 90% en donde clasifico bien 54 de 60 imágenes suministradas.

Figura 49 Matriz de confusión hinojo con red convolucional

0


En la Figura 49, el algoritmo tuvo una exactitud del 81.66% en donde clasifico bien 49 de 60 imágenes suministradas.

64

12. CONCLUSIONES

Este documento presenta el desarrollo de un sistema de visión artificial, que permitirá a la industria comercializadora de plantas medicinales y aromáticas implementar un método no invasivo con el cual es posible inspeccionar y clasificar las hojas de acuerdo a su estado de madurez, simulando la percepción de una persona, con la ventaja competitiva de realizar el proceso de inspección sin inconsistencias debidas a la fatiga o subjetividad del operador humano.

La raspberry pi 3 puede ser en algunas aplicaciones una muy buena opción gracias a su bajo costo y versatilidad con gran cantidad de softwares, pero cuando se utilizan redes neuronales se debe escoger muy bien el tipo a usar, ya que la raspberry pi 3 no está optimizada para este tipo de aplicaciones y puede resultar tedioso la instalación de algunas librerías para el correcto funcionamiento. En los diferentes algoritmos utilizados se puede observar que con una red neuronal convolucional previamente entrenada, los tiempos en la clasificación se reducen de manera sustancial en comparación con los otros algoritmos.

Otra parte muy importante del proyecto es poder adquirir imágenes con la mejor calidad y en las mismas condiciones de luz, lo que garantiza una buena toma de imágenes, ayudando a procesamiento de las mismas y poder tener mejores resultados en las decisiones, por consiguiente, se debe evitar tener vibraciones dentro de la cabina para tomar las imágenes de la mejor manera, ya que dichas vibraciones pueden alterar las imágenes lo que ocasiona resultados erróneos.

Por último, el utilizar software libre da la posibilidad de compartir, modificar y estudiar códigos en una comunidad de programadores, esto ayuda a que la información sea más sencilla de encontrar, y lograr que más personas puedan tener acceso a ella de forma gratuita.

65

13. RECOMENDACIONES

Se recomienda un sistema embebido como la jetson tk1, el cual es usado para el procesamiento de imágenes y es implementación con redes neuronales, pues este sistema genera mayor rapidez para la realización de entrenamiento y proceso de clasificación.

Se recomienda aislar los sensores de barrera fotoeléctrica que se han utilizados, debido a que estos son sensibles a la luz y ello puede dar lugar a errores, lo que sucedió en su momento, pues se generó luz en dirección a los sensores dando lugar a fallas.

Es importante que al iniciar el proceso de clasificación se seleccione una cámara con buena resolución y amplias configuraciones, teniendo en cuenta la compatibilidad de esta con el sistema embebido a utilizar.

Se sugiere que al instalar el sistema de captura de imagen este no tenga influencia de fuentes de vibración.

Se recomienda establecer patrones por cada especie a utilizar dentro del proceso mediante la herramienta suministra.

66

BIBLIOGRAFIA

ALONSO, Antonio. et al. Procesamiento de imágenes. [En línea]. Biblioteca digital. México. 1997. [Consultado el 18 de Marzo de 2017]. Disponible en internet:http://bibliotecadigital.ilce.edu.mx/sites/ciencia/volumen2/ciencia3/084/htm/sec_2.htm.

ANGEL, Juan Gonzalo. Producción y comercialización de hierbas aromáticas – TvAgro por Juan Gonzalo Angel [video]. Tabio Cundinamarca (Colombia): YouTube, TvAgro. (29 de marzo de 2016). [Consultado: 22 de agosto de 2018]. Disponible en Internet: https://www.youtube.com/watch?v=1Zz3LSCzidQ

BETANCOURT, diego. Sistema de visión por computador para detectar hierba no deseada en prototipo de cultivo de frijol usando ambiente controlado. [En línea]. Trabajo de grado ingeniería Bogotá: Universidad Católica De Colombia Facultad De Ingeniería Programa De Ingeniería Electrónica Y Telecomunicaciones [Consultado el 20 de Marzo 2017]. Disponible en internet: http://repository.ucatolica.edu.co/bitstream/10983/1690/1/TRABAJO%20DE%20GRADO.pdf

CAMBRONERO, Cristina García. Et al. Algoritmos de aprendizaje. [En línea]. It.uc3m.es. Madrid. 2006. [Consultado el 18 de Marzo de 2017]. Disponible en internet: http://www.it.uc3m.es/jvillena/irc/practicas/08-09/06.pdf.

CASTRO Dagoberto, et al. [En línea]. Cultivo y producción de plantas aromáticas y medicinales. [Consultado el 19 de abril de 2017]. Disponible en internet: http://www.uco.edu.co/investigacion/fondoeditorial/libros/Documents/Libro%20Plantas%20Aromaticas%202013.pdf.

CIENCIAS. Visión Artificial Aplicada Al Control De La Calidad. [En línea] 3ciencias. [Consultado el 18 de Marzo de 2017]. Disponible en internet: https://www.3ciencias.com/wp-content/uploads/2014/12/VISI%C3%93N-ARTIFICIAL-APLICADA-AL-CONTROL-DE-LA-CALIDAD.pdf.

Colaboradores de Wikipedia. Segmentación (procesamiento de imágenes) [en línea]. Wikipedia, La enciclopedia libre, 2016 [consulta: 24 de marzo del 2017]. Disponible en https://es.wikipedia.org/w/index.php?title=Segmentaci%C3%B3n_(procesamiento_de_im%C3%A1genes)&oldid=91179490.

67

COMAS, Diego Sebastián. et al. Segmentación de imágenes mediante reconocimiento de patrones. [En línea]. Sg6671. Argentina. 2014. [Consultado el 18 de Marzo de 2017]. Disponible en internet: http://www.sg6671.com.ar/ecimag2014/c3/ECIMAG2014-Curso-

COLOMBIA. MINISTRO DE LA PROTECCIÓN SOCIAL, et al. Diario Oficial 45.610 Del 15 De Julio De 2004. Decreto Número 2266 De 2004 [En línea].. [consultado el 19 de abril de 2017]. Disponible en internet: https://www.invima.gov.co/images/pdf/productos-fitoterapeuticos/decretos/decreto_2266_2004.pdf

C3_Modulo.pdf.SEBASTIAN, COMAS DIEGO. 2014. sg6671. [En línea] sg6671 2014. [Consultado el: 17 de Marzo de 2017.] http://www.sg6671.com.ar/ecimag2014/c3/ECIMAG2014-Curso-C3_Modulo.pdf.

ECOAGRICULTOR. Caléndula: propiedades medicinales y su cultivo ecológico. [En línea]. .ecoagricultor [Consultado el 3 de Agosto de 2018]. Disponible en internet: https://www.ecoagricultor.com/plantas-medicinales-cultivo-y-usos-de-la-calendula/.

HORTICOM.. Avances En Visión Artificial Para La Inspeccion Automatica De Productos Hortofruticolas. [En línea] horticom [Consultado el 12 de Marzo de 2017]. Disponible en internet: http://www.horticom.com/pd/article.php?sid=74834

KULKARNI Anand.et al. Applying image processing technique to detect plant diseases. [En línea]. researchgate [Consultado el 18 de Marzo de 2017]. https://www.researchgate.net/publication/308953779_Aplying_image_proccessing_technique_to_ detect_plant_diseases

NVIDIA. Jetson TK1. [En línea]. .nvidia [consultado el 30 de agosto de 2018]. Disponible en internet: https://www.nvidia.com/object/jetson-tk1-embedded-dev-kit.html

MRUNALINI Badnakhe.et al. An Application of K-Means Clustering and Artificial Intelligence in Pattern Recognition for Crop Diseases[En línea]. .ipcsit. [Consultado el 18 de Marzo de 2017]. Disponible en internet: http://www.ipcsit.com/vol20/26-ICAIT2011-A4023.pdf

68

PEREZ, jon. Sistemas embebidos. [En línea]. Ikerlan. [Consultado el 18 de Marzo de 2017]. Disponible en internet: http://www.ikerlan.es/es/que-investigamos/sistemas-embebidos

ROSEBROCK, adrian. Multilayer clasification with keras. [En linea]. pyimagesearch [consulta: 24 de marzo del 2017]. Disponible en internet: https://www.pyimagesearch.com/2018/05/07/multi-label-classification-with-keras/

SÁNCHEZ ANZOLA, Nicolás. Máquinas de soporte vectorial y redes neuronales artificiales en la predicción de movimiento USD/COP spot intradiario. [En línea]. ODEON. Colombia. 2016. [Consultado el 18 de Marzo de 2017]. Disponible en internet: http://revistas.uexternado.edu.co/index.php/odeon/article/view/4414/5256

UNIOVIEDO. El algoritmo k-means aplicado a clasificación y procesamiento de imágenes. [En línea]. unioviedo. [Consultado el 3 de Agosto de 2018]. Disponible en internet: https://www.unioviedo.es/compnum/laboratorios_py/kmeans/kmeans.html

UNIVERSIDAD POLITECNICA DE VALENCIA. Desarrollo De Un Sistema De Visión Artificial Para El Control Eficiente De Pulverizadores De Cera En El Tratamineo Pos-Cosecha De La Fruta. [En línea]. horticom [Consultado el 3 de Marzo de 2017]. Disponible en internet: http://www.horticom.com/pd/imagenes/76/144/76144.pdf

UNIVERSIDAD POLITÈCNICA DE VALENCIA. Raspberry pi. [En línea]. Histinf. [Consultado el 18 de Marzo de 2017]. Disponible en internet: http://histinf.blogs.upv.es/2013/12/18/raspberry-pi/

VIX. Propiedades medicinales del hinojo. [En línea] vix [Consultado el 3 de Agosto de 2018]. Disponible en internet: https://www.vix.com/es/imj/salud/2010/05/29/propiedades-medicinales-del-hinojo.

69

ANEXOS

Anexo A. Requisitos PC

Para poder trabajar con redes neuronales con programación abierta (open source) y además de querer trabajar en un sistema embebido que no tenga GPU, se deberá primero entrenar la red en un computador y luego si verificar cómo se puede implementar en el sistema embebido, pero primero que todo se debe realizar el acondicionamiento para su uso, la instalación de las librerías.

Ahora se procede a instalar los diferentes complementos que se necesitan:

1. Descargar el software Anaconda en su versión para Python 3.6 desde el sitio web oficial: https://www.anaconda.com/download/

2. Ejecutar el instalador siguiendo los pasos del asistente de instalación.

3. Una vez instalado Anaconda, ejecutar anaconda prompt.

Figura 50 Prompt de anaconda

Fuente: Propia

4. Con el prompt de anaconda abierto, se ejecuta el siguiente comando para

crear un ambiente con el nombre: tensorflow. C:> conda create -n tensorflow pip Python=3.5

5. Después de crear el ambiente, se debe activar con el siguiente comando: C:> activate tensorflow Con el cual el prompt deberá cambiar observándose de la siguiente manera:

https://www.anaconda.com/download/

70

Figura 51 Activación del tensorflow

Fuente: Propia

6. Se procede a instalar tensorflow con el siguiente comando, se escribe sobre

la línea del prompt anterior: C:>pip install --ignore-installed --upgrade tensorflow

7. Una vez instalado tensorflow, se debe realizar la validación de la instalación. Para esto se debe cerrar el prompt de anaconda y abrirlo nuevamente. Paso seguido se debe activar el ambiente creado en el paso 4 y 5, abrir Python y realizar el código de prueba. C:> activate tensorflow (tensorflow)C:> python Import tensorflow as tf Hola=tf.constant(‘hola mundo tensorflow!’) Sess=tf.Session() print(Sess.run(Hola))

8. Instalación de la librería scikit-learn, opencv, matplotlib: Para instalar estas librerías nos debemos ubicar en el ambiente de tensorflow creado en los pasos 4 y 5. Una vez allí ejecutamos el comando: (tensorflow)C:> conda install -c anaconda scikit-learn Y seguimos los pasos de instalación aceptando todas las preguntas durante el proceso de instalación. Ahora proseguimos con matplotlib: (tensorflow)C:> conda install -c conda-forge matplotlib Seguimos los pasos de instalación para completarla. Y por último instalamos opencv (tensorflow)C:> conda install -c conda-forge opencv Aceptamos todos los términos y seguimos hasta terminar la instalación.

71

9. Instalación del IDE spyder. Para este caso de igual forma se sigue el mismo

procedimiento que en los pasos anteriores. Ubicándose en el ambiente de tensorflow, ejecutar el siguiente comando: (tensorflow)C:> conda install -c anaconda spyder. Ahora procedemos a instalar los diferentes complementos que se necesitan a la hora de utilizar una red neuronal en un sistema embebido, ya que ellos tienen una arquitectura diferente en este caso como se utiliza una Raspberry py tiene una arquitectura armv7l y para su implementación de redes convoluciones se tuvo que usar un repositorio de tensorflow que es keras, Como se ha mencionado antes, en los sistemas embebidos (Raspberry Pi) no es adecuado para entrenar una red neuronal. Sin embargo, la Raspberry Pi se puede utilizar para implementar una red neuronal una vez que ya se haya entrenado (siempre que el modelo pueda caber en una huella de memoria lo suficientemente pequeña).

10. Instalación de numpy, h5py, imutils, scipy y keras estas librerías nos ayudaran a que todo funcione de manera correcta, además de que esta parte se va a necesitar de nuevo, pero no va a ser en el computador si no en el sistema embebido (Raspberry pi 3): (tensorflow)C:> pip install numpy (tensorflow)C:> sudo apt-get install libhdf5-serial-dev #solo raspberry pi (tensorflow)C:> pip install h5py (tensorflow)C:> pip install pillow imutils (tensorflow)C:> pip install scipy # en raspberry se debe utilizar conda install scipy (tensorflow)C:> pip install keras==2.1.5

72

Anexo B. Requisitos Rasberry

Todo lo que se ha realizado hasta ahora es para el uso de una red neuronal en un computador, pero al final lo que se va a necesitar es implementarlo en una Rasberry pi, por lo cual también hay que adecuarla, ahora procedemos a su realización.

a) Para poder trabajar directamente en la Raspberry pi 3 se debe acondicionar para su debido uso, por lo cual se le instala un sistema operativo Raspbian desde la página del proveedor https://www.raspberrypi.org/downloads/ en ella podemos descargar el archivo necesario para botear una SD Card en la cual estará cargada toda la información. Al insertar la SD en la ranura de la Raspberry se inicia el sistema operativo y se inicia un escritorio de trabajo como se puede observar en la siguiente imagen:

Figura 52 Escritorio de una Raspberry pi con raspbian

Fuente: propia

b) Ahora para poder realizar un debido procesamiento de imágenes se debe

realizar la instalación de pip, opencv, matplotlib, numpy los cuales son herramientas de trabajo. Después de varios intentos por diferentes métodos los cuales ocasionaban diferentes problemas al cargar las librerías, se encontró un método fiable y fácil para su instalación, el cual será descrito en este documento: Para la instalación de todas las librerías se debe primero abrir la ventada de cmd para poder ingresar los diferentes comandos, se debe primero verificar que este actualizada

73

-sudo apt-get update Ahora proseguimos con la instalación de pip con el comando: -sudo apt-get install python-pip Nota: Tener cuidado con las mayúsculas. Seguimos con la instalación de opencv con el comando: -sudo apt-get install python-opencv El siguiente paso es instalar matplotlib y numpy: -sudo pip install numpy -sudo pip apt-get install matplotlib

c) Ahora se procede a instalar los complementos necesarios para el uso de tensorflow en conjunto con keras, como se menciona antes la Raspberry tiene una arquitectura armv7l por lo cual se debe tener una instalación especial para su uso, se debe descargar tres archivos tensorflow, berryconda y miniconda. Adjunto links donde se pueden descargar los archivos: https://github.com/samjabrahams/tensorflow-on-raspberry-pi/releases/download/v1.1.0/tensorflow-1.1.0-cp27-none-linux_armv7l.whl https://github.com/jjhelmus/berryconda https://repo.continuum.io/miniconda/ Ahora se instalan cada uno de los archivos descargados desde el cmd de Rasbian, se puede realizar dos cosas uno crear un entorno virtual o instalarlo sin el entorno las dos opciones son buenas, en nuestro caso se instalará sin el entorno: para los archivos whl que son los de la Raspberry nos dirigimos a donde tengas el archivo, en mi caso lo tengo en el escritorio. - C:> cd Desktop - C:> sudo pip install tensorflow-1.1.0-cp27-none-linux_armv7l.whl Nota: si se presentan algún tipo de problema omitir el sudo. Se aceptan todos los términos y se prosigue con la instalación hasta que termine, en este caso se puede verificar la instalación como se realizó en el computador en el paso 7. Ahora se instalará miniconda y berryconda. - C:> cd Desktop

https://github.com/samjabrahams/tensorflow-on-raspberry-pi/releases/download/v1.1.0/tensorflow-1.1.0-cp27-none-linux_armv7l.whl

https://github.com/samjabrahams/tensorflow-on-raspberry-pi/releases/download/v1.1.0/tensorflow-1.1.0-cp27-none-linux_armv7l.whl

https://github.com/jjhelmus/berryconda

https://repo.continuum.io/miniconda/

74

- C:> bash Miniconda3-latest-Linux-armv7l.sh - C:> bash Berryconda2-2.0.0-Linux-armv7l.sh Con las librerías instaladas se terminar con la instalación de keras para el uso óptimo de redes CNN, este es el paso 10 de la instalación de CP. El cual se realiza la instalación de numpy, h5py, imutils, scipy y keras: C:> pip install numpy C:> sudo apt-get install libhdf5-serial-dev C:> pip install h5py C:> pip install pillow imutils C:>conda install scipy C:> pip install keras==2.1.5 Es muy importante que se instale Keras versión 2.1.5 para la compatibilidad con TensorFlow 1.1.0. Para poder desarrollar la interfaz de en la raspberry es necesario utilizar el siguiente código. C:> Sudo apt-get install python-tk