Esta obra está bajo una licencia de Creative

Commons Reconocimiento-CompartirIgual

4.0 Internacional.

TRADUCTOR DE VÍDEO Y SEÑAS (TRAVID)

JHON ERICK BONILLA BAUTISTA JIMMY JÖEL BARRETO ALBA

JULIAN PEREZ OTAVO

UNIVERSIDAD COOPERATIVA DE COLOMBIA CAMPUS IBAGUÉ ESPINAL

FACULTAD DE INGENIERÍA SISTEMAS IBAGUÉ

2021

2

CONTENIDO

RESUMEN 4

INTRODUCCIÓN 5

1. DESCRIPCIÓN DEL PROBLEMA. 6

2. JUSTIFICACIÓN. 7

3. OBJETIVOS. 8

3.1. OBJETIVO GENERAL. 8

3.2. OBJETIVOS ESPECÍFICOS. 8

4. MARCO TEÓRICO. 9

5. METODOLOGÍA. 11

6. DESARROLLO. 14

7. RESULTADOS 20

7.1. ANÁLISIS DEL PROYECTO 26

8. CONCLUSIONES. 27

9. RECOMENDACIONES. 28

REFERENCIAS 29

3

LISTA DE IMÁGENES

Ilustración 1. Vocales Para Traducir. 11

Ilustración 2. Prototipo de la Aplicación. 14

Ilustración 3. Menú único. 15

Ilustración 4. Traductor de la lengua de señas a texto. 16

Ilustración 5. Traductor de texto a la lengua de señas. 17

Ilustración 6. Traducción de la captura de las vocales a texto con imagen. 18

Ilustración 7. Traducción de texto a la lengua de señas en video. 19

Ilustración 8. Toma de pruebas de la lengua de señas vocal A. 20 Ilustración 9. Toma de pruebas de la lengua de señas vocal E. 21 Ilustración 10. Toma de pruebas de la lengua de señas vocal I. 22 Ilustración 11. Toma de pruebas de la lengua de señas vocal O. 23 Ilustración 12. Toma de pruebas de la lengua de señas vocal U. 24

4

RESUMEN En la actualidad, el mercado exige ingenieros de sistemas de alta calidad, con las competencias necesarias para el desarrollo de software, bases de datos y demás conocimientos que incorpore esta carrera. Se observa en el programa de Ingeniería de Sistemas de la Universidad Cooperativa de Colombia, como los estudiantes perciben día a día a la sociedad inmersa en la tecnología gracias a la formación profesional, y su plan de estudio el cual se ha adquirido durante los últimos cinco años. Esto ha ayudado a simplificar muchas tareas que muchas veces se creen complejas. Pero en el área de las inclusiones (ODS 10), y especialmente en el área de las personas con discapacidad auditiva, existen espacios importantes para generar desarrollos que aporten a la inclusión de esta población. Esta problemática se presenta en un contexto sociopolítico que existe actualmente, donde las personas con discapacidad auditiva por falta de canales de comunicación no son tomadas muchas veces en cuenta y son exiliadas del desarrollo social donde deben estar incluidas. Se ha visto que en la sociedad actual las personas con discapacidad auditiva son muy poco incluidas en el desarrollo de la sociedad, y no cuentan con medios y alternativas para poder interactuar con las personas oyentes. Para mitigar parte de esta situación se propone crear un aplicativo, el cual por medio del reconocimiento de imágenes se traducirá la lengua de señas a texto, basándose en los algoritmos de reconocimiento de imágenes que utiliza el software Matlab. Se realizaron 160 pruebas de cada una de las cinco vocales, estas pruebas constan de veinte partes distintas, en las cuales en cada una de ellas se varió diferentes aspectos como lo son lejos, cerca, con guante blanco, con la mano izquierda y derecha, esta toma de muestras se plasmó en diferentes gráficas para así tener resultados porcentuales de acierto. Unos aspectos importantes a tomar son que la vocal A resultó en una variación a diferencia de otras vocales, esta variación consta de que nuestro aplicativo pudo reconocer mucho más fácil está vocal seguido de la vocal E, ya que estas son similares y en otros casos menores reconoció la I, O y U, la vocal E se identificó con un resultado bueno dando todos los 160 intentos de esta, en la vocal I se identificó una variación entre la I, E y U, donde la mayoría fue la I, en la vocal O dio como resultados I, E y O donde la mayor parte fue de la vocal o y de la vocal U nos dio las vocales E, I, A y U donde la u fue la mayor traducción

5

INTRODUCCIÓN “La discapacidad auditiva se define como la pérdida o anormalidad de la función anatómica y/o fisiológica del sistema auditivo, y tiene su consecuencia inmediata en una discapacidad para oír, lo que implica, entre otros, un déficit en el acceso al lenguaje oral (FIAPAS, 2013).” El desarrollo de este trabajo es motivado por la necesidad de innovación al implementar un nuevo canal de comunicación entre las personas oyentes con personas que presente una discapacidad auditiva e inversamente, y así poder entablar una comunicación, “ya que este proceso de transmisión e intercambio de mensajes entre un emisor y un receptor (Delgado, 2013)”, este ayuda a relacionarse con diversas personas, se puede realizar ya sea, por texto, con signos, con imágenes y con señas. En la actualidad la persona con discapacidad auditiva sólo cuenta con canales comunicativos muy básicos como es la lengua de señas. “es una lengua que, como cualquier otra, posee y cumple todas las leyes lingüísticas y se aprende dentro de la comunidad de usuarios a quienes facilita resolver todas las necesidades comunicativas y no comunicativas propias del ser humano, social y cultural. (Pérez, 2011)”, ya sea con otro individuo con esta dificultad o con un oyente que sepa de esta lengua. “Las discapacidades auditivas surgen, por la aplicación de un mal medicamento o tratamiento, por el pasar de los años, por estar en entornos con ruido exuberantes, genéticas, congénitas como las prenatales, perinatales, entre muchas otras, que surgen y pueden dejar a la persona con una pérdida total de la audición (Quiroga, 2017)”. La investigación de esta problemática se realizó por el interés de ayudar aquellas personas con cualquier discapacidad auditiva, para poderse comunicar con las personas oyentes, entablar una mejor relación y poder solucionar problemas mutuamente. Con la generación de contenidos de multimedia que estén enfocados a la enseñanza de la lengua de señas, es de gran importancia para la población con discapacidad auditiva, su aprendizaje que apoya el desarrollo cognitivo de la persona sorda y establece un mecanismo por el cual se generan canales de comunicación con su medio, por esto es de gran relevancia el fortalecimiento constante de la misma, esto permite aumentar la confianza de los individuos, además de ser un apoyo vital para la mejora de sus procesos.

6

1. DESCRIPCIÓN DEL PROBLEMA. En la ciudad de Ibagué, las personas con limitación auditiva se ven forzadas a relacionarse con personas oyentes, y estas al no saber comunicarse por medio de la lengua de señas, no se genera una conversación estable, ni se podrá tener una comunicación fluida a comparación de como si estuvieran relacionándose entre personas con esta limitación, para analizar esta problemática es necesario evidenciar sus causas y efectos, entre sus causas está la falta de conocimiento en la lengua de señas por las personas oyentes, baja sensibilización de la población del común, pocos medios de comunicación con las personas que tienen esta discapacidad y poca inversión gubernamental. Los efectos que esto conlleva constan en que las oportunidades laborales son muy escasas, la marginación social tiene a ser mayor y “soportan, a lo largo de sus vidas, el peso de una discriminación silenciosa, pero no por ello menos odiosa y despreciable que otras formas de discriminación (Sourdis, 2001)”, pierden importancia en la sociedad hasta el punto de llegar a no ser tomadas en cuenta en participaciones ciudadanas. “Estas personas cada vez que necesitan comunicarse con alguien que no posee esta limitación, deberá recurrir a medios más complejos para su mejor entendimiento (Schlesinger, Namir, Blanton, 1978)”. “Esto sucede ya que la totalidad de las personas sin esta discapacidad, no les interesan en aprender la lengua de señas o relacionarse con personas con dicha discapacidad, porque no tiene algún interés o porque no necesitan de alguien que tenga esta discapacidad (García Gámez & Gutiérrez Cáceres, 2012)”, “con el lenguaje de señas se abrió paso a través de los años y las familias se enfrentaron al reto de aprender a señalar con sus manos para comunicarse efectivamente con sus parientes sordos (Melo, 2014)” haciendo esto una comunicación más efectiva con las personas con quien convive.

7

2. JUSTIFICACIÓN. El desarrollo propuesto en este proyecto ofrece una alternativa de comunicación entre las personas oyentes y las personas con alguna discapacidad auditiva. Teniendo esto en cuenta sabemos que, hoy en día la mayor parte de la sociedad colombiana no se preocupa por las personas con limitaciones, discapacidades o inhabilidades auditivas y del habla. La sociedad colombiana, no tiene la sensibilización o interés hacia las comunidades que sufren de estas limitaciones, ya que la mayoría no conviven con alguien que presente esta discapacidad, o no tienen ningún interés de por medio, y las organizaciones que actualmente luchan por la inclusión social llegan a ser muy pocas y los esfuerzos existentes que intentan dar apoyo a estas comunidades vulnerables no son muy tenidos en cuenta por la sociedad. Por este motivo y la necesidad de comunicación, se implementa una metodología haciendo uso de la tecnología; ya que con el crecimiento y evolución tecnológica se desarrollan nuevas herramientas que están enfocadas a al mejoramiento comunicativo y para esta población pueda de alguna manera comunicarse con las personas que no tienen esta o alguna limitación y de igual forma se integran en la sociedad obteniendo así un beneficio mutuo, “esta es conocida como tecnologías de apoyo o tecnologías de asistencia (Cercone & Naruedomkul, 2013).” Esto es posible gracias a los avances tecnológicos como por ejemplo los traductores de idiomas y/o las cámaras que analizan la imagen y capta cualquier movimiento o gesto para su posible desarrollo o solución. Finalmente, “debido a que las personas con discapacidad auditiva tienen dificultades para interactuar y poderse comunicar con las personas oyentes, es importante dar a conocer los procesos que se dan entre la población discapacitada y oyente para comunicarse entre sí, ya que se podrían generar nuevas dinámicas en los canales de comunicación (Jensen & Øvad, 2016).” Por eso, este proyecto beneficia a la sociedad y especialmente a los individuos con problemas auditivos y de habla, favoreciendo a las diferentes comunidades de la ciudad de Ibagué y posteriormente a cualquier país y/o sociedad que desee implementarlo.

8

3. OBJETIVOS. 3.1. OBJETIVO GENERAL. Desarrollar una aplicación de escritorio para la traducción de la lengua de señas a video y texto, con el fin de incrementar la inclusión de las personas con discapacidad auditiva, en la ciudad de Ibagué. 3.2. OBJETIVOS ESPECÍFICOS.

• Diseñar un módulo para la traducción de texto al lenguaje de señas.

• Implementar el módulo para la traducción de texto al lenguaje de señas.

• Diseñar un módulo para la traducción y captura del gesto del lenguaje de

señas a texto

• Implementar el módulo para la traducción y captura del gesto del lenguaje de señas a texto.

9

4. MARCO TEÓRICO. “La discapacidad auditiva se entiende como aquella pérdida o anormalidad del sistema auditivo, es decir, tiene una consecuencia inmediata de discapacidad para oír, lo que implica, un déficit en el acceso al lenguaje oral (Lourdes, 2014).” “Por ello, se tiene presente que cualquier trastorno en la percepción auditiva del niño y la niña, a edades tempranas, va a afectar a su desarrollo lingüístico y comunicativo, a sus procesos cognitivos y, consecuentemente, a su posterior integración escolar, social y laboral (FIAPAS, 2013)”. “Otro término utilizado es la hipoacusia o mejor conocido como discapacidad auditiva, este término se refiere a la pérdida de la capacidad auditiva parcial y no en su totalidad (REV. MED. CLIN. CONDES, 2016).” “La Organización Mundial de la Salud (OMS), reconoce como comorbilidades, la presencia de enfermedades coexistentes o adicionales en relación con el diagnóstico inicial (CAT/Barcelona 2008),” las alteraciones del oído, audición y comunicación dentro del grupo de enfermedades crónicas, debido a su larga duración y lenta evolución; “sus prevalencias son consideradas como un problema de salud pública, debido a que cada día van en aumento y llevan a una discapacidad, siendo más visibles en: la población infantil, porque influyen directamente en el desarrollo cognitivo, emocional, psicosocial y del lenguaje como en la adquisición de la primera lengua. En los adultos postlinguales influyen en el desempeño laboral y social (Ministerio de salud de Colombia 2017).” “Esta deterioro, daño o pérdida de la audición ocurre ya sean por causas biológicas, ambientales, comportamentales, atención de salud, sociales-culturales, económicos, interacción, congénita, hereditaria, sindrómica, infecciosa, ototóxicos, ruido, presbiacusia, entre otros (REV. MED. CLIN. CONDES, 2016)”, existen unas causas por la pérdida auditiva, las principales son: “A) Enfermedades infecciosas y crónicas del oído, B) Enfermedades infecciosas de la infancia como la rubéola, sarampión, parotiditis, meningitis y toxoplasmosis, entre otras, C) Bajo peso al nacer, incompatibilidad sanguínea, hipoxia neonatal, sufrimiento fetal agudo, D). Traumas craneoencefálicos y de oído, E). Exposición a ruidos excesivos y contaminación sonora, F). Uso de sustancias y medicamentos ototóxicos como los aminoglucósidos, G). Presbiacusia (pérdida auditiva durante el envejecimiento) y H) Cerumen impactado o encajamiento de cuerpos extraños (OMS, 2015)”. La OMS reporta que “en el mundo hay 360 millones de personas que poseen problemas de audición, lo que representa un 5,3% de la población mundial, de éstas, cerca de 250 millones presentan pérdida auditiva de moderada a profunda en ambos oídos, un 80% vive en países con bajos y medianos ingresos, un cuarto de las pérdidas auditivas comienza durante la infancia, y de 40 personas que necesitan ayuda técnica auditiva, menos de una la tiene (OMS, 2015).”

10

“Para la comunicación y/o entendimiento con las personas sordas hacia los oyentes y viceversa, a mediados de 1620 en Madrid Juan de Pablo Bonet Inventó, una pedagogía de la lengua para hablantes, sordos y sordomudos (Wikipedia)”, en el año 1960 William Stokoe, fue el primer estudioso de la lengua de señas norteamericana que acercó el estudio de esta a la lingüística, al demostrar que es una lengua porque constituye un sistema que contiene rasgos convencionales, posee una gramática de combinación y una semántica propia. Con esto aportó los elementos para analizar las señas como compuestas por unidades mínimas y demostró que está doblemente articulada, después de Stokoe surgieron diversas investigaciones en varios países expresando su preocupación hacia los discapacitados auditivos. En Colombia el Ministerio de Educación Nacional y el Instituto Nacional para Sordos (INSOR) presentan el Diccionario Básico de la Lengua de Señas Colombiana, en este instrumento lexicográfico es el primer paso a la estandarización de esta lengua, en la medida en que recoge la identidad y sentido de pertenencia de la comunidad sorda colombiana, “y se convierte también en el primer gran compendio léxico que facilitará los procesos comunicativos y educativos de la comunidad discapacitada no oyente del país, en tanto que constituye una herramienta de trabajo para docentes, intérpretes de lengua de señas, modelos lingüísticos y demás profesionales vinculados en los procesos de formación de las personas discapacitadas(INSOR, 2006)”. Este Diccionario Básico de la Lengua de Señas también contribuye al aprendizaje inicial de la lengua, generando condiciones para la superación de barreras de comunicación que permitan a las personas discapacitadas hacer uso pleno de sus derechos como ciudadanos colombianos y participar activamente en una colectividad que cada día sea más incluyente de las diferencias en la escuela y en otros espacios sociales. Además, “se convertirá en un elemento motivador de los diferentes sectores y personas de nuestra sociedad, para que identifiquen, reconozcan y utilicen la Lengua de Señas Colombiana como un componente único del diverso patrimonio cultural de nuestro país (INSOR, 2006)”. En el Siglo XXl, gracias al avance tecnológico existen diversas maneras de comunicación y/o entendimiento con las personas con discapacidad auditiva e inversamente, como lo son aplicaciones ya sean móviles o de escritorio que leen o interpretan los gestos capturados por la cámara; y así traducirlo a voz o texto, así para tener un mejor puente comunicativo entre los oyentes y las personas con discapacidad auditiva.

11

5. METODOLOGÍA. El desarrollo de este proyecto implica versiones estables, para cumplir con los criterios de la metodología de prototipado, este con el fin de poder aplicar modelos básicos; “La velocidad con que se actualizan y modifican las tecnologías en electrónica, informática y comunicaciones hace que sea necesario disponer de herramientas que permitan la validación de hipótesis mediante un prototipado rápido, durante la etapa de desarrollo de sistemas complejos que utilizan sistemas embebidos. No sólo debido a la abstracción del hardware, si no al momento de probar y validar nuevos tipos de tecnologías. El método descrito en el presente trabajo hace uso de uno de los programas más difundidos en el área de Ciencias de ingeniería, Matlab, perteneciente a la empresa MathWorks y su módulo asociado Simulink, que es una plataforma versátil de diseño y simulación de sistemas dinámicos, lo que permitió que integrantes del proyecto con poca experiencia en la metodología de desarrollo en lógica programable, pudiesen probar ideas y realizar simulaciones que con poco esfuerzo pueden ser llevadas al hardware (Rodríguez, J. A. (2001). Sistemas de prototipado rápido. Universidad de Vigo, 3.)” La metodología de prototipado se basa en un modelo de desarrollo en el cual desde un inicio se crea un “Entregable” de la versión preliminar del sistema a desarrollar en este caso, será el proyecto TRAVID, el cual presentará una versión beta del proyecto final; es decir una versión inicial con características limitadas, como se observa en la (Ilustración 1) vocales en la lengua de señas, estos son los gestos que podrá traducir de la captura de lengua de señas a texto. Ilustración 1. Vocales Para Traducir.

Fuente: Autores

12

Como se sabe el modelo de prototipado usa los recursos más mínimos posibles como lo son, recursos humanos, tecnológicos y demás. “El prototipado rápido (RP por sus siglas inglesa de Rapid Prototipe) da la posibilidad de efectuar, en un tiempo relativamente corto, diversas pruebas de geometrías distintas para una pieza, validar la geometría definitiva, y acometer la producción en serie rápidamente, con unos costes de desarrollo lo más ajustados posibles. La complejidad de las piezas o la confidencialidad de los prototipos son también argumentos frecuentes a la hora de optar por el RP. (Rodríguez, J. A. (2001). Sistemas de prototipado rápido. Universidad de Vigo, 3.)”. Así que, siguiendo esta idea, el proyecto TRAVID se acomoda perfectamente a esta metodología ya que crea entregables con su correspondiente versión a los usuarios y así ayudar en la retroalimentación de la aplicación para ayudar a desarrollar nuevas versiones en las cuales se agreguen nuevas funciones y se corrijan errores. La metodología de prototipado consta de las siguientes funciones:

• Etapa 1 Recolección y refinamiento de requisitos: En esta etapa se realiza la debida investigación sobre las personas con discapacidad auditiva, con base al diccionario de la lengua de señas y la realización de los requisitos, en esta etapa se realizó, mediante búsquedas sobre el tema de la discapacidad auditiva y las consecuencias que esta tiene estas personas ante una sociedad, también indagando sobre la lengua de señas recolectando la información necesaria para la realización del prototipo.

• Etapa 2 Modelado: Al ser una metodología de prototipado, esta tiende a generar unos entregables tipo versión, los cuales tienen que realizarse en el menor tiempo posible y con bajos recursos, primero se analizará cuáles son las funciones esenciales que el programa necesita en su versión de salida y así realizar una versión beta con las funciones principales y con el tiempo vaya mejorando, añadiendo funciones secundarias y/o mejoras para su mejor rendimiento, basándose en los comentarios que presenten los usuarios sobre el prototipo.

• Etapa 3 Construcción del Prototipo: Se realiza la construcción del prototipo al analizar las funciones principales que requerirá el sistema, para luego así continuar con la construcción del aplicativo con la ayuda del software MATLAB que gracias a su sistema de cómputo numérico ofrece un entorno de desarrollo integrado (IDE) con un lenguaje de programación propio que es el lenguaje M, no obstante, cabe resaltar que MATLAB cuenta con herramientas de detección y reconocimiento de imágenes, estas

13

herramientas son Umbrales de luz, cambios de contrastes en las imágenes, entre otras funciones que ayudan al desarrollo ágil del proyecto.

• Etapa 4 Desarrollo: En esta etapa se desarrollará las funciones principales que tendrá el prototipo a realizar, esto con el fin de tener más rápido las características esenciales del proyecto y dejar las secundarias para más adelante, en segundo lugar se realizará una interfaz gráfica del proyecto la cual podrá ser sujeta a cambios, lo esencial es tener las funciones principales del proyecto en funcionamiento, teniendo en cuenta diversas extensiones, este se integra con un hardware adecuado, para implementación del software, la cual puede ser la cámara integrada de un computador de mesa o la cámara externa.

• Etapa 5 Refinamiento del prototipo: Una vez concluido el proceso de programación del prototipo se desarrollan las pruebas para corroborar el funcionamiento de este y se realizará los ajustes y corrección pertinentes, para ello se correrá el programa y se analizará cada función paso a paso, realizando múltiples testeos de este, cuando ya se tenga toda la aplicación analizada y en funcionamiento se entrega el prototipo con las características deseadas.

• Etapa 6 Producto entregable: Se genera un entregable con su respectiva documentación, donde se realizará la socialización de este, dando a conocer los requisitos mínimos que debe tener el hardware para poder correr el prototipo, realizando una demostración del correcto funcionamiento, explicando detalladamente las funciones de este, como la captura de imágenes y su correcta traducción e inversamente donde el usuario lo pueda testear y así lograr que haga una retroalimentación del aplicativo.

14

6. DESARROLLO. Ilustración 2. Prototipo de la Aplicación.

A continuación, se observa las ilustraciones de este prototipo, donde la primera

ilustración muestra el esquema donde el o los usuarios van a interactuar con este

prototipo.

Fuente: autores.

15

Ilustración 3. Menú único.

En esta ilustración, se puede observar el menú donde podremos elegir entre

traducir un signo de la lengua de seña o texto a la lengua de seña.

Fuente: autores.

16

Ilustración 4. Traductor de la lengua de señas a texto.

Esta ilustración, mostrará el esquema para traducir el gesto de la lengua de seña a

texto, donde el software interpreta la captura del gesto y arrojará la debida

traducción.

Fuente: autores.

17

Ilustración 5. Traductor de texto a la lengua de señas.

En esta ilustración se muestra el esquema para traducir de texto a la lengua de

señas donde el software interpreta lo que se digite y arrojará la debida traducción

de la lengua de señas.

Fuente: autores.

18

Ilustración 6. Traducción de la captura de las vocales a texto con imagen.

Matlab usado comúnmente como un software de matemáticas, cuenta con una

comunidad activa que desarrolla herramientas y ayuda a darle uso distinto a este

software, tiene un apartado bastante robusto en el reconocimiento de imágenes y

brinda las herramientas adecuadas para la ejecución de proyectos de software

como TRAVID, cuenta con diversas extensiones, librerías y herramientas; ayuda a

la debida interpretación y posterior traducción de la vocal y/o seña, en caso de no

haber criterios de coincidencia el software interpreta que esta seña no existe y

arrojará un mensaje de error.

Fuente: autores

19

Ilustración 7. Traducción de texto a la lengua de señas en video.

En esta beta inicial del proyecto el usuario podrá seleccionar entre las 2 opción la

de traducción de texto a vídeo, donde el usuario podrá digitar cualquier vocal o

palabra ya sea buenos días, chao, cuando, quien entre otras y el sistema mostrará

un vídeo almacenado en la base de datos donde se muestre los movimientos

adecuados para realizar dicho signo en lengua de señas colombiana, el usuario

podrá digitar cualquier vocal o texto y el sistema mostrará el vídeo correspondiente

a la seña independiente si está escrita previamente en mayúscula o minúscula

puesto que el sistema reconoce unas de las otras.

Fuente: autores

20

7. RESULTADOS

Estos son los resultados de manera gráfica que se obtuvo durante el desarrollo del

testing de la aplicación.

Ilustración 8. Toma de pruebas de la lengua de señas vocal A.

Fuente: autores

21

Ilustración 9. Toma de pruebas de la lengua de señas vocal E.

Fuente: autores

22

Ilustración 10. Toma de pruebas de la lengua de señas vocal I.

Fuente: autores

23

Ilustración 11. Toma de pruebas de la lengua de señas vocal O.

Fuente: autores

24

Ilustración 12. Toma de pruebas de la lengua de señas vocal U.

Fuente: autores

En el caso de la vocal A, al realizar las 160 pruebas de la seña de dicha vocal, 79 de ellas dieron como salida la vocal A, sin embargo, debido a la similitud que la seña A tiene con la seña E, 71 de esas 160 muestras dieron como salida la vocal E, y sumando las otras salidas de las vocales sería un total de 81 salidas incorrectas, siendo esta la prueba con la vocal más imprecisa del testeo de cada vocal, siendo a su vez la única de las cinco vocales que dio como salida cada vocal en al menos una ocasión como se muestra en el gráfico. En el caso de la vocal E se puede presenciar un reconocimiento 100% preciso, dando en cada uno de los testeos usando la seña E, dio como salida la vocal E, sin haberse confundido con otras letras, siendo esta la única vocal que salió durante su testeo. En la vocal I, se puede observar que hubo un porcentaje de acierto alto, sin embargo, debido a la similitud de la vocal U y la vocal E, algunas de las salidas fueron dichas vocales utilizando la seña de la vocal I, pero, dichas salidas incorrectas no fueron muchas, siendo de las 160 pruebas solo 39 resultaron no ser la I, mostrando un porcentaje alto de acierto.

Salida

25

En la vocal O, al ser una vocal diferente de las otras obtuvo un alto porcentaje de acierto, usando la seña de la vocal O, 136 de las 160 pruebas dieron como salida la vocal O, sin embargo, los otros 24 resultados fueron vocales como la E y la I, pero fueron ocasiones muy peculiares en las que dichas palabras aparecieron. Finalmente, en la vocal U, se tuvo un caso similar como fue en el caso del testeo de la vocal A, la similitud entre la seña de la vocal U y la vocal I son muy similares, esto causando que parte de las salidas diera como vocal incorrecta la vocal I, pero solo se presentó en ocasiones variadas siendo de las 160 pruebas 50 de estas fuera la vocal I y sumados con otras vocales como la A y la E que aparecieron en muy raras ocasiones daría un total de 60 pruebas que salieron de forma incorrecta y 100 de forma correcta en el testeo de la U, mostrando un porcentaje de acierto alto

26

7.1. ANÁLISIS DEL PROYECTO En la actualidad para nadie es secreto que los avances tecnológicos han ayudado al desarrollo del ser humano en áreas específicas y que está constantemente en una evolución tecnológica, donde crece exponencialmente. Pero también han evolucionado las áreas, en torno a los valores e inclusión social.

Siendo esta última fuertemente llevada por movimiento sociales que se ha encargado visibilizar problemáticas que no se veían reflejados años atrás, ya sea por desconocimiento social o descuido.

Como se mencionó anteriormente la tecnología ha ayudado a resolver problemas que el ser humano ha tenido conforme a su evolución. La inclusión y la tecnología han sido factores que se mezclan, puesto que las áreas de inclusión a las que se ven enfocados son áreas generales.

En un trabajo anterior presentado a ACOFI EIEI 2020 con nombre TRAVID (Traductor de vídeo de lengua de señas), explica cómo se evidencia una problemática social de inclusión, tomando en cuenta el ODS 10. “Está problemática se presenta en un contexto sociopolítico que existe actualmente, donde las personas con discapacidad auditiva por falta de canales de comunicación no son tomadas muchas veces en cuenta y son exiliadas del desarrollo social donde deben estar incluidas. (Pérez Otavo, Bonilla Bautista, Barreto Alba, & Valderrama Riveros, 2020)”.

Se desarrolló un aplicativo donde a través de la toma de vídeo e imágenes, ayuda a la traducción de lengua de señas a texto y de texto a lengua de señas, esto para poder crear canales de comunicación efectivos que puedan ayudar a que la población con discapacidad auditiva. Esta propuesta se ha trabajado continuamente desde la proposición de esta hasta poder brindar una versión beta estable del aplicativo, el cual podrá traducir señas simples de la lengua de señas colombiana, como lo son saludos básicos y las vocales del abecedario español, esto por medio del desarrollo del aplicativo en lenguaje M Matlab.

27

8. CONCLUSIONES. Uno de los principales retos en el desarrollo del aplicativo fue poder que el software interpreta las imágenes y las reconociera como signos, puesto que este al ser un software especializado para matemáticas, contaba con dificultades para poder finalizar el aplicativo, pero esto no fue un impedimento para poder lograr su desarrollo, la motivación principal para desarrollarlo era saber que el software es un producto innovador y que con su llegada puede abrir nuevos canales comunicativos con personas con discapacidad auditiva.

Con respecto a los objetivos planteados, se logró realizar una aplicación capaz de realizar traducciones de texto arrojando correctamente el video de la seña esperado en la salida, así como el reconocimiento de imágenes para dar la vocal mostrada por la cámara, sin embargo, este último no presenta un porcentaje de acierto óptimo, puede haber ocasiones en que la aplicación traduzca una vocal incorrecta debido a la similitud que presentan algunas vocales como es el caso de la vocal A y la vocal E o en el caso de las salidas de la vocal U presentando en algunas ocasiones la vocal I.

La aplicación solo podrá traducir las palabras que se encuentren guardadas en la base de datos de este, en caso de no reconocer la imagen habrá casos donde no la reconozca o sea confundida por una seña cercana a la realizada, por lo que sirve como base para el mejoramiento del reconocimiento de imágenes utilizando más muestras para lograr un mayor porcentaje de acierto.

La variación del fondo y de la iluminación puede afectar enormemente a la respuesta del aplicativo, dando como resultado aciertos o fallos, aunque la base de datos del aplicativo cuenta con múltiples fondos por cada vocal para incrementar el porcentaje de acierto este puede presentar chances de fallar y presentar una vocal incorrecta a la que fue enviada en el reconocimiento de imágenes.

Al incrementar el número de muestras se pudo notar que este no afectó a la velocidad de respuesta que toma la traducción de lengua de señas a texto, pero sí logró mejorar los porcentajes de aciertos en cada vocal de forma bastante significativa.

28

9. RECOMENDACIONES. La clave para el mejoramiento del aplicativo en el caso del reconocimiento de imágenes es el aumento de muestras a utilizar, al no ser un sistema tan robusto en este apartado, habrá ocasiones donde las traducciones sean incorrectas debido a que el software confunde la entrada con una muestra que considera cercana, por lo que aumentar dichas muestras añadiendo diferentes fondos y distancias logra que la aplicación tenga más opciones de escoger la vocal que envía el usuario.

El testeo es un elemento fundamental para este tipo de aplicaciones, al realizar un número determinado de intentos y de formas de realizar la traducción de la vocal deseada, se puede identificar y verificar cómo el sistema está actuando con las muestras que se le guardaron en la base de datos que tiene incorporada y con ello analizar cómo ha mejorado el porcentaje de acierto.

29

REFERENCIAS Barreto Alba, J. J., Bonilla Bautista, J. E., Pérez Otavo, J., & Valderrama Riveros, Óscar C. (2020). TRADUCTOR DE VÍDEO Y SEÑAS (TRAVID). Encuentro Internacional De Educación En Ingeniería. Recuperado a partir de https://acofipapers.org/index.php/eiei/article/view/835 Betancur, D. B., Gómez, M. V., & Palacio, A. P. (2013). Traducción automática del lenguaje dactilológico de sordos y sordomudos mediante sistemas adaptativos/AUTOMATIC TRANSLATION OF THE DACTILOLOGIC LANGUAGE OF HEARING IMPAIRED BY ADAPTIVE SYSTEMS. Revista Ingeniería Biomédica, 7(13), 18-30. Consultado el 25 de Octubre de 2019 en https://bbibliograficas.ucc.edu.co:2149/docview/1435594374?accountid=4439 Blog de Kiversal. (2018, Marzo). diez aplicaciones para personas con pérdida auditiva – Consultado el 26 de Octubre de 2019, en https://blog.kiversal.com/10-apps-personas-perdida-auditiva/ Bonet, J. P. (1628). Reduction de las letras y arte para enseñar a ablar los mudos. In Biblioteca Digital Hispánica. Consultado el 25 de Octubre de 2019, en http://bdh-rd.bne.es/viewer.vm?id=us&page=1 Bruce, 2011. (2013). LA DEFICIENCIA AUDITIVA. IDENTIFICACIÓN DE LAS NECESIDADES EDUCATIVAS ESPECIALES. Journal of Chemical Information and Modeling, 53(9), 1689–1699. Consultado el 26 de Octubre de 2019 en https://doi.org/10.1017/CBO9781107415324.004 Castaño Calle, R. (2010). El reconocimiento de las Lenguas de Signos Españolas como instrumento de comunicación para la comunidad de personas sordas. Hekademos. Obtenido de https://bibliotecadigital.ucc.edu.co/discovery/fulldisplay?docid=dialnetART0000366577&context=PC&vid=57UCC_INST:57UCC_INST&lang=es&search_scope=MyInst_and_CI&adaptor=Primo%20Central&tab=Everything&query=any,contains,comunicacion%20con%20las%20personas%20c Comunicación: Definición de comunicación. (n.d.). Consultado el 25 de October de 2019, en https://campus.usal.edu.ar/mod/book/view.php?id=25464 Cercone, N., & Naruedomkul, K. (2013). Enfoques computacionales de las tecnologías de asistencia para personas con discapacidad. Amsterdam; Washington, D. C.: IOS Press. Obtenido de https://bibliotecadigital.ucc.edu.co/discovery/fulldisplay?docid=alma992009249904416&context=L&vid=57UCC_INST:57UCC_INST&lang=es&search_scope=MyInst_and_CI&adaptor=Local%20Search%20Engine&tab=Everything&query=any,contains,applications%20for%20people%20wit

30

Delgado (2013): ¿Qué es la comunicación? Consultado el 25 de Octubre de 2019 en https://www.significados.com/comunicacion/ Consumer. (2014, Junio). Cinco aplicaciones para personas sordas | Consultado el 26 de Octubre de 2019, en https://www.consumer.es/solidaridad/cinco-aplicaciones-para-personas-sordas.html Díaz, C., Goycoolea, M., & Cardemil, F. (2016, Noviembre). Hipoacusia: Trascendencia, Incidencia Y Prevalencia. Revista Médica Clínica Las Condes, Consultado el 25 de Octubre de 2019, en https://doi.org/10.1016/j.rmclc.2016.11.003 elmundo.es. (2013, Junio). Una Fulbright sin barreras | Estados Unidos. Consultado el 25 de Octubre en Www.Elmundo.Es. website: https://www.elmundo.es/america/2013/06/22/estados_unidos/1371875325.html FIAPAS (Jáudenes, C. et ál.) (2004): Manual Básico de Formación Especializada sobre Discapacidad Auditiva (5ª ed.). Madrid, FIAPAS (2013). Consultado el 3 de Noviembre de 2019 en https://bibliotecafiapas.es/pdf/Manual_Basico_de_Formacion_Especializada_sobre_Discapacidad_Auditiva.pdf García Gámez, M., & Gutiérrez Cáceres, R. (2012). Uso de la Lengua de Signos Española en la educación del alumnado sordo. Fundación Dialnet. Obtenido de https://bibliotecadigital.ucc.edu.co/discovery/fulldisplay?docid=dialnetART0000539094&context=PC&vid=57UCC_INST:57UCC_INST&lang=es&search_scope=MyInst_and_CI&adaptor=Primo%20Central&tab=Everything&query=any,contains,comunidad%20con%20discapacidad%20auditi Guillem. (2015). Definición de Aplicación - Significado y definición de Aplicación. Consultado el 26 de Octubre de 2019, en MasterMagazine website: https://sistemas.com/aplicacion.php Hablalo (2019). Hablalo – Comunicarse es para todos Consultado el 26 de Octubre de 2019, en https://hablalo.app/ INSOR. (2019, Abril). ¿Qué es la lengua de señas? | Portal niños. Consultado el 25 de October de 2019, en www.insor.gov.co website: http://www.insor.gov.co/ninos/que-es-la-lengua-de-senas/ Instituto Nacional para Sordos (INSOR), & Instituto Caro y Cuervo (ICC). (2006). Diccionario básico de la lengua de señas colombiana. Diccionario Básico de La Lengua de Señas Colombiana, 578. https://doi.org/Doe Reference PC4628 .D44 v.1-5

31

Jensen, S., & Øvad, T. (2016). Optimización de la accesibilidad web para personas sordas y con discapacidad auditiva utilizando un diccionario de lenguaje de señas integrado en un navegador. Cognición, tecnología y trabajo, 717-731. Obtenido de https://bibliotecadigital.ucc.edu.co/discovery/fulldisplay?docid=springer_jour10.1007%2Fs10111-016-0385-z&context=PC&vid=57UCC_INST:57UCC_INST&lang=es&search_scope=MyInst_and_CI&adaptor=Primo%20Central&tab=Everything&query=any,contains,sign%20language%20d Jesica Bossi. (CNN). (2018, Julio) ¡Háblalo! La app que ayuda a los sordomudos a comunicarse [Archivo de video y texto]. Consultado el 25 de octubre de 2019 en https://cnnespanol.cnn.com/video/argentina-mateo-salvatto-app-hablalo-ayuda-a-personas-con-dificultad-para-comunicarse-mercado-sur/ Manchaiah, V., Danermark, L., Rönnberg, J., & Lunner, T. (2014). Importancia de la "evaluación del proceso" en la rehabilitación audiológica: ejemplos de estudios sobre la discapacidad auditiva. Revista Internacional de Otorrinolaringología. Obtenido de https://bibliotecadigital.ucc.edu.co/discovery/fulldisplay?docid=pubmed_central4167944&context=PC&vid=57UCC_INST:57UCC_INST&lang=es&search_scope=MyInst_and_CI&adaptor=Primo%20Central&tab=Everything&query=any,contains,applications%20for%20people%20with%20h Ministerio de salud de Colombia. (2017, Febrero). “Somos todo oídos.” Ministerio de Salud y Protección Social., 1–10. Consultado el 25 de Octubre de 2019 en https://www.minsalud.gov.co/sites/rid/Lists/BibliotecaDigital/RIDE/VS/PP/ENT/abece-salud-auditiva-2017.pdf Pérez de Arado, B. (2011). ¿Lengua de señas? – Cultura Sorda. Consultado el 26 de Octubre de 2019, en https://cultura-sorda.org/lengua-de-senas/ Quiroga, E. (2017, Febrero). ¿Qué es la Discapacidad Auditiva? Consultado el 26 de Octubre de 2019, en https://hablemosdeneurociencia.com/discapacidad-auditiva/ Sampieri R. H, Ferandez c, B. P. (2010). Metodología de la Investigación. Ministerio de Salud y Protección Social. (2016). Análisis de situación de la salud auditiva y cominucativa en Colombia. Consultado el 26 de Octubre de 2019, en https://www.minsalud.gov.co/sites/rid/Lists/BibliotecaDigital/RIDE/VS/PP/ENT/asis-salud-auditiva-2016.pdf Schlesinger, I., Namir, L., & Blanton, R. (1978). Lenguaje de señas para sordos: perspectivas psicológicas, lingüísticas y sociológicas. Nueva York,: Academic Press. Obtenido de

32

https://bibliotecadigital.ucc.edu.co/discovery/fulldisplay?docid=alma991994947204416&context=L&vid=57UCC_INST:57UCC_INST&lang=es&search_scope=MyInst_and_CI&adaptor=Local%20Search%20Engine&tab=Everything&query=any,contains,sign%20language%20dictionary&offs Sourdis, C. (2001, Abril ). Sordos piden que los oigan. El Tiempo . Consultado el 25 de Octubre de 2019 en http://www.eltiempo.com/archivo/documento/MAM-529310 YouTube. (2014, Mayo). Llega Signslator, el traductor online de español a lengua de signos - Consultado el 3 de Noviembre de 2019 en https://www.youtube.com/watch?v=Hs998FEsb1o YouTube (2014, Junio). Google Gesture. Google Gesture Traductor de Lengua de Señas [Archivo de video y texto]. Consultado el 3 de Noviembre de 2019 en https://www.youtube.com/watch?v=eVw3LSdtRdE YouTube. (2017, Noviembre). MIVOS: el proyecto que traduce el lenguaje de señas de personas sordas en audio - Consultado el 26 de Octubre de 2019, en https://www.youtube.com/watch?v=8AbvIgF4oyI