Desarrollo de una APP que detecta movimiento de manos y traduce señas para la fundación Melvin Jones

Abstract

El presente trabajo tiene como finalidad desarrollar una Aplicación móvil que sea capaz de detectar los movimientos de seña de una mano y procesarlas con el propósito de entrenar el modelo para posteriormente poder traducirla a texto, usando señas del alfabeto del lenguaje de señas ecuatoriano y de esta forma poder convertirse en una herramienta en la que se pueda identificar la postura de una seña a fin de que las personas que presentan problemas auditivos puedan ser capaces de mantener una mejor interacción al momento de comunicarse con el entorno social que los rodea. Para el desarrollo de esta aplicación se hizo uso de MediaPipe Solutions para detectar los puntos de referencia de los nudillos de las manos trabajando con soluciones de aprendizaje automático, usando Python como lenguaje de programación, desarrollo de la API y del código para realizar el entrenamiento del modelo de detección de seña, para el desarrollo e la aplicación móvil se usó flutter como framework y como metodología de desarrollo se llevó a cabo la metodología incremental conformado por 4 fases: análisis, diseño, codificación y pruebas. Se consiguió determinar la funcionalidad de la aplicación mediante las pruebas realizadas logrando procesar y captar la postura de las señas efectuadas para posteriormente entrenarlas mediante el algoritmo creado con el que se especificará un porcentaje de clasificación de cada nuevo patrón, permitiendo obtener una aplicación móvil con el que el usuario pueda visualizar como se realiza una seña, aprenderla y traducirla mediante el algoritmo de traducción de la aplicación.