Una app para comunicarse en lengua de signos en tiempos de mascarilla

¿Cómo conversar y expresarse con un estudiante o una persona sorda en tiempos de mascarilla? En el aula de Jorge Calvo Martín, profesor Edtech del Colegio Europeo de Madrid, han diseñado y utilizado una aplicación basada en el reconocimiento de gestos que les permite comunicarse cuando no pueden leer los labios. En este artículo nos explica detalladamente cómo se ha llevado a cabo esta iniciativa.

1
app lenguaje de signos

La tecnología puede ser una gran herramienta de aprendizaje si se usa adecuadamente, y es importante que nuestros alumnos vean que con este recurso podemos ayudar o solucionar problemas reales. Y una forma clara de hacerles palpable esto fue creando esta experiencia de aula en la que utilizamos una app para comunicarse en lengua de signos.

Un muro para las personas sordas

app lenguaje de signos

El proyecto surgió a causa de las dificultades que nos está creando esta pandemia en muchísimos aspectos, y uno de ellos es a la hora de comunicarnos: la mascarilla se ha convertido en un gran muro para las personas sordas. Por lo tanto, la finalidad del proyecto era enseñarles que, hoy en día, una persona sorda lo tiene mucho más complicado y cómo nosotros podemos ayudar. 

Todo se articuló en torno al diseño y uso de una aplicación que combina  el reconocimiento de gestos y la Inteligencia Artificial, gracias a lo que es capaz de enseñarle a los estudiantes, de una manera divertida y motivadora la Lengua de Signos.  

Comenzó simplemente como una actividad de aula, pero la verdad que la experiencia con los alumnos ha sido muy enriquecedora. Es impresionante lo que puedes conseguir cuando juntas innovación e interés en una sola actividad. Se ha comprobado además que el alumnado ha aprendido de una manera exploratoria una Lengua de Signos que nunca se hubieran planteado conocer de no haber sido por esta tarea. 

Programación en Python

lenguaje de signos app

La app está diseñada con un lenguaje de programación llamado Python, un tipo de lenguaje que enseño en mis clases de Bachillerato a un nivel lógicamente más de iniciación, pero sirve para que mis alumnos puedan entender e incluso poder colaborar a veces con este tipo de proyectos que hago.

Además, está basada en Inteligencia Artificial, más concretamente en redes neuronales (Deep learning); es decir, imita en cierto modo a la neurona humana cuando aprende. 

¿Y cómo aprende? A través de multitud de imágenes del Lenguaje de signos americano (ASL): más de 30.000 que mostraban las diferentes posiciones de una mano. Cada una de estas representaciones estaba etiquetada con su letra correspondiente. De esta manera, hice que el programa aprendiera a identificarlas a partir de diferentes procesos de entrenamiento que suelen durar entre 6 y 8 horas. 

Uno de los motivos por los que elegí el ASL es porque de este lenguaje hay mucho material en la red y pude obtener gran cantidad de fotografías.

Una vez terminado el programa inteligente, lo conecté a la webcam del ordenador para que pudiese leer la imagen que mostraban los alumnos en tiempo real, de ahí que se vea el cambio de las letras cuando los alumnos mueven sus manos. La ventaja de programas como estos es que una vez entrenados no necesitan de grandes recursos para funcionar, pueden ser llevados de forma sencilla a un ordenador o una tableta. 

Solución al problema

sordomudos y mascarilla

Con la app preparada solo me quedaba contextualizar esta tecnología para que los alumnos entendieran su finalidad y no se quedase como una simple ‘app divertida’.

La dinámica al entrar en clase fue hablarles sobre la comunicación y su importancia. Después me ayude con tres vídeos donde aparecía hablando sobre un tema diferente en cada uno de ellos: el primero con sonido y mi cara viéndose perfectamente; el segundo igual pero sin sonido; y el tercero tampoco se podía escuchar y, además, me puse una mascarilla. 

A partir de ahí, los estudiantes intentaron contarme lo que yo les explicaba en cada vídeo: en el primero y en el segundo fue factible, incluso me leyeron los labios, pero en el tercero era imposible entender lo que les contaba. Aquí comprendieron que una persona sorda hoy en día, y debido a la pandemia, se siente desamparada porque es incapaz de entender lo que las otras personas le cuentan (como en el vídeo nº3).

Procedí a explicarles qué era la Lengua de Signos y cómo la tecnología les ayudaría a aprenderlo. El alumnado, por turnos, se acercaba a la app intentando crear palabras con el ASL. 

Resultados

Jorge Calvo Martín

Como conclusión podemos añadir que la motivación y el aprendizaje que tuvieron los alumnos fue altísimo, viendo una vez más como la tecnología bien introducida en el aula y contextualizada en un objetivo real puede generar grandes beneficios educativos. Probablemente esta actividad la hubiéramos podido realizar sin tecnología alguna haciendo uso simplemente de papel y lápices, pero creo que el objetivo de introducir este tipo de recursos nos acerca más al mundo digital al que ellos se enfrentarán, y donde deberán haber vivido estas experiencias en clase para afrontar y resolver los posibles retos que les surjan en el futuro.

Somos el medio de comunicación líder en innovación educativa, nuevas tecnologías y metodologías, innovación docente, formación y recursos para profesores.

1 COMENTARIO

  1. Excelente propuesta, me encanta, me gustaría recibir más información al respecto ya que soy docente de estudiantes Sordos en Venezuela y docente de Lengua de Señas Venezolana, y seria excelente poder utilizarla en otros campos relacionados. Además que seria interesante para la enseñanza de la Lengua de Señas a usuarios no sordos.

COMENTARIOS

Por favor, escriba su comentario
Introduzca aquí su nombre