El sistema genera mensajes para personas con discapacidad auditiva a partir de textos y voz, a través de un personaje virtual
Investigadores de la Escuela Politécnica Superior de la Universidad Autónoma de Madrid han desarrollado una herramienta informática de gran utilidad para personas con discapacidad auditiva. Además de generar mensajes en lengua de signos a partir de textos y voz, expresa características de “lenguaje corporal” a través de un personaje virtual. El sistema podría ser de gran ayuda para las personas con discapacidad auditiva. UAM/T21.
Un nuevo programa informático es capaz de generar de manera automática mensajes en lengua de signos a partir de textos escritos o señales de voz.
Se trata de una tecnología innovadora dentro del campo que estudia la interacción persona-computador, pues integra elementos del llamado "lenguaje corporal" a través de un avatar (personaje virtual) que calcula tanto los movimientos de brazos y manos como la postura corporal y la expresión facial para representar los mensajes signados.
Según sus promotores, este programa será una herramienta de gran utilidad para personas con discapacidad auditiva, especialmente para las que nacieron con sordera o la adquirieron en una edad muy temprana; casos en los que la baja comprensión lectora impide obtener información de cualquier texto y la única vía de comunicación es la lengua de signos.
El trabajo que ha dado lugar a este desarrollo fue publicado en la revista International Journal of Human-Computer Studies por el grupo de investigación Human Computer Technology Laboratory (HTCLab).
Este grupo, que pertenece a la Escuela Politécnica Superior de la Universidad Autónoma de Madrid (UAM), lleva más de diez años trabajando en tecnologías de apoyo para personas con diferentes discapacidades.
Lengua de signos y comunicación paralingüística
Tal y como sucedía con los primeros sintetizadores de voz, los mensajes en lengua de signos representados por personajes virtuales pueden percibirse robóticos y artificiales.
Para mejorar esta percepción, los investigadores del HTCLab vienen trabajando en la incorporación de elementos paralingüísticos: elementos como el tono, la velocidad o la intensidad que acompañan al mensaje y transmiten información adicional, permitiendo que el receptor del mensaje conozca el estado anímico del emisor y su relación con el contenido que está recibiendo.
La elección de qué elementos pueden integrarse no resulta sencilla. Dado que el propio cuerpo se utiliza para generar el mensaje signado, un cambio inadecuado motivado por el “lenguaje corporal” podría modificar el mensaje.
Por ejemplo: los puños cerrados se perciben como una actitud agresiva. Si se cambia la forma de la mano para expresar emociones, se cambia a la vez el signo y también su significado —es equivalente a que si para expresar enfado cambiásemos todas las 'a' por 'o' (una 'casa' con enfado se convertiría en un 'coso')—.
En suma, incluir información emocional en el mensaje implicaría modificar el contenido del mismo, perdiendo así el objetivo primordial del lenguaje, que es comunicar.
En su trabajo, el HTCLab demuestra que se pueden incluir ciertas modificaciones en la síntesis de lengua de signos para transmitir información paralingüística sin modificar el mensaje.
Esto es algo que los investigadores han logrado al generar varias versiones de un mismo mensaje: una primera en la que éste se presenta con mayor tensión, y una segunda en la que se presenta con mayor relajación; ambas a partir de una representación neutra. Estas modificaciones se basan en el estudio de la tensión muscular, la velocidad y aceleración en los movimientos y las expresiones faciales.
Se trata de una tecnología innovadora dentro del campo que estudia la interacción persona-computador, pues integra elementos del llamado "lenguaje corporal" a través de un avatar (personaje virtual) que calcula tanto los movimientos de brazos y manos como la postura corporal y la expresión facial para representar los mensajes signados.
Según sus promotores, este programa será una herramienta de gran utilidad para personas con discapacidad auditiva, especialmente para las que nacieron con sordera o la adquirieron en una edad muy temprana; casos en los que la baja comprensión lectora impide obtener información de cualquier texto y la única vía de comunicación es la lengua de signos.
El trabajo que ha dado lugar a este desarrollo fue publicado en la revista International Journal of Human-Computer Studies por el grupo de investigación Human Computer Technology Laboratory (HTCLab).
Este grupo, que pertenece a la Escuela Politécnica Superior de la Universidad Autónoma de Madrid (UAM), lleva más de diez años trabajando en tecnologías de apoyo para personas con diferentes discapacidades.
Lengua de signos y comunicación paralingüística
Tal y como sucedía con los primeros sintetizadores de voz, los mensajes en lengua de signos representados por personajes virtuales pueden percibirse robóticos y artificiales.
Para mejorar esta percepción, los investigadores del HTCLab vienen trabajando en la incorporación de elementos paralingüísticos: elementos como el tono, la velocidad o la intensidad que acompañan al mensaje y transmiten información adicional, permitiendo que el receptor del mensaje conozca el estado anímico del emisor y su relación con el contenido que está recibiendo.
La elección de qué elementos pueden integrarse no resulta sencilla. Dado que el propio cuerpo se utiliza para generar el mensaje signado, un cambio inadecuado motivado por el “lenguaje corporal” podría modificar el mensaje.
Por ejemplo: los puños cerrados se perciben como una actitud agresiva. Si se cambia la forma de la mano para expresar emociones, se cambia a la vez el signo y también su significado —es equivalente a que si para expresar enfado cambiásemos todas las 'a' por 'o' (una 'casa' con enfado se convertiría en un 'coso')—.
En suma, incluir información emocional en el mensaje implicaría modificar el contenido del mismo, perdiendo así el objetivo primordial del lenguaje, que es comunicar.
En su trabajo, el HTCLab demuestra que se pueden incluir ciertas modificaciones en la síntesis de lengua de signos para transmitir información paralingüística sin modificar el mensaje.
Esto es algo que los investigadores han logrado al generar varias versiones de un mismo mensaje: una primera en la que éste se presenta con mayor tensión, y una segunda en la que se presenta con mayor relajación; ambas a partir de una representación neutra. Estas modificaciones se basan en el estudio de la tensión muscular, la velocidad y aceleración en los movimientos y las expresiones faciales.
El estudio demuestra que se pueden incluir ciertas modificaciones en la síntesis de lengua de signos para transmitir información paralingüística sin modificar el mensaje.
La posición de las manos y la forma que adquieren son relevantes para el mensaje en lengua de signos. Sin embargo, es posible variar la tensión muscular sin modificar sustancialmente ambos. Supongamos que se coloca la mano en una posición determinada frente al cuerpo. Es posible situar el codo a lo largo de un arco sin modificar la posición de la mano.
Cuando los músculos del hombro se relajan la posición del codo baja y cuando están en tensión el codo sube. Por lo tanto, variaciones en la posición del codo se perciben como distintos niveles de tensión, sin modificar para ello la posición de la mano; es decir, no varía el signo representado.
Además, la mano en sí misma presenta la misma forma, aunque los músculos estén más tensos o relajados. Supongamos que se cierra el puño, que puede estar simplemente cerrado con los músculos relajados, o se puede apretar mostrando mayor tensión. En ambos casos se ve un puño cerrado, con lo que el signo no varía.
Velocidad de los movimientos
Cuando una persona se encuentra en tensión, tiende a hablar de manera acelerada y realizar gestos bruscos. La velocidad y aceleración de los movimientos durante el lenguaje signado puede modificarse para incorporar información paralingüística. No obstante, esta modificación debe hacerse con sumo cuidado, ya que los movimientos de las manos se utilizan también para representar el aspecto verbal en los signos.
El último de los factores que se han incorporado en este trabajo es la expresión facial. No es sorprendente que la expresión facial muestre el estado anímico del locutor, siendo uno de los medios de los que disponen las personas para comunicar información paralingüística.
Sin embargo, durante la comunicación en lengua de signos también se utiliza para transmitir información morfológica o sintáctica. Al igual que con los movimientos, se han definido una serie de expresiones faciales que transmiten sensación de tensión, relajación o una actitud neutra.
Las personas sordas que han evaluado los resultados de este trabajo identificaron correctamente las diferentes versiones (tensa, relajada y neutra) de los mensajes. Adicionalmente, no encontraron ningún cambio en el contenido del mensaje en lengua de signos.
La posición de las manos y la forma que adquieren son relevantes para el mensaje en lengua de signos. Sin embargo, es posible variar la tensión muscular sin modificar sustancialmente ambos. Supongamos que se coloca la mano en una posición determinada frente al cuerpo. Es posible situar el codo a lo largo de un arco sin modificar la posición de la mano.
Cuando los músculos del hombro se relajan la posición del codo baja y cuando están en tensión el codo sube. Por lo tanto, variaciones en la posición del codo se perciben como distintos niveles de tensión, sin modificar para ello la posición de la mano; es decir, no varía el signo representado.
Además, la mano en sí misma presenta la misma forma, aunque los músculos estén más tensos o relajados. Supongamos que se cierra el puño, que puede estar simplemente cerrado con los músculos relajados, o se puede apretar mostrando mayor tensión. En ambos casos se ve un puño cerrado, con lo que el signo no varía.
Velocidad de los movimientos
Cuando una persona se encuentra en tensión, tiende a hablar de manera acelerada y realizar gestos bruscos. La velocidad y aceleración de los movimientos durante el lenguaje signado puede modificarse para incorporar información paralingüística. No obstante, esta modificación debe hacerse con sumo cuidado, ya que los movimientos de las manos se utilizan también para representar el aspecto verbal en los signos.
El último de los factores que se han incorporado en este trabajo es la expresión facial. No es sorprendente que la expresión facial muestre el estado anímico del locutor, siendo uno de los medios de los que disponen las personas para comunicar información paralingüística.
Sin embargo, durante la comunicación en lengua de signos también se utiliza para transmitir información morfológica o sintáctica. Al igual que con los movimientos, se han definido una serie de expresiones faciales que transmiten sensación de tensión, relajación o una actitud neutra.
Las personas sordas que han evaluado los resultados de este trabajo identificaron correctamente las diferentes versiones (tensa, relajada y neutra) de los mensajes. Adicionalmente, no encontraron ningún cambio en el contenido del mensaje en lengua de signos.
Referencia bibliográfica
Fernando López-Colino y José Colás. Synthesizing mood-affected signed messages: Modifications to the parametric synthesis. International Journal of Human-Computer Studies 70 (4), abril de 2012.
Fernando López-Colino y José Colás. Synthesizing mood-affected signed messages: Modifications to the parametric synthesis. International Journal of Human-Computer Studies 70 (4), abril de 2012.
Tendencias 21
Comments