Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM
description
Transcript of Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM
![Page 1: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/1.jpg)
Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal
Primera Reunión de arranque del proyectoEn la ETSI Telecomunicación de la UPM
Proyecto
![Page 2: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/2.jpg)
INDICE y AGENDA 10:00-10:10 Presentación 10:10-10:20 Introducción 10:20-11:30 Tareas
T1: Estudio Lingüístico T2: Diseño de Arquitectura T3: Reconocimiento de voz
11:30-12:00 Café 12:00-13:20 Tareas
T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación de prototipos T8: Gestión/documentación
13:20-13:30 Ruegos y preguntas 13:30-14:00 Visita al laboratorio
PROYECTOS
![Page 3: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/3.jpg)
INTRODUCCIÓN
![Page 4: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/4.jpg)
ENFOQUE
VOZ TEXTO
SIGNOS
RAZONABLE
COMPLICADO
El proceso de traducción se puede llevar a cabo en los dos sentidos
![Page 5: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/5.jpg)
SIGNOS - VOZ
COMPLICADO
Reconocimiento visual de los signos Procesado de Vídeo 2D a 3D
Hoy: reconocimiento del alfabeto dactilográfico Captura de los movimientos mediante guantes
Mejores tasas Poco práctico
![Page 6: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/6.jpg)
VOZ - SIGNOS
RAZONABLE
Conseguir una buena tasa de transferencia de información: 90% es posible para dominios restringidos. El 100% es una utopía
Dominios RestringidosEn torno a 100-1000 palabras: información
meteorológica, deportes,....
![Page 7: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/7.jpg)
UN PRIMER PROTOTIPO
En primer lugar pedir perdón porque las traducciones no han sido realizadas por ningún experto, ni los signos tampoco han sido supervisados por una
persona experta
![Page 8: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/8.jpg)
TAREAS: OBJETIVO Y
PLANIFICACIÓN GENERAL
![Page 9: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/9.jpg)
OBJETIVO CONCRETO
Diseño, desarrollo y evaluación de una arquitectura software que permita la traducción de voz a Lengua de Signos Española (LSE) aplicados a la traducción de las frases que un funcionario público pronuncia cuando atiende personalmente a una persona sorda.
Se elegirán dos de entre estos servicios: Renovación del Documento Nacional de Identidad (DNI). Prestaciones económicas del Instituto Nacional de la Seguridad Social (INSS). Información y gestión de los servicios que presta la DGT (Dirección General de Tráfico).
![Page 10: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/10.jpg)
PLANIFICACIÓN GENERALOriginal (15 meses)
Real (12 meses)
Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10
T11
T12
T13
T14
T1: Estudio LingüísticoT2: Diseño ArquitecturaT3: Reconocimiento de vozT4: Traducción por reglasT5: Traducción estadísticaT6: Generación de signosT7: Evaluación prototiposT8: Gestión/documentación
Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11
T1: Estudio LingüísticoT2: Diseño ArquitecturaT3: Reconocimiento de vozT4: Traducción por reglasT5: Traducción estadísticaT6: Generación de signosT7: Evaluación prototiposT8: Gestión/documentación
![Page 11: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/11.jpg)
ESTUDIO LINGÜÍSTICO
![Page 12: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/12.jpg)
1 PASO: ENTREVISTA CON FUNCIONARIO Y ESCENARIOS
Es necesario una entrevista con un funcionario Obtención de escenarios o posibles situaciones demandadas por los usuarios
Descripción de situaciones y escenarios
![Page 13: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/13.jpg)
2 PASO: RECOPILACIÓN DE FRASES
el denei es obligatorio desde los catorce años
para solicitar por primera vez el denei necesitas dos fotos
si usted solicita por primera vez el denei debe llevar la partida de nacimiento
si usted tiene entre treinta y setenta años debe renovar el denei
las personas mayores de setenta años ya no tienen que renovar el denei
para hacerte las fotografías tienes que pagar cuatro euros
con tu denei puedes viajar a estos países
para alquilar un coche tienes que presentar el denei
Varios funcionarios generan varias frases según los escenarios definidos Estimación: entre 200 y 500 frases
![Page 14: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/14.jpg)
3 PASO: EXTENSIÓN DE FRASES: FLEXIBILIDAD
el denei es obligatorio desde los catorce años
para solicitar por primera vez el denei necesitas dos fotos
si usted solicita por primera vez el denei debe llevar la partida de nacimiento
si usted tiene entre treinta y setenta años debe renovar el denei
las personas mayores de setenta años ya no tienen que renovar el denei
para hacerte las fotografías tienes que pagar cuatro euros
con tu denei puedes viajar a estos países
para alquilar un coche tienes que presentar el denei
Varias formas de expresar lo mismo para aumentar la flexibilidad del sistema Estimación: entre 500 y 800 frases
Desde los catorce años el denei es obligatorio
Con más de catorce años te tienes que sacar el denei
Cuando tengas catorce años tienes que disponer del denei
![Page 15: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/15.jpg)
4 PASO: TRADUCCIÓN
Se podría utilizar el Excel para etiquetar Sugerencia: grabación de vídeos
Estos 4 pasos hay que repetirlos para cada uno de los 2 servicios desarrollados
![Page 16: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/16.jpg)
DISEÑO DE LA ARQUITECTURA
![Page 17: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/17.jpg)
ARQUITECTURA
Requiere de un corpus paralelo de varios miles
de frases para entrenar los motores de traducción
Speech Recognition
Rule-based Translation
Natural Speech
Word Sequence Translation
Rules
Acoustic Models
Language Model
Statistical Translation
Probabilistic Model
Gesture Animation
Gesture Descriptions
Gesture SequenceSpeech
Recognition
Rule-based Translation
Natural Speech
Word Sequence Translation
Rules
Acoustic Models
Language Model
Statistical Translation
Probabilistic Model
Gesture Animation
Gesture Descriptions
Gesture Sequence
![Page 18: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/18.jpg)
ARQUITECTURA
Gran Experiencia: Optimizado en
múltiples proyectos
Speech Recognition
Rule-based Translation
Natural Speech
Word Sequence Translation
Rules
Acoustic Models
Language Model
Statistical Translation
Probabilistic Model
Gesture Animation
Gesture Descriptions
Gesture SequenceSpeech
Recognition
Rule-based Translation
Natural Speech
Word Sequence Translation
Rules
Acoustic Models
Language Model
Statistical Translation
Probabilistic Model
Gesture Animation
Gesture Descriptions
Gesture Sequence
![Page 19: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/19.jpg)
RECONOCIMIENTO DE VOZ
![Page 20: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/20.jpg)
RECONOCIMIENTO DE VOZ
VOZ
![Page 21: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/21.jpg)
RECONOCIMIENTO DE VOZ
VOZ
Ya hechoDisponible
![Page 22: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/22.jpg)
Café
![Page 23: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/23.jpg)
TRADUCCIÓN BASADA EN REGLAS
![Page 24: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/24.jpg)
TRADUCCIÓN POR REGLAS Reglas codificadas en C: colaboración de programador y experto en LSE. Necesidad de corpus Tipos de reglas:
Un concepto se traduce por un signo. Un concepto se traduce por varios signos. Varios conceptos se traducen por un signo. Varios conceptos se traducen por varios signos.
El orden de las reglas es muy importante 128 reglas de traducción para DNIs EJEMPLO:
Texto: ”el denei es obligatorio desde los catorce años” Signos: DNI OBLIGATORIO DESDE CATORCE EDAD
![Page 25: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/25.jpg)
TRADUCCIÓN ESTADÍSTICA
![Page 26: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/26.jpg)
TRADUCCIÓN ESTADÍSTICA
Generación de Modelos
Traducción y Modelos de Lenguaje
Traducción
Modelos de Traducción y
Modelos de Lenguaje
Texto Signos
Texto Signos
Texto: ”el denei es obligatorio desde los catorce años”Signos: DNI OBLIGATORIO DESDE CATORCE EDAD
![Page 27: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/27.jpg)
TRADUCCIÓN ESTADÍSTICA
Generación de Modelos
Traducción y Modelos de Lenguaje
Traducción
Modelos de Traducción y
Modelos de Lenguaje
Texto Signos
Texto Signos
Texto: ”el denei es obligatorio desde los catorce años”Signos: DNI OBLIGATORIO DESDE CATORCE EDAD
![Page 28: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/28.jpg)
GENERACIÓN DE LA BASE DE DATOS DE SIGNOS
![Page 29: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/29.jpg)
LISTA DE SIGNOS A GENERAR
Lista de signos a generar
Muy fácil de generar con un programa sencillo. Nosotros lo tenemos disponible y lo
podemos generar sin problemas
![Page 30: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/30.jpg)
REPRESENTACIÓN DE LOS SIGNOS
VGUIDO: Agente animado del proyecto eSIGN• http://www.sign-lang.uni-hamburg.de/eSIGN/• Desarrollado en colaboración con la empresa VISICAST: http://www.visicast.co.uk/.• Libre para investigación
![Page 31: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/31.jpg)
REPRESENTACIÓN DE LOS SIGNOS
Notación HamNoSys
Editor de SIGNOS
Genera un fichero SIGML (formato XML)
para representar cada SIGNO
![Page 32: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/32.jpg)
REPRESENTACIÓN DE LOS SIGNOS
<sigml> <hns_sign gloss="GLOSS:OBLIGATORIO"> <hamnosys_nonmanual> </hamnosys_nonmanual> <hamnosys_manual>
<hampinch12open/><hamextfingero/><hampalmul/><hamchest/><hamlrat/><hamarmextended/><hamseqbegin/><hammovedl/><hamsmallmod/><hamrepeatreverse/><hamseqend/><hamrepeatfromstartseveral/>
</hamnosys_manual> </hns_sign></sigml>
![Page 33: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/33.jpg)
INTRODUCCIÓN A HAMNOSYS
Demo de generación de un signo
![Page 34: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/34.jpg)
EVALUACIÓN DE LOS PROTOTIPOS
![Page 35: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/35.jpg)
EVALUACIÓN DE LOS PROTOTIPOS
USUARIOS FINALES
Evaluación subjetiva según una encuesta
• Inteligibilidad
• Velocidad
• Utilidad....
Evaluación objetiva• Tasa de reconocimiento
• Velocidad....
• Número de repeticiones
![Page 36: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/36.jpg)
DIVULGACIÓN DE RESULTADOS Página web con los resultados del proyecto.
Publicaciones en revistas científicas y de divulgación Publicación en congresos especializados y jornadas o congresos de divulgación (Feria de Madrid,...) Medios de comunicación: televisión, prensa,....
http://lorien.die.upm.es/~lapiz/voz2lse/introduccion.php
![Page 37: Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM](https://reader033.fdocuments.net/reader033/viewer/2022051403/56814c46550346895db947ad/html5/thumbnails/37.jpg)
RUEGOS Y PREGUNTAS