Modélisation du geste communicatif et réalisation dun signeur virtuel de phrases en Langue des...
-
Upload
euphemie-tardy -
Category
Documents
-
view
109 -
download
2
Transcript of Modélisation du geste communicatif et réalisation dun signeur virtuel de phrases en Langue des...
Modélisation du geste communicatifModélisation du geste communicatifet réalisation d’un signeur virtuelet réalisation d’un signeur virtuel
de phrases en Langue des Signes Françaisede phrases en Langue des Signes Française
Olivier Losson
Interaction, Image, et Ingénierie de la décision (I3D)
Cité scientifique
59650 Villeneuve d ’Ascq
Directeurs de thèse : J.-M. Toulotte, B. Cantégrit
Sommaire de l’exposéSommaire de l’exposé
Introduction Etat de l’Art Buts recherchés et démarche adoptée Spécification du signe Synthèse du signe Spécification et génération de phrases signées Evaluation des signes synthétiques Conclusion et perspectives
Le geste de communicationLe geste de communication
Définition Mouvement intentionnel et significatif du corps Fonction informative Conforme à un code reproductible, contrôlable
Catégorisation (Kendon)
Disparition progressive de la parole Apparition de caractéristiques langagières
Gestes co- Gestes de Langueverbaux para-langage des signes
Pantomime Emblèmes
La langue des signesLa langue des signes
Une langue à part entière Double articulation Grammaire et syntaxe propres Capacité à transmettre le message sans ambiguïté Mécanismes paralinguistiques
Variations Evolutions diachroniques Variantes nationales, régionales, sociales, ethniques ...
Un sujet d’étude privilégié pour le geste ...
Vers des interfaces gestuellesVers des interfaces gestuelles
Le geste en interaction homme-machine Une réponse aux handicaps
Outils dédiés à la langue des signes Les besoins de la communauté sourde Outils spécifiques basés sur la vidéo
Dictionnaires bidirectionnels Didactitiels
Vers des interfaces adaptées aux signes
Signes en entrée : capture et identificationSignes en entrée : capture et identification
La capture Caméra (+gants colorés/marqueurs luminescents) Capteurs 6D et gants numériques
ExemplesA. Braffort, H. Sawada, ...
La reconnaissance Détection des limites (segmentation) Influence entre gestes (coarticulation) Variabilité (inter/intra-personnelle)
Signes en sortie : synthèse (1)Signes en sortie : synthèse (1)
Les limites de la vidéo Contraintes de création Volume d’information (stockage / transmission) Flexions et production de phrases signées Exemple de LAC
Premiers travaux d’animation synthétique Succession de motifs animés sur fond fixe
Harrison, 82 Projet H.A.N.D.S. (HamNoSys)
Première synthèse 3D (Shantz & Poizner, 82)
Signes en sortie : synthèse (2)Signes en sortie : synthèse (2)
F. Godenschweger Dessin au trait animé Spécification de bas niveau
T. Lebourque (LIMSI) Génération de mouvements naturels Langage formel de description du signe
« Signing Avatars » Tenants et aboutissants ? Reproduction de signes captés ?
Tenants et aboutissantsTenants et aboutissants
Chaîne globale de traductionAnalyse
grammaticaleTextesource
Analysesémantique
Correspondance,ordonnancement
Synthèsegraphique
Phrasesignée
Spécificationdes signes
Phrase à signer
“mots-signes”
Evaluationdes signes
Modèle du signeur virtuel
Représentationintermédiaire
Synthèsegraphique
Primitivesde synthèse
Détail de la synthèse
Buts recherchés et démarche adoptéeButs recherchés et démarche adoptée
Spécification Lisibilité et compacité de la description
Description textuelle (pas de symbole) Intégrité du message + généricité
Base = études linguistiques (phonèmes gestuels)
Génération Approcher le temps réel
Sophistication graphique limitée Production de phrases complètes
Etude et modélisation des processus grammaticaux
Histoire FxF
Travaux de Stokoe (65)
Chérèmes T D S
Tabular T : Position
Designator D : Configuration
Signation S : Action effectuée par D dans la position T
Validation Battison (74) : Orientation; Klima & Bellugi (78) Nève de Mevergnies (98) : gestèmes COLORIACT Autres ensembles : HamNoSys, Liddell & Johnson
Bases linguistiquesBases linguistiques
Spécification manuelle ConfigurationConfiguration
OrientationOrientation
LocalisationLocalisation Point manuel
Primitive de déplacementPrimitive de déplacement
ni
paume ( )index ( )
Primitive de déplacement Spécification manuelle initiale MouvementMouvement Spécification manuelle finale
Mouvement principal 3 types de trajectoires Dynamique (emphase)
MouvementMouvement
Mouvement secondaire des doigts du poignet
Primitive de déplacement
Spécif manu I
Spécif manu F
Spécif manu tr
MVT
Mvtprinc
Forme chemin
Modifmvt
Mvtsec
Outil Vision Suivi manuel Tableur
Résultats
Mouvement : étude de la dynamiqueMouvement : étude de la dynamique
td tf
vmax
tf- t
v
)(tvd
)()(.)( tvtvktv fd
)()( ttvtv fdf ex. Signe
Piquer
DéplacementDéplacement
3 formes
Complète Conservation de Anti-symétrieposition relative
Symétrie des articulateurs
Macro-déplacementMacro-déplacement
Signe = 1 ...(LSF/ASL justice)
... ou plusieurs déplts.(LSF bibliothèque)
Répétitions Fonctions linguistiques
lexicales grammaticales (pluriel, nom/verbe)
Plusieurs formes identifiées
Spécification hiérarchique complèteSpécification hiérarchique complète
Paramètres« faciaux »
Caract.statiques
Caract.dynamiques
Primitivede dépl.
Primitivede dépl.
SpécifmanuelleMain base
Primitivede dépl.
Main dom.
Primitivede dépl.
Non dom.
Relationspatiale
µ-dépl. 1 µ-dépl. n
Dépl. 1 Dépl. m
SIGNE
Tenueinitiale
Tenuefinale
Répét.
Spécif.manu.initiale
Spécif.manu.finale
Spécif.manu.transit.
Mouvement
Configmanu
Loc Ori Pointmanu
Mvtprincipal
Formechemin
Modifmvt.
Mvtsecond.
Config V
Configurations manuellesConfigurations manuelles
Contacts réels/virtuels
Config. digitales
Formes statiques des doigts
Propriétés man.
*Postures pouce*Abduction doigts
Contraintes artic.
Angles limites statiques et dyn.
5 : Plié2 : Tendu3 : Tendu
Abduct: 2,3Recouvert : 4
i= f (i-1 i+1 )= g (
Pulpe: 1,2
Localisation et OrientationLocalisation et Orientation
Localisation Moyenne des configs « naturelles »
prédéfinies pour le bras Définition explicite
OrientationCorrespondance avec la matrice
d’orientation souhaitée
pour le système bras/main Point manuel
)( nini
s
s
s
e
w
e
w
sourcils
yeux
jouesboucheépaules
tête | visage
Expressions facialesExpressions faciales Eléments du « visage »
Exemples
Sombre Content Faible S’asseoir
Sign #Se_déplacer .Manual: Shift from: (HandSpec config: #Index at: [UpperTorso FrontProx ...
to: (HandSpec at: [UpperTorso FrontProx Sagittal] ori: [bcc ... move: #Natural
NonManual: head followsDominantHand
Signe Se_déplacer
Analyse synt. / Evaluation
Synthèse graphique
De l’encodage à la synthèseDe l’encodage à la synthèse
Le discours signéLe discours signé
Utilisation de l’espace Localisation Accord agent/patient
(Verbes directionnels)Signeur
Interlocuteur
Je, moi
Tu, toi
Il, elle, eux(à droite)
Il, elle, eux(à gauche)
Localisations et accords pronominauxLocalisations et accords pronominaux
Localisation ex. Maison(gauche), Garçon(droite)
Accord pronominalex.: verbedirectionneldemander
demander(toi, moi) (moi, toi) (moi, lui)
Le discours signé (suite)Le discours signé (suite)
Utilisation de l’espace Localisation Accord agent/patient
(Verbes directionnels)Signeur
Interlocuteur
Je, moi
Tu, toi
Il, elle, eux(à droite)
Il, elle, eux(à gauche)
Autres flexions sur les signes Rythme Amplitude du mouvement Types de clause :
mécanismes non-manuels
Interaction discours/signe paramétrage
Autres flexions sur les signesAutres flexions sur les signes
Flexions spatio-temporellesex. Faire_la_vaisselle
(long pénible)
Signes paramétriquesBoîte(petite) Boîte(grande) Signes génériques
Jour_semaine(vendredi)
Jour_semaine(lundi)
Editeur textuelde signes
Analyse,évaluation et
synthèseDictionnaire
de signes
Editeur graphiqued’entrées du dictionnaire
Visualisation 3D
Editeur textuelde phrases
Supportphysique
Sélecteur de signes
Editeur graphiquede signes
Sign %Maison .Manual:s1 = Shift from: ( HandSpec config: #Moufle poin to: ( HandSpec point: #MiddleTip at: [170 42 move: #Natural weakMove: #Symmetrical.s1 repeat .
Synoptique de la synthèseSynoptique de la synthèse
\YNQ4 Toi rester maison toi
r
Analyse, évaluation et
synthèse
Synthèse de phrases signéesSynthèse de phrases signées\CND2 jour_semaine (vendredi) il_pleut
\NO3 je rester maison aller bibliothèque je
%Julie(droite) téléphoner(Julie,moi) fini.
Arriver>endroit être_en_retard elle(Julie).
Synthèse de phrases signéesSynthèse de phrases signées%Julie(droite) téléphoner(Julie,moi) fini.
Arriver>endroit être_en_retard elle(Julie).
Méthodologie de l’évaluationMéthodologie de l’évaluation
Contenu 50 signes représentatifs forme de citation (hors contexte) possibilité de tester à distance (HTML+e-mail)
Protocole 8 informateurs dont 5 sourds demander l’acception perçue + nombre de visualisations évaluer la distance sémantique et classifier expliciter la (les) raison(s) de non-identification
RésultatsRésultats Tests 1-8 (moyennes)
Evaluation de phrases : marquage des clauses améliorer les expressions non-manuelles implanter les pauses (étude théorique seule) prendre en compte le rythme de production (rupture)
70%
18%
9% 3%
Correct/Proche
Inconnu, différent, hors contexte
Caractéristiques mal perceptibles
Problème de vision (profondeur)
ConclusionConclusion
Création des signes Système de spécification (grammaire formelle) Interface graphique d’édition
Génération de phrases signéesFlexions sur les signes (processus grammaticaux)
Module de synthèse graphique
Avantages par rapport à la vidéo Facilité de création; signes fléchis Compacité de la description textuelle
PerspectivesPerspectives Applications
EAO, en particulier à distance (faible volume nécessaire)
Analyses syntaxique & sémantique traduction Sous-titrage automatique (ex. télétexte) Traduction de pages web
Evolutions du système Rythme de la phrase Synchronisation des articulateurs Fluidité et rendu du signeur
Langage compilé (transcription Smalltalk C++) Avatar volumique expressif piloté en VRML
RemerciementsRemerciements
Membres du jury MM. Pruski et Millot P. Coiffet, F.-X. Nève, S. Gibet, et M. Girod J.-M. Toulotte et B. Cantegrit
Contacts avec le public sourd Association I.V.T. (Vincennes) Association S.I.E. (Lille) C.R.E.S.D.A. de Pont-à-Marcq Association SELOS (Lille)
Membres d’I3D Les (nombreuses) personnes qui m’ont encouragé!
Marqueurs de clausesMarqueurs de clauses
Marqueurs de clauses
Négative Assertive Conditionnelle Interrogative Thématique
Accord agent/patient : DONNERAccord agent/patient : DONNERSign %Donner (agent , patient) .
Manual:
me = HandSpec config: #BecCanard point: #IndexTip at: [UpperTorso FrontCont...
me selectors: Parameter firstPersonSingular.
you = HandSpec config: #BecCanard at: [LowerTorso 70 11] ori: [Supinated].
you selectors: Parameter secondPersonSingular.
Shift from: agent selected
to: patient selected
move: #Linear.
Donner(je,toi) Donner(lui,moi) Donner(tu,lui)
Application : intégration à LACApplication : intégration à LAC
Logiciel multimédia destiné Au public sourd
acquérir des connaissances spécifiques s’entraîner à lire
A tout public se familiariser avec diverses techniques de communication enrichir ses connaissances
Présentation 2 parties d’aspect proche : utilisateur & editeur Accessibilité
LAC + signeur virtuelLAC + signeur virtuel