Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse...
Transcript of Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse...
![Page 1: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/1.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Adverse conditions improve distinguishability of auditory, motor and perceptuo-motor theories of speech perception: an exploratory Bayesian modeling study C. Moulin-Frier(1,2), R. Laurent(1,3), P. Bessière(3,4), J.-L. Schwartz(1), J. Diard(2)
(1) GIPSA-Lab, Département Parole et Cognition (ICP), UMR 5216 CNRS - Université de Grenoble (2) LPNC, UMR 5105 CNRS - Université de Grenoble (3) LIG, UMR 5217 CNRS - Université de Grenoble (4) LPPA, UMR 7152 CNRS - Collège de France, Paris
8 Décembre 2011 http://diard.wordpress.com/ [email protected]
![Page 2: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/2.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Nature des représentations et traitements dans la communication parlée ?
2
![Page 3: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/3.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Situation de communication parlée : objectif
3
Locuteur Auditeur
Objet OS Objet OL
![Page 4: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/4.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Modèle conceptuel de la situation de communication parlée
4
Locuteur Auditeur
Objet OS
Geste articulatoire M
Stimulus acoustique S
Objet OL
Succès de la communication CEnv
![Page 5: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/5.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Modèle conceptuel de la situation de communication parlée
5
![Page 6: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/6.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Dimensions • Objets de communication O
– Ensemble d’objets symboliques
• Espace articulatoire M – 7 degrés de liberté – TB TD LH LP J Apex Lar
• Espace acoustique S – Formants : pics de fréq. – F1 F2 F3
• Validation de la comm. C – Variable booléenne
6
![Page 7: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/7.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Hypothèse de travail : internalisation par l’agent du modèle de la
situation de communication
7
![Page 8: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/8.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Modèle conceptuel d’agent communicant
8
![Page 9: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/9.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Questions • Transformer le modèle conceptuel en modèle
computationnel ?
• Faire le lien entre le modèle computationnel d’agent communicant et les théories existantes ?
• Utiliser le modèle computationnel pour comparer les théories ?
![Page 10: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/10.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Contribution • Transformer le modèle conceptuel en modèle
computationnel ? – Modèle bayésien d’agents communicants
• Faire le lien entre le modèle computationnel d’agent communicant et les théories existantes ? – Théories de la perception et de la production de la parole – Réalisation des théories S, M, et SM par le modèle bayésien
• Utiliser le modèle computationnel pour comparer les théories ? – Théorème d’indistinguabilité en conditions parfaites – Comparaison des modèles en conditions dégradées – Distinguabilité bayésienne des modèles
![Page 11: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/11.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Plan
– Modèle bayésien d’agents communicants
– Théories de la perception et de la production de la parole – Réalisation des théories S, M, et SM par le modèle bayésien
– Théorème d’indistinguabilité en conditions parfaites – Comparaison des modèles en conditions dégradées – Distinguabilité bayésienne des modèles
![Page 12: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/12.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Modèle bayésien πAg
12
P (OSAg MAg SAg OL
Ag CAg)
= P (OSAg)P (MAg | OS
Ag)P (SAg | MAg)P (OLAg | SAg)P (CAg | OS
Ag OLAg)
uniforme U(OS)
système moteur
lien sensori- moteur
système auditif
loi Dirac δOS=OL(CAg)
![Page 13: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/13.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Réalisation de tâches de production et de perception
• Production de la parole – Inférences de la forme P(M | O)
• Perception de la parole – Inférences de la forme P(O | S)
13
![Page 14: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/14.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Tâches de perception P(O | S)
• Objet d’intérêt : OL
– – Processus purement acoustique
• Objet d’intérêt : OS
–
– Connaissances motrices mises en jeu 14
P (OLAg | SAg)
P (OSAg | SAg)
=!
MAg
P (MAg | OSAg)P (SAg | MAg)
P (OSAg MAg SAg OL
Ag CAg)
= P (OSAg)P (MAg | OS
Ag)P (SAg | MAg)
P (OLAg | SAg)P (CAg | OS
Ag OLAg)
![Page 15: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/15.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
15
Réalisation de tâches de production et de perception
![Page 16: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/16.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Plan
– Modèle bayésien d’agents communicants
– Théories de la perception et de la production de la parole – Réalisation des théories S, M, et SM par le modèle bayésien
– Théorème d’indistinguabilité en conditions parfaites – Comparaison des modèles en conditions dégradées – Distinguabilité bayésienne des modèles
![Page 17: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/17.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Théorie motrice de production
• Phonologie articulatoire (Browman & Goldstein, 89)
![Page 18: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/18.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Théorie auditive de production
• Référentiel auditif pour la planification des gestes articulatoires (Guenther et al., 98)
– Cible acoustique • Equivalence motrice
– Expériences Bite block (Savariaux et al., 99)
– Le /r/ américain est acoustique – …
![Page 19: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/19.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Théories motrices de la perception
• Coarticulation (Liberman & Mattingly, 85) – /d/ en contexte /i/ différent acoustiquement
du /d/ en contexte /u/
19
![Page 20: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/20.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
20
Tableau théories
(thèse Moulin-Fier, 2011) (thèse Laurent, 201x)
(Moulin-Frier et al., in press)
![Page 21: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/21.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Plan
– Théories de la perception et de la production de la parole
– Modèle bayésien d’agents communicants – Modèles S, M et SM de la communication
– Théorème d’indistinguabilité en conditions parfaites – Comparaison des modèles en conditions dégradées – Distinguabilité bayésienne des modèles
![Page 22: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/22.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
• Apprentissage supervisé par Master – OS
Master tiré aléatoirement selon P(OSMaster)
– Génération de MMaster selon P(MMaster | OSMaster)
– Propagation dans l’environnement : SAg selon P(SAg | MMaster)
– Transfert sans erreur de OSMaster en OL
Ag
• Réalise
22
P (OLAg | SAg) !
!
MMaster
P (MMaster | OSMaster)P (SAg | MMaster)
Modèle auditif P(OL
Ag | SAg)
![Page 23: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/23.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
• Théorème – des conditions parfaites de communication impliquent une
indistinguabilité des modèles moteurs et auditifs de perception • Preuve
– Modèle auditif
– H1 : l’apprenant a un modèle parfait de la transformation articulatori-acoustique
– H2 : l’apprenant et le maitre ont le même modèle de production
– modèle sensoriel S = modèle moteur M
23
P (OLAg | SAg) !
!
MMaster
P (MMaster | OSMaster)P (SAg | MMaster)
P (MAg | OSAg) = P (MMaster | OS
Master)
P (SAg | MAg) = P (SAg | MMaster)
P (OLAg | SAg) !
!
MAg
P (MAg | OSAg)P (SAg | MAg)
![Page 24: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/24.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Sortir de l’indistinguabilité • Modèles acoustiques et moteurs de perception
distinguables lorsque – Pouvoir d’expression du modèle auditif – H2 faux
• Prototypes moteurs ≠ entre Master et Ag • Accents, idiosyncrasies de prononciation
– Autre scénario d’apprentissage (thèse Moulin-Frier, 11) – H1 faux
• « Mauvais » modèle direct P(SAg | MAg) • Bruit différent pendant l’apprentissage et le test
24
![Page 25: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/25.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
• 2 objets O+ et O-
• Système moteur – Variable motrice M monodimensionnelle
25
P (OSAg MAg SAg OL
Ag CAg)
= P (OSAg)P (MAg | OS
Ag)P (SAg | MAg)
P (OLAg | SAg)P (CAg | OS
Ag OLAg)
![Page 26: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/26.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
• Transformations articulatori-acoustiques – P(SAg | MMaster)
bruit de l’environnement – P(SAg | MAg)
modèle de l’agent du bruit de l’environnement
• Gaussiennes centrées sur la sigmoïde
26
![Page 27: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/27.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Bruit de l’environnement σEnv (ajouté entre l’apprentissage et le test)
27
![Page 28: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/28.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
28
![Page 29: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/29.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Trajectoires monodimensionnelles dans un simulateur réaliste
29
![Page 30: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/30.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Résumé • Modèle bayésien d’agents communicants
– Unifie les théories auditives, motrices et sensorimotrices de la communication parlée
• Théorème d’indistinguabilité – En condition parfaites, les cadres théoriques ne peuvent être
distingués
• Simulation des modèles dans des conditions dégradées – Prédiction expérimentale : conditions pour observer des
différences entre modèles
30
![Page 31: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/31.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
En cours : simulations syllabes • O = {/ba/ /bi/ /bu/ /da/ /di/ /du/ /ga/ /gi/ /gu/} • MV = TB x TD x LH, |MV| = 253
• MC = TB x TD x LH x J x Apex, |MC| = 255
• SV = F1 x F2
• SC = F2 x F3
31
€
OAgL
€
SAgV
€
MAgV
€
OAgS
€
MAgC
€
SAgC
![Page 32: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/32.jpg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
En cours : distinguabilité bayésienne des modèles
32
P (D | x y M1 M2 !1 !2) =!(P (M = M1 ! = !1 | x y)! P (M = M2 ! = !2 | x y))2
![Page 33: Adverse conditions improve distinguishability of auditory ... · J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of… Situation de communication parlée : objectif](https://reader035.fdocuments.net/reader035/viewer/2022071004/5fc0efff3932fd60667db449/html5/thumbnails/33.jpg)
J. Diard — LPNC-CNRS Modélisation Bayésienne de l'interaction entre perception et action
Merci de votre attention !
Questions ?