Le français dans tous les sens La phonétique et la phonologie.
Mercredi 24 juin 2009 Présentation de la plateforme Planning Laboratoire de Phonétique et...
-
Upload
folquet-fontaine -
Category
Documents
-
view
115 -
download
1
Transcript of Mercredi 24 juin 2009 Présentation de la plateforme Planning Laboratoire de Phonétique et...
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
Planning
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
Planning
Les auteurs
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Accueil• Angélique AMELOT• Daniel BRASNU• Nick CLEMENTS• Lise CREVIER• Cécile FOUGERON• Cédric GENDROT• Pierre HALLE• Stéphane HANS• Dana HARTL• Kiyoshi HONDA (EPGG)• Shinji MAEDA (EPGG)
• Gwenaelle LO BUE• Annie RIALLAND• Rachid RIDOUANE• Jacqueline VAISSIERE
• Avec la participation des étudiants et ex-étudiants
• dont• Audrey ACHER
(échographe)• Laurianne GEORGETON
(Qualisys)• Julie MONTAGU (micro
nasal)
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
Planning
Présentation de la plateforme multisenseurs
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Accueil
Présentation générale
Accueil
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
Planning
Présentation de la plateforme multisenseurs
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Accueil
Présentation générale
:Présentation de la plateformeMultisenseurs
Pour assurer les conclusions
Bcp de résultats publiés entachés d’erreurs !!!
Pourquoi multisenseurs?
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
Planning
Présentation de la plateforme multisenseurs
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Accueil
Présentation générale
:Présentation de la plateformemultisenseurs
pour assurer les conclusions
Bcp de résultats publiés entachés d’erreurs
ProductionAcoustiqueperception
Pourquoi multisenseurs?
Mercredi 24 juin 2009
62ème répétition
oM LF
VP le plus bas pour LF
DAN, avec une petite fuite nasale
Chute en fin
Rapport F0 et DAO6
Spectrogramme
Signal Acoustique
fibroscopie
Débit nasal
Débit oral
F0
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
Planning
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Accueil
:
Cependant spécialités du laboratoire dans le domaine acoustique:
a) Cours de spectrogrammes
b) Modélisation articulatoire
Restrictions de cette présentation:
pas l’aspect acoustique !
ProductionAcoustiqueperception
Signal comme intermédiaire entre production et perception
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
Planning
Présentation de la plateforme multisenseurs
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Accueil
Présentation générale
:
Description des langues, dialectes
Voix normales et pathologiques, accents étrangers, expression des attitudes, émotions, etc
Enseignement des langues
Clinique, diagnostic, remédiation
Etc.
Les applications ???
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
Planning
Présentation de la plateforme multisenseurs
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Accueil
Présentation générale
:
10h-11h
11h-13h30
Après-midi
présentation
ateliers
discussions
Le planning de la journée ???
Mercredi 24 juin 2009
Groupe 1
Groupe 2
Groupe 3
Groupe 4
Groupe 5
Atelier 1 Atelier 2 Atelier 3 Atelier 4 Atelier 5
Atelier 2 Atelier 3 Atelier 4 Atelier 5
Atelier 3 Atelier 4 Atelier 5
Atelier 4 Atelier 5
Atelier 5 Atelier 1 Atelier 2 Atelier 3 Atelier 4
Atelier 3 Atelier 4 Atelier 5
Atelier 1 Atelier 2
Atelier 1
11h 11h30 12h 12h30 13h
Atelier 1 Atelier 2 Atelier 3 Atelier 4 Atelier 5
EVA/EGG EPGG PIEZO/MICRONASAL/INTENSITE
PERCEPTION/BASES DE DONNEES
ECHOGRAPHE
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
Planning
Présentation de la plateforme multisenseurs
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Accueil
Présentation générale
Collaboration
Formations
Et après ???
Visite partie labo Hôpital Européen Georges Pompidou
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
Planning
Présentation de la plateforme multisenseurs
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Accueil
Présentation générale
:Deux sites
HEGP
ILPGA
Mercredi 24 juin 2009
1) HEGP
Hopital Européen Georges Pompidou
ORL
Professeur Daniel Brasnu
Mercredi 24 juin 2009
INSTRUMENTATION : endoscope
INSTRUMENTATION : stroboscope
INSTRUMENTATION : Camera ultra rapide
INSTRUMENTATION : Photonasodétecteur
HEGP
Mercredi 24 juin 2009
INSTRUMENTATION : endoscope
INSTRUMENTATION : stroboscope
INSTRUMENTATION : Camera ultra rapide
INSTRUMENTATION : Photonasodétecteur
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
PHOTONASODETECTEUR
INSTRUMENTATION : Photonasodétecteur
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Parois pharyngée postérieureParois pharyngées latéralesVelum
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
PHOTONASODETECTEUR
INSTRUMENTATION : Photonasodétecteur : Permet d’estimer l’ouverture du port vélopharyngé
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Parois pharyngée postérieureParois pharyngées latérales
Velum
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
Un capteur de lumière (en dessous du voile du palais)
Une source de lumière (diffusé à travers un fibroscope ou une ampoule)
PRINCIPE
Présentation de la plateforme
PHOTONASODETECTEUR
Les mesures portent sur la différence de quantité de lumière en sortie
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
HISTORIQUE
Inventé par John Ohala
Présentation de la plateforme
PHOTONASODETECTEURFabriqué au LPP en 2006
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
PRISE DE DONNEES
Présentation de la plateforme
PHOTONASODETECTEUR
20
Durée de la voyelle nasale VN
Durée de l’ouverture OV
Durée du mouvement vélaire MV
d a d Vn d a
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
PRISE DE DONNEES (2)
Dispositif invasif : Enregistrements à l’hôpitalTraitement des données sur Matlab
Présentation de la plateforme
PHOTONASODETECTEURDegré d’ouverture
Amplitude du mouvement
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
TRAVAUX EN COURS
Présentation de la plateforme
PHOTONASODETECTEUR
Estimation du degrés d’ouverture du port vélopharyngé durant la production des voyelles et des consonnes du français
Mesure du temps de réaction du capteur
Mercredi 24 juin 2009
2) ILPGAa) Les instrumentations sans
ateliers
INSTRUMENTATION : Electrophographie
INSTRUMENTATION : Qualisys
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
Palatographie dynamique
INSTRUMENTATION : Electropalatographie
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
ILPGA
5
Mercredi 24 juin 2009
BILAN
PRINCIPE
La palatographie permet de visualiser le contact de la langue sur le palais et donc d’étudier l’articulation des consonnes linguales et des voyelles (hautes).
Présentation de la plateforme
Electropalatographie (EPG)/t/ dans "moteur" force habituelle
/t/ dans "tant" prononciation énergique
En palatographie statique, la langue (enduite d’un mélange coloré) laisse une empreinte sur le palais, que l’on photographie à l’aide d’un miroir inséré dans la bouche du sujet après chaque articulation.
Limite : l’articulation d’un seul son, à un moment T, peut être étudiée à chaque prise de vue.
R. Katiwada
LPP 19, rue des Bernardins75005 Paris
5
Mercredi 24 juin 2009
BILAN
PRINCIPE
Présentation de la plateforme
Electropalatographie (EPG)
La palatographie dynamique (EPG) permet d’enregistrer le contact de la langue sur le palais au cours du temps.
A chaque contact de la langue sur les électrodes, un signal électrique est envoyé à l'ordinateur et le contact apparaît sur une représentation stylisée du palais à l'écran.
Le locuteur porte un palais artificiel, fabriqué à partir de son empreinte dentaire, couvert d'électrodes et relié à un ordinateur.
5
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
Présentation de la plateforme
Electropalatographie (EPG)
Le système EPG au LPP est l’EPG3 (Reading) et les données sont acquises avec le logiciel Articulate Assistant (A. Wrench Articulate Instrument).
Les palais artificiels sont fabriqués pour chaque locuteur à partir d’une empreinte dentaire. En résines acryliques (épaisseur env. 1,5 mm), ils sont couverts de 62 électrodes.
Palais artificiel sur son empreinte
position des électrodes
sur l’empreinte dentaireLocuteurs ayant un palais au LPP: 6 français, 1 américain
et 4 berbères. (Grove Orthodontics)
PRISE DE DONNEES (1)
Mercredi 24 juin 2009
BILAN
DONNEES (1)
Présentation de la plateforme
Electropalatographie (EPG)
Des données spatio-temporelles permettant une description de l’articulation des consonnes, des voyelles (hautes), de la coarticulation...
• des informations spatiales : la localisation du contact sur le palais, son étendue et sa forme renseignent sur le lieu, le degré et la forme de la constriction…
Consonnes françaises (contexte /a_a/)
Mercredi 24 juin 2009
BILAN
DONNEES (2)
Présentation de la plateforme
Electropalatographie (EPG)
•des informations temporelles sur le déroulement de l’articulation permettent de décrire différentes phases articulatoires : ex. apparition du contact linguopalatal, formation de la constriction, relâchement…
temps
Mercredi 24 juin 2009
BILAN
DONNEES (3)
Présentation de la plateforme
Electropalatographie (EPG)
•des informations temporelles sur la coordination entre évènements articulatoires appartenant à des sons en contexte (alignement, chevauchement)
sequence /tk.t/, berbère
Mercredi 24 juin 2009
BILAN
DONNEES BRUTES (4)
Présentation de la plateforme
Electropalatographie (EPG)
Différents types de mesures
timeC1on
C2on
C3on
C1off
C2off
closure closure
max maxonset onset
acousticclosure
acousticrelease
epgclosure
b
a
%C2 overlaped by C3
%C2 overlaped by C1
% contactbackfront
/nk.ti/ 01-3, B
timeC1on
C2on
C3on
C1off
C2off
closure closure
max maxonset onset
acousticclosure
acousticrelease
epgclosure
b
a
%C2 overlaped by C3%C2 overlaped by C3
%C2 overlaped by C1%C2 overlaped by C1
% contactbackfront
/nk.ti/ 01-3, B
Mercredi 24 juin 2009
AVANTAGES
- Peu invasif- Mise en place rapide (avec une adaptation au palais
nécessaire pour le sujet) - Analyse relativement facile- Bonne résolution temporelle (fréquence
d’échantillonnage : 100Hz, buffer d’acquisition : 20 sec.)
- Possibilité de coupler avec une autre instrumentationLIMITES
- Coût des palais artificiels spécifiques à chaque locuteur
- L’articulation linguopalatale visible est limitée à la zone couverte par le palais (dento-alvéolaire à vélaire)
Présentation de la plateforme
Electropalatographie (EPG)
5
Mercredi 24 juin 2009
BILAN
Présentation de la plateforme
Electropalatographie (EPG)
En palatographie dynamique : • Articulation des consonnes en fonction de leur
position dans la syllabe en berbère• Cohésion gestuelle au sein de la syllabe• Clusters sous-jacents et séquences consonantiques
issues de la chute de schwa
Avec la palatographie statique :• Articulation des rétroflexes en népali – R. Khatiwada• Articulation des emphatiques en arabe marocain –
K. Shoul• Articulation de patients suivant anastomose hypoglosso-
faciale – Gatignol, Fougeron et al.
TRAVAUX EN COURS AU LPP
Mercredi 24 juin 2009
BILAN
Présentation de la plateforme
Electropalatographie (EPG)
RESSOURCES, QUE LIRE?
Références LPP Fougeron, C. & Ridouane, R. (2008). On the phonetic implementation of syllabic consonants and vowel-less syllables in Tashlhiyt. Estudios de Fonética Experimental 18, 139-175.
Fougeron C. (2001) Articulatory properties of initial segments in several prosodic constituents in French. Journal of Phonetics, 29(2), 109-135.
Fougeron C., Meynadier, Y. & Demolin D. (2000). 62 vs. 96 electrodes : a comparative analysis of Reading and Kay Elemetrics EPG pseudo-palates. Proc. 5th Speech Production Workshop. Kloster Seeon, Germany.
Références extérieures Hardcastle, W. (1972). The use of electropalatography in phonetic research. Phonetica, 25, 197-215.
Marchal, A. (1988). La palatographie. Marseille: C.N.R.S. Recasens D. (1991). An electropalatographic and acoustic study of consonant-to-vowel coarticulation. J. of Phonetics, 19,77-192.
Gibbon, F. & Nicolaidis, K. (1999). Palatography. In W. J. Hardcastle & N. Hewlett (eds.), Coarticulation: Theory, Data and Techniques, 229-244. Cambridge: CUP.
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
Palatographie dynamique
INSTRUMENTATION : Qualisys
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
ILPGA
?6
Mercredi 24 juin 2009
BILAN
PRINCIPE
Le Qualisys permet d’enregistrer le déplacement de marqueurs positionnés sur le visage/corps du locuteur
et donc d’étudier les mouvements des organes sur lesquels ces marqueurs sont placés (lèvres, sourcils, mains…).Présentation de la
plateformeMotion capture Qualisys
Études sur l’articulation labiale des sons, sur la coarticulation labiale, sur les mouvements de la mâchoire… Études sur la gestuelle, le pointage, les émotions/attitudes, les contrastes perceptibles sur le visage, l’intégration des informations audio et visuelles…
6
Mercredi 24 juin 2009
BILAN
PRINCIPE
Présentation de la plateforme
Motion capture Qualisys
Des caméras, placées autour du locuteur, émettent un rayonnement infrarouge qui est réfléchi par des marqueurs positionnés à des positions cibles sur le locuteur. Ce rayonnement est alors capté simultanément par ces mêmes caméras sous des angles différents de façon à permettre une reconstruction 3D de la position des marqueurs.
6
Mercredi 24 juin 2009
BILAN
Présentation de la plateforme
Motion capture Qualisys
Le LPP est équipé de 4 caméras Oqus 3 permettant une capture à 500Hz.
PRISE DE DONNEES (1)
Des marqueurs réfléchissants passifs de différentes tailles sont collés avec un adhésif double face sur le visage/corps du locuteur à des positions cibles (lèvres, sourcils, mains…)
Mercredi 24 juin 2009
BILAN
Présentation de la plateforme
Motion capture Qualisys
En plus des capteurs cibles, on positionne des capteurs relativement fixes de façon à pouvoir calculer la position des capteurs cibles relativement à un référentiel stable, afin de compenser pour des mouvements parasites comme les mouvements de la tête du sujet.
PRISE DE DONNEES (3)
Ici un référentiel x, y, z est calculé à partir de 5 capteurs : arrête du nez, front droit et gauche, tempes droite et gauche (sur microcasque)
La position des capteurs sur les lèvres est calculée par rapport à ce référentiel
6
Mercredi 24 juin 2009
BILAN
Présentation de la plateforme
Motion capture Qualisys
Un long travail de préparation (essentiel pour un bon suivi des marqueurs) :
• Positionnement et calibration des caméras = env. 1h• Préparation du sujet : ex. mise en place de 10 capteurs réfléchissants = env. 20 min.
PRISE DE DONNEES (4)
6
Mercredi 24 juin 2009
BILAN
Présentation de la plateforme
Motion capture Qualisys
Enregistrement des données vidéo 3D par le logiciel QTM (Qualisys Track Manager)
DONNEES BRUTES
Analyse des données (matrices de coordonnées x, y, z donnant la position des marqueurs) sous QTM ou Matlab
6
Mercredi 24 juin 2009
BILAN
DONNEES BRUTES
Étirement des lèvres pour les voyelles /a, u, y, i/ dans
différentes émotions actées (L. Georgeton 2009)
6
Mercredi 24 juin 2009
BILAN
Présentation de la plateforme
Motion capture Qualisys
RESSOURCES, QUE LIRE?
Référence LPP Lauriane Georgeton (2009), Etude acoustique, perceptive et articulatoire (mouvements des lèvres) lors d’émotions simulées en français. Mémoire de M2, LPP, dir. J. Vaissière
Références extérieures• Barbu-Roth, M., Anderson, D.I., Després, A., Provasi, J., & Campos, J.J. (2009). Neonatal stepping in relation to terrestrial optic flow. Child Development, 80(1), 8-14.
• J. Jiang, A. Alwan , L. E. Bernstein , P. Keating (2000) On the Correlation between Facial Movements, Tongue Movements and Speech, Proc of ICSLP2000
• G. Svanfeldt, M. Nordstrand, B. Granström, & D. House (2003) Measurements of articulatory variation in expressive speech PHONUM 9 (2003), 53-56
• J. Beskow, O. Engwall & B. Granström (2003) Simultaneous measurements of facial and intraoral articulation, PHONUM 9 (2003), 57-60
Mercredi 24 juin 2009
2) ILPGAb) Les instrumentations avec
ateliers
1) EVA/EGG
2) ECHOGRAPHE
4) PIEZO/MICRONASAL/INTENSITE
3) EPGG
5) PERCEPTION/BASES DE DONNEES
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Presentation de la plateformeLes ateliers
Présentation de la plateforme multisenseurs
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Accueil
Présentation générale
Les ateliers
ILPGA
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Presentation de la plateforme
EVA/EGG
5 ateliers
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
1) EVA/EGG
2) ECHOGRAPHE
4) PIEZO/MICRONASAL/INTENSITE
3) EPGG
5) PERCEPTION/BASES DE DONNEES
Salle Mac
Salle PC
Chambre sourde
ILPGA
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
EVA/EGG
INSTRUMENTATION : EVA
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
ILPGA
A
Atelier 1A
Chambre sourde
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
EVA/EGG
INSTRUMENTATION : EGG
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
ILPGA
B
Atelier 1B
Chambre sourde
Alexis Michaud
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Presentation de la plateforme
ECHOGRAPHE
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
A) EVA/EGG
B) ECHOGRAPHE
D) PIEZO/MICRONASAL/INTENSITE
C) EPGG
E) PERCEPTION/BASES DE DONNEES
Salle Rousselot
C
ILPGA
Atelier 2
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
ECHOGRAPHE
INSTRUMENTATION : ECHOGRAPHE
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
ILPGA
C
Atelier 2
Salle Rousselot
Mercredi 24 juin 2009
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
PLATEFORME PEP2 Echographie
Mercredi 24 juin 2009
ILPGA
C
Atelier 2
Salle Rousselot
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
Echographie
1. On applique une sonde contre la peau en regard de l’organe à explorer (ici la langue).
2. Cette sonde émet des ultrasons qui traversent les tissus puis lui sont renvoyés sous la forme d’un écho.
3. Ce signal, une fois recueilli, est analysé par un système informatique qui retransmet en direct une image sur un écran vidéo.
Principe
Technique d'imagerie employant des ultrasons :
C
Atelier 2
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
Echographie
La station est constituée :
- d’une sonde : émet et reçoit les ultrasons - d’un échographe (Mindray DP 6600)
Prises de données
Machine ultrason Mindray DP 6600
-d’un casque (optionnel) pour fixer la sonde par rapport aux mouvements de la tête.- Les données sont transmises à un PC via une carte vidéo et un système d’acquisition (AAA) qui permet la synchronisation des vidéo (30i/s) avec le son.
Casque
Sonde
Atelier 2
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
Echographie
Données brutes
Séquence vidéo de quelques formes contenant des dentales pharyngalisées [iDDi, aDDa, uDDu]
Atelier 2
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
Echographie
Analyse (AAA, A. Wrench, Articulate Instrument)
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
Echographie
Analyse des données (illustration)
Tongue
heig
ht
3
3,5
4
4,5
5
5,5
6
6,5
7
7,5
8
2 3 4 5 6 7 8 9 10
2
3
4
5
1
6
1
2
3
4
5
Moy
/dd/ from [iddi]/DD/ from [iDDi]
Back Tongue Front
Pharyngalisation pendant la tenue de la consonne : élévation et rétraction du dos de la langue + abaissement de la partie antérieure de la langue (tirées de Ridouane 2009)
Configuration de la langue pendant la tenue des dentales simples et pharayngalisées du berbère
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
AVANTAGES
- Non-invasive, - Acquisition relativement confortable pour les sujets, - Possibilité d’acquérir des données très larges,- Visualization directe de la forme de la langue,- Coût de plus en plus abordable,- Possibilité de coupler avec une autre instrumentation (e.g. EPG)- Possibilité d’amélioration…
Défis
- Localisation du palais- Alignement temporel audio/vidéo
Echographie
Atelier 2
Mercredi 24 juin 2009
BILAN
DOMAINES D’APPLICATIONS
• Typologie, description des langues et des dialectes
• Clinique/orthophonie : diagnostic, remédiation
• Modélisation articulatoire pour synthèse de la parole
• Enseignement des langues
• Etc.
EchographieLPP 19, rue des Bernardins75005 Paris
Atelier 2
Mercredi 24 juin 2009
BILAN
• Caractéristiques articulatoires de différents types de segments (voyelles nasales et orales en français, emphatiques en berbère et en arabe, rétroflexes en népali, éjectives et uvulaires en lezgi, voyelles ATR en kabiye et en koulango).
• Comparaison de la parole normale et de la parole pathologique de patients hémiglossectomisés.
• Analyse des clusters sous-jacents et séquences consonantiques issues de la chute de schwa (e.g. berbère, arabe, lezgi)
TRAVAUX EN COURS
Echographie• Collaborations extérieures: - Ioana Chitoran (Dartmouth College) - Khalil Iskarous (Haskins Laboratories, Yale) - Chakir Zeroual (Université Taza, Maroc) - Balaïbalou Kassan (Université Kara, Togo) - Enoc Kra (Université Cocody, Abidjan)
LPP 19, rue des Bernardins75005 Paris
Atelier 2
Mercredi 24 juin 2009
BILAN
RESSOURCES, QUE LIRE?
Références LPP Ridouane, R. (2009). Pharyngealization and pharyngeals in Tashlhiyt Berber: A descriptive and comparative study. International Workshop on Pharyngeals and Pharyngealisation, Royaume-Uni - [halshs-00384932 − version 1]
Acher, A. (2009). Etude perceptive et articulatoire de la parole à partir de données échographiques en 2D: comparaison de la parole normale et de la parole pathologique de patients hémiglossectomisés [Mémoire M2]
Fougeron, C. & Ridouane, R. (2008). On the nature of schwa-like vocalic elements within some Berber clusters. In Proceedings of the eighth International Seminar on Speech Production (ISSP'08) - [halshs-00384898 − version 1]
Références extérieures• Bressmann, T., Uy, C., & Irish, J. (2005). Analysing normal and partial glossectomee tongues using ultrasound. Clinical Linguistics and Phonetics, 19, 35-52.
• Stone, Maureen (2005). A guide to analysing tongue motion from ultrasound images. Clinical Linguistics and Phonetics, 19, 455-501.
EchographieLPP 19, rue des Bernardins75005 Paris
Atelier 2
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Presentation de la plateforme
EPGG
5 ateliers
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
1) EVA/EGG
2) ECHOGRAPHE
4) PIEZO/MICRONASAL/INTENSITE
3) EPGG
5) PERCEPTION/BASES DE DONNEES
Salle Rousselot
ILPGA
D
s a s a
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
ePGG
INSTRUMENTATION : ePGG (external lighting & sensing Photo-GlottoGraph)
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Inventée par Kiyoshi HONDA & Shinji MAEDA
Brevet, « Photoéletroglottographie non inversive par éclairage diffus », en cours
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
S’appuyant sur la transillumination travers de la glotte,la source (LED haute luminosité) est placée sur la peau du cou au-dessus de la glotte et le capteur (la photodiode) au-dessous de la glotte Non invasive
PRINCIPE
Permet de voir les activités glottiques,comme adductions/abductions (sourde/sonore)et oscillations des plis vocaux durant le voisement
Présentation de la plateforme
ePGG
Dash8
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
HISTORIQUE
De la méthode invasive à non invasive
Présentation de la plateforme
ePGG
Photoglottographie (PGG) via fibroscopie a été invasive et limitée à des corpus sans voyelles et consonnes postérieures
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
Corpus : paires des cibles avec ceteris paribus (all other things being equal), car des signaux ePGG sont affectées par l’articulation et par la variation de hauteur de larynx
PRISE DE DONNEES (1)
Présentation de la plateforme
ePGG
Photodiode surle cou au-dessous de la glotte
Source de lumière est maintenue par la main au-dessus de la glotte
Visualisation en temps réel des signaux parole et ePGG sur l’enregistreur numérique, Dash8
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
PRISE DE DONNEES (2)
Présentation de la plateforme
ePGG
Empreinte de la source de lumière avec les 2 LEDs
Empreinte de la photodiode surle cou au-dessus de la glotte, entre le cartilage thyroïdien et cricoïdien
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
DONNEE BRUTE (1)
Présentation de la plateforme
ePGG
s a s a
Remarques :• LED_IR a été utilisée dans cette acquisition• Visualisation par un Matlab script ‘dash8view.m’
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
DONNEE BRUTE (2)
Présentation de la plateforme
ePGG
s a ss a
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
COMPATIBILITE AVEC AUTRES INSTRUMENTS
Excellent :
• EGG
• Palatographe dynamique
• Nasographe
• Pneumotachographe (débit d’air oral et nasal)
• Echographe ultra-son
• Motion-capture
Présentation de la plateforme
ePGG
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
DOMAINES D APPLICATIONS
• Phonétique : prosodie et leur interaction avec segmental
• Clinique/orthophonie : diagnostic et rééducation de la parole, et bégaiement
• Contrôle de la qualité des voix : parole et chant
• Source glottique pour synthèse de la parole
• Enseignement des langues
• etc….
Présentation de la plateforme
ePGG
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
TRAVAUX EN COURS
Présentation de la plateforme
ePGG
Adaptation de la source de lumière aux locuteurs par des catégorie:
Locuteurs transparents : jeunes femmes (1 LED)
Locuteurs normaux : femmes/hommes (2 LEDs)
Locuteurs costaux : jeunes hommes (4 LEDs)
Méthode de la fixation de la source de lumière pour gagner la stabilité de la position et l’orientation, et libérer le main
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BILAN
Référence LPPHonda, K. & Maeda, S. (2008). Glottal-opening and airflow pattern during production of voiceless fricatives: A new non-invasive instrumentation. Presented at the ASA meeting in Paris. (abstract)
Yeou, M., Honda, K. & Maeda, S. (2008). Laryngeal adjustments in the production of consonant clusters and geminates in Moroccan Arabic. 8th International Seminar on Speech Production, Strasbourg, France,
Références extérieuresSawashima, M. (1968). Movement of the larynx in articulation of Japanese consonants. Ann. Bull. No. 2, Res. Inst. Logopedics and Phoniatrics. 11-20. (http://www.umin.ac.jp/memorial/rilp-tokyo/)
Sawashima, M. (1969). Deviced syllables in Japanese – A preliminary study by photoelectric Glottography. Ann. Bull. No. 3, Res. Inst. Logopedics and Phoniatrics. 35-41.
Lisker, L., Abramson, A.S., Cooper, F.S., & Schvey, M.H. (1969). Transillumination of the larynx in running speech. J. Acoust. Soc. Am., 45, 6, 1544-1546.
Hoole, Ph. (1997). Techniques for investigating laryngeal articulation and voice-source, Section 1: Investigation of the devoicing gesture. FIPKM, 35, 101 – 106.
RESSOURCES, QUE LIRE?
Présentation de la plateforme
ePGG
Mercredi 24 juin 2009
Kiyoshi HONDA : [email protected]
Shinji MAEDA : [email protected]
LPP 19, rue des Bernardins75005 Paris
BILAN
CORRESPONDANT
Présentation de la plateforme
ePGG
Futurs utilisateurs bienvenus
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Presentation de la plateforme
ateliers
5 ateliers
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
1) EVA/EGG
2) ECHOGRAPHE
4) PIEZO/MICRONASAL/INTENSITE
3) EPGG
5) PERCEPTION/BASES DE DONNEES
Salle Mac
Salle PC
Chambre sourde
Salle Rousselot
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
PIEZO/MICRONASAL/INTENSITE
INSTRUMENTATION : PIEZO/MICRONASAL/INTENSITE
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
ILPGA
F
Atelier 4
Mercredi 24 juin 2009
76Mercredi 24 juin 2009
Pré
senta
tion d
e la
pla
tefo
rme
AC
OU
STIQ
UE D
U C
ON
DU
IT N
AS
ALINSTRUMENTATION :
Acoustique du conduit nasal
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Accéléromètre piezoélectrique
Microphone nasal
Deux méthodes , deux résultats comparables
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
PIEZO/MICRONASAL/INTENSITE
INSTRUMENTATION : PIEZO/MICRONASAL/INTENSITE
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
ILPGA
F
Atelier 4
Mercredi 24 juin 2009
78
LPP 19, rue des Bernardins75005 Paris
BIL
AN
Twin SpotFixé au moyen d’un adhésif sur l’os latéral du nez
Relié à un préampli, lui-même relié à une carte d’acquisition
Le signal enregistré est couplé avec le signal acoustique oral
Nécessité d’un micro casque pour l’exploitation des données
PRINCIPE (accéléromètre piezoélectrique)Pré
senta
tion d
e la
pla
tefo
rme
Acc
élé
rom
ètr
e p
iezo
éle
ctri
qu
e
L’interprétation des données dépend du ratio entre les deux amplitudes des signaux
L’interprétation des données dépend du ratio entre les deux amplitudes des signaux
Mercredi 24 juin 2009
79
LPP 19, rue des Bernardins75005 Paris
BIL
AN
HISTORIQUE (accéléromètre piezoélectrique) Pré
senta
tion d
e la
pla
tefo
rme
Acc
élé
rom
ètr
e p
iezo
éle
ctri
qu
e Première utilisation par K. Stevens (1975)
Utilisation par le LPP à partir de 2007 Diamètre de la pastille = ½”
Mercredi 24 juin 2009
80
LPP 19, rue des Bernardins75005 Paris
BIL
AN
PRISE DE DONNEES (accéléromètre piezoélectrique) Pré
senta
tion d
e la
pla
tefo
rme
Acc
élé
rom
ètr
e p
iezo
éle
ctri
qu
e
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
PIEZO/MICRONASAL/INTENSITE
INSTRUMENTATION : PIEZO/MICRONASAL/INTENSITE
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
ILPGA
F
Atelier 4
Mercredi 24 juin 2009
82
LPP 19, rue des Bernardins75005 Paris
BIL
AN
Écouteur intra-auriculaire utilisé comme micro nasal
3 différents embouts adaptables à la physiologie de chaque locuteur
Enregistrement simultané du signal acoustique nasal et du signal de parole global (oral+nasal)
PRINCIPE (microphone nasal)Pré
senta
tion d
e la
pla
tefo
rme
Mic
rop
hon
e n
asa
l
Permet de visualiser le début de la nasalisation et de mesurer précisément la coarticulation nasale
Mercredi 24 juin 2009
83
LPP 19, rue des Bernardins75005 Paris
BIL
AN
HISTORIQUE (microphone nasal)Pré
senta
tion d
e la
pla
tefo
rme
Mic
rop
hon
e n
asa
lMéthodologie utilisée par l’abbé Rousselot)
Enregistrement de la « voix » avec une embouchure et de la sortie nasale à l’aide d’une petite olive introduite dans une narine (l’autre restant libre)
Mercredi 24 juin 2009
84
LPP 19, rue des Bernardins75005 Paris
BIL
AN
PRISE DE DONNEES (microphone nasal)Pré
senta
tion d
e la
pla
tefo
rme
Mic
rop
hon
e n
asa
l
Dn = Durée de la partie nasalisée
Dv = Durée totale de la voyelleSignal global
Signal nasal
Signal de parole (en haut) et signal nasal (en bas) de la voyelle [a] contextuellement nasalisée dans la syllabe [pam]
Pourcentage de nasalisation = (Dn/Dv)*100
Nasalisation anticipatoire : cvN
[ p a m ]
Mercredi 24 juin 2009
LPP 19, rue des Bernardins75005 Paris
BIL
AN COMPARAISON entre l’accéléromètre piézoélectrique et
le microphone nasalPré
senta
tion d
e la
pla
tefo
rme
Com
para
ison e
ntr
e l’a
ccélé
rom
ètr
e
pié
zoéle
ctri
qu
e e
t le
Mic
roph
on
e n
asa
l
Mercredi 24 juin 2009
86
Pré
senta
tion d
e la
pla
tefo
rme
PIE
ZO
/MIC
RO
NA
SA
L/IN
TE
NS
ITE
F
RESSOURCES, QUE LIRE?
Référence LPPMontagu, J. (2007). « Étude acoustique et perceptive des voyelles nasales et nasalisées du français parisien ». Université de la Sorbonne Nouvelle/ Paris 3. Thèse de phonétique, Chapitre III : Méthodologie, p106 à 121.
Montagu, J. (2007). « Temporal extent of nasalization relative to the tongue articulation in French oral vowels followed by nasal consonants ». In Proceedings of the 26th International Congress of Phonetic Sciences, Saarbrücken (Allemagne), 621-624.
Montagu J., (2009). Relation entre le retard de nasalisation au début des voyelles nasales du français et le voisement des consonnes précédentes. Colloque international sur la nasalité en phonétique et en phonologie, Montpellier, 5 juin 2009.
Références extérieuresRousselot J.P., Abbé (1902). « Action du voile du palais dans les nasales françaises », Parole.
Ohala J. J. (1975). « Phonetic explanations for nasal sound patterns ». In Ferguson C. A., Hyman L. M. and Ohala J. J. (eds), Nasàlfest: Papers from a Symposium on Nasals and Nasalization. Stanford: Language Universals Project, 289-316.
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
INTENSITE
INSTRUMENTATION : PIEZO/MICRONASAL’INTENSITE
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
ILPGA
F
Atelier 4C
Mercredi 24 juin 2009
88Mercredi 24 juin 2009
Pré
senta
tion d
e la
pla
tefo
rme
Casq
ue p
our
enre
gis
trem
ents
INSTRUMENTATION : Casque pour enregistrements auprès d’une
population pédiatrique
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
Antenne de l’implantcochléaire
Microphone et émetteur porté derrière l’oreille
Mercredi 24 juin 2009
89
LPP 19, rue des Bernardins75005 Paris
BIL
AN
Utilisation d’un tour de tête ergonomique et adapté à une population d’enfants porteur d’un implant cochléaire et d’une prothèse controlatérale
Fixation d’un microphone dans une configuration similaire à l’utilisation d’un micro-casque : important dans le cas de mesures acoustiques d’intensité
PRINCIPEPré
senta
tion d
e la
pla
tefo
rme
Casq
ue p
our
enre
gis
trem
ents
Faciliter la prise de données acoustiques
Prothèse controlatérale
Mercredi 24 juin 2009
90
LPP 19, rue des Bernardins75005 Paris
BIL
AN
HISTORIQUE
Inspiré du headset device du Nasometer II, modèle 6450, KayPentax (1986)
Pré
senta
tion d
e la
pla
tefo
rme
Casq
ue p
our
enre
gis
trem
ents
Fabrication au LPP par A. Amelot & C. Legendre, thésarde, 2009
Salle Mac
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Presentation de la plateforme
PERCEPTION/BASES DE DONNEES
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
1) EVA/EGG
2) ECHOGRAPHE
4) PIEZO/MICRONASAL/INTENSITE
3) EPGG
5) BASES DE DONNEESPERCEPTION Salle Mac
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
BASES DE DONNEES
INSTRUMENTATION : BASES DE DONNEES
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
D
Atelier 5A
• Préparation de corpus (en français notamment)
– Reconnaissance automatique (en mots) de la parole
– Alignement automatique en phonèmes, en syllabes.
– Transcription en catégories grammaticales
– Découpage en syntagmes
Salle Mac
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
BASES DE DONNEES
INSTRUMENTATION : BASES DE DONNEES
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
D
Atelier 5A
Objectifs :
tester/valider des théories phonétiques sur de grandes quantités de données – réduction phonologique– coarticulation/réduction phonétique– relation segmental/suprasegmental– distribution des systèmes phonologiques
Salle Mac
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
BASES DE DONNEES
INSTRUMENTATION : BASES DE DONNEES
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
D
Atelier 5A
Validation par la synthèse • Synthèse totale (30aine de langues)
– Copie à l'identique– Modification de paramètres prosodiques– Modifications segmentales / phonotactiques
• Modification sur stimuli naturels (toutes langues)
– transplantation de la prosodie d'une langue/phrase à 1 autre– Modifications d'un ou plusieurs paramètres prosodiques
Salle Mac
Mercredi 24 juin 2009
segmental espagnol avec f0 & durée italienne
segmental italien avec f0 & durée espagnole
manipulation de la f0
manipulationde la durée
manipulation de la f0
manipulationde la durée
phrases re-synthétisées
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
BASES DE DONNEES
INSTRUMENTATION : BASES DE DONNEES
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
D
Atelier 5A
• Ces stimuli peuvent ensuite être testés perceptivement.
Objectifs : – un contour prosodique est-il distingué ? – le rythme suffit-il à identifier une langue ?– un meilleur contrôle des paramètres– etc.
Relation naturelle avec la psycholinguistique/perception de la parole
Salle Mac
Mercredi 24 juin 2009
Mercredi 24 juin 2009
Présentation de la plateforme
PERCEPTION/BASES DE DONNEES
INSTRUMENTATION : PERCEPTION
Laboratoire de Phonétique et PhonologieUMR 7018 (CNRS, Sorbonne Nouvelle)
ph
ILPGA
D
En attente
Atelier 5A
DOMAINES
• psycholinguistique : détection de phonème (ou de fragment) ; décision lexicale (visuel, auditif, inter-modal) ; naming ; gating ; etc.
• perception phonétique : catégorisation, discrimination (continua / tokens naturels) ; etc.EQUIPEMENTS
• station fixe DOS / Ubuntu : programmes de pilotage d’expérience, recueil et analyse des données on-line et off-line
• postes mobiles : DMDX, Eprime (Windows) ; SuperLab, PsyScope (Mac OS X) ; Praat, MatLab (toutes plateformes)
principe de la mesure des temps de réponse
carte son OROS : temps échantillon numérique
démos (station DOS)
(1) auditory lexical decision, (2) phoneme monitoring, (3) cross-modal priming
ph
Salle Mac
Mercredi 24 juin 2009
Atelier 1
Atelier 2
Atelier 3
Atelier 4
Atelier 5 Salle Mac
Salle Rousselot
Salle PC
Chambre sourde EVA/EGG
ECHOGRAPHE
PIEZO/MICRONASAL/INTENSITE
EPGG
PERCEPTIONBASES DE DONNEES
Mercredi 24 juin 2009
Groupe 1
Groupe 2
Groupe 3
Groupe 4
Groupe 5
Atelier 1 Atelier 2 Atelier 3 Atelier 4 Atelier 5
Atelier 2 Atelier 3 Atelier 4 Atelier 5
Atelier 3 Atelier 4 Atelier 5
Atelier 4 Atelier 5
Atelier 5 Atelier 1 Atelier 2 Atelier 3 Atelier 4
Atelier 3 Atelier 4 Atelier 5
Atelier 1 Atelier 2
Atelier 1
11h 11h30 12h 12h30 13h
Atelier 1 Atelier 2 Atelier 3 Atelier 4 Atelier 5
EVA/EGG EPGG PIEZO/MICRONASAL/INTENSITE
PERCEPTION/BASES DE DONNEES
ECHOGRAPHE
Mercredi 24 juin 2009
Merci de votre attention
Ppt sur le webUne fiche disponible par instrumentation
Mercredi 24 juin 2009
Et maintenant les ateliers
LPP 19, rue des Bernardins75005 Paris
BILANBienvenue cet après-midi
Et après ..