Mariapaola D’Imperio LPL, CNRS & Université de Provence
-
Upload
charde-lynn -
Category
Documents
-
view
26 -
download
3
description
Transcript of Mariapaola D’Imperio LPL, CNRS & Université de Provence
Interprétation linguistique du contour intonatif : méthodes acoustiques,
physiologiques et psycholinguistiques
Mariapaola D’ImperioLPL, CNRS & Université de Provence
16 mars 2007 – Université Paris VII
2
Plan de l’exposé1. Introduction
- Cadre general:a. Phonologie de laboratoire et phonologie intonative b. Théorie Autosegmentale-Metrique (AM theory)
2. Le contour intonatif et ses cibles a. Données acoustiques
-algorithmes pour l’extraction des cibles tonalesb. Données physiologiques
-Optotrak et EMAc. Données psycholinguistiques
-identification et mouvements oculaires
3. Comparaison inter- et intra-linguistiquea. langues romanes : apport syntaxique et prosodique au
phrasing b. parole de laboratoire vs. parole spontanée. Exemples d’un corpus Map Task.
3
Retombées fondamentales
Paradigmes Linguistiques
Outils d’acquisition de signaux
Théories linguistiques
sur la prosodie
Retombées
appliquées
VALIDATIONPERCEPTIVE
(synthèse, reconnaissance, étiquetage automatique, dialogue homme/machine, apprentissage de L2)
RÉCUPÉRATIONDE CIBLES TONALES
ACOUSTIQUES/CORRÉLATIONS
AVEC PRODUCTION
Modélisationacoustique
Théories psycho-acoustiques
(fondation perceptive et physiologique des primitives théoriques)
4
Approche de la Phonologie de Laboratoire
• Tester certaines hypothèses phonologiques explicites (pas nécessairement à l’intérieur d’une théorie)
• Objectif ultime: renforcer les bases scientifiques de la phonologie
Les modèles phonologiques doivent permettre de faire des prédictions explicites qui peuvent être testées par l’expérimentation
5
Pourquoi la phonologie de laboratoire?
• Pierrehumbert (1990): “Si la phonétique n’est pas reliée à la phonologie, elle modélise des bruits et des gestes auxquels aucune signification ou catégorie structurelle ne peut être assignée. Une théorie englobant la phonologie, la phonétique et leur relation entre elles est nécessaire pour asseoir les fondations d’une théorie du processus langagier et de l’acquisition du langage ”.
6
m e 't a (foglio)
• Au niveau segmental : séquence d’événements phonologiques discrets
• Au niveau intonatif : séquence d’événements phonologiques discrets
LH !HL
Outil théorique : Phonologie Intonative
7
Autosegmental-metrical theory(Pierrehumbert 1980, Pierrehumbert and
Beckman, 1988, inter alia)
– Structure tonale : séquence d’événements tonals (Hs, Ls) associés avec des têtes ou des frontières de domaines prosodiques
– Accent mélodique : ton associé avec une syllabe métriquement forte, monotonal (e.g., H*, L*) ou bitonal (e.g., L+H*).
– Ton de frontière : ton aligné avec la frontière d’un constituent prosodique de niveau plus haut (e.g., accents de syntagme H-, L-).
T* T
ip
8
Pourquoi approche autosegmentale ?
• Simplicité et pouvoir descriptif (comparaison inter-
langues)• Lien entre structure tonale et texte (association
et alignement)• Applications technologiques (synthèse multilingue)
9
Association de la mélodie au texte
• Même contour (tune), mais mots différents (tiré de Grice, D’Imperio, Savino and Avesani, 2005).
L*+H HL-(rise) (fall)
NAno
10
• Même contour (tune), mais mots différents (tiré de Grice, D’Imperio, Savino and Avesani, 2005).
L*+H HL-(rise) (fall)
BELla mano di MAM
Association de la mélodie au texte
11
Modèle d’interpolation des cibles
= underspecified regions= specified tonal targets
12
THEME #1THEME #1
DONNEES ACOUSTIQUES
13
Time (s)0 1.60397
0
5000
Time (s)0 1.60397
0
500
Time (s)0 1.60397
0
500
Pierre viendra ce soir
[][v] [d][]
F0
F0 est perturbé en cas de forte constriction du conduit vocal et absente dans segments sourds
Représentation de la F0
[s] [s]
14
Time (s)0 1.60397
0
5000
Time (s)0 1.60397
0
500
Time (s)0 1.60397
0
500
Pierre viendra ce soir
F0
Mais….notre perception du contour intonatif fait abstraction de ces perturbations.
Abstraction du contour
15
Time (s)0 1.60397
0
5000
Time (s)0 1.60397
0
500
Time (s)0 1.60397
0
500
Pierre viendra ce soir
F0
Degré d’abstraction encore plus important : analyse en cibles tonales.
L L
H HH
L
Cibles tonales
16
LHL LH HL
Rise-fall FallRise
Interprétation linguistique du contour
Niveaux tonals vs. configurations
17
Alignement = synchronisation temporelle de certaines parties de la courbe de F0 (points cible) avec des unités ou des frontières segmentales.
(Silverman and Pierrehumbert, 1990; Arvaniti et al., 1998; Ladd et al., 1999, 2000; D’Imperio, 1995, 1997, 2001; inter alia).
Cibles tonales et alignement
time
L a l l aF0
scalin
g
Pic F0
18
Variabilité acoustique et modélisation
Variables linguistiques :• structure focale• structure syllabique• position dans le mot• position dans la phrase• environnement segmental
M a R I a
19
– Tonal crowding (D’Imperio, 2001; Silverman and Pierrehumbert, 1990)
– Longueur phonologique et structure syllabique (Ladd et al., 2000; D’Imperio, 2000)
– Composition segmentale de la syllabe (van Santen and Hirschberg, 1994; Rietveld and Gussenhoven, 1995)
– Débit de parole (Ladd et al., 1999)
Facteurs qui influencent l’alignement
20
Longueur phonologique et structure syllabique
• En italien, les voyelles en syllabe ouverte (pénultième) accentuée sont longues (D’Imperio & Rosenthall, 1999 ; Van Santen & D’Imperio, 1999).
• La durée consonantique est contrastive (nono “neuvième”/ nonno “grandpère”), mais la durée de la voyelle précédente varie en fonction de la quantité consonantique.
21
Structure syllabique et alignement (D’Imperio 2000; D’Imperio, Petrone and Nguyen, 2004)(D’Imperio 2000; D’Imperio, Petrone and Nguyen, 2004)
A. Nonno « grandpère »
L*+H
B. Nono « neuvième »
il
L*+H H
vedrai n o nn o
L*+H H
vedrai il n o n o
22
L?
Exemple 1 : Individuation d’une cible tonale (D’Imperio 1999, 2002)
Hypothèses: a. Pas de cible contrôlée. b. Une cible de niveau bas (L), dont alignement et F0 sont contrôlés.
b1. LH* LH*b2. H*L H*
23
Analyses compétitives
1. (L)H H H
2. (L)HL H H
3. (L)H LHLH
sagging interpolation(cf. Pierrehumbert, 1980 for A. English)
L est une cible
L est une cible
Corpus : 1, 2 ou 3 mots dans constituent focalisé(mamma, mano di mamma, bella mano di mamma)
24
Mesures
25
H
L
Régression linéaire (Elbow detection) (D’Imperio 1995, 2000, 2002)
26
Pente moins rède pourconstituants focalisésà 3 mots
Régression linéaire et pente
2 MOTS
3 MOTS
L(H)
L
27
Régression logistique (D’Imperio, 2000)
28
• Vérifier l’existence de différences formelles et acoustiques entre les accents nucléaires (IP-final) et prénucléaires (non-final de IP) ascendants, qui ne sont pas attribuables à la structure segmentale.
[[Les amis]AP [de mami]AP]S/IP [[ils n’arrivent que demain]]S/IP
Exemple 2: structure intonative du français
(D’Imperio et al., 2006)
[(H*)AP (H*)AP]IP ?
29
Méthode : approche double
1. Transcription auditive de l’emplacement et du type d’accent mélodique, ainsi que de la frontière prosodique.
2. Mesures acoustiques (hauteur et alignement des cibles tonales, etc.)
30
1 ou 2 cibles?
L? L?
31
Modélisation acoustique des cibles
L
H
MOMEL (Hirst et al. 2000)
2-line regression (D’Imperio, 2000)
L
1 ou 2 cibles?
[[Les amis]AP [de mami]AP]S/IP [[ils n’arrivent que demain]]S/IP
32
Résumé Intermédiaire
• L’interprétation linguistique du contour de F0 dépend fortement de la notion de cible tonale.
• Les hypothèses sur la structure tonale ainsi que sur la nature et la taille de l’inventaire d’accents mélodiques d’une langue donnée peuvent être testées à l’aide de la phonologie de laboratoire.
33
THEME #2THEME #2
DONNEES PHYSIOLOGIQUES
34
Acquisition données articulatoires
Trajectoires verticales de la lèvre inférieure
OBJECTIFS : 1. Corrélation entre contrôle tonal et contrôle du conduit vocal.
2. Alignement systématique des cibles tonales avec des repères articulatoires.
F0
temps
MAMma
Accent de focus
35
Acquisition données articulatoires : EMA
• Articulograph (Carstens AG-100, 2-D EMA system).
• Système electro-magnétique à 2 dimensions.
• 9 capteurs (lèvre supérieure et inférieure, mandibule, 4 sur la langue, 1 sur nez et incisifs supérieures).
36
Hypothèse
Les cibles H sont alignées/synchronisée avec des événements articulatoires cruciaux indépendamment de la structure syllabique et du débit de parole.
37
LATENCY (s)
F0
Latency
F0 values
Articulatory Trajectory/Velocity
Vv0 v1
Mesures
peakmin2
Linear velocity of tongue apex_y
38
waveform
étiquettes
F0
distance entreles levres
m a mm a
Visualisation des données
39
THEME #3THEME #3
DONNEES PSYCHOLINGUISTIQUES
40
• Ward et Hirschberg (1985) proposent qu’en anglais américain il y a un contraste de sens entre accents montants avec un pic avancé et accents montants avec un pic retardé.
Alignement et catégories accentuelles
41
A: I’d like to fly to Davenport, Iowa on TWA.
B: TWA doesn’t fly there ...
50
100
150
200
250
300
350
400
they fly to Des Moines 50
100
150
200
250
300
350
400
they fly to Des Moines
EARLY PEAK (assertion) LATE PEAK (suggestion/uncertainty)
L+H* L*+H
Alignement et catégories accentuelles
42
Alignement et catégorialité • Pierrehumbert & Steele (1989) synthétisent plusieurs
contours intonatifs avec différents degrés d’alignement du pic, en demandant d’imiter le contour perçu par des locuteurs.
• L’alignement des pics des réponses des locuteurs n’était
pas graduel, mais dans deux catégories distinctes : pic avancé (‘assertion’) ou retardé (‘suggestion’).
43
decl
decl
inter
interHz300
200
0 500 1000 1500 ms
Mamma andava a ballare da Lalla
(D’Imperio et House, 1997; D’Imperio et al. 2000; D’Imperio 2001, to appear) .
Q = L*+HL
Alignement et contraste
A = L+H*
? question
affirmation
L A L la
Une différence temporelle minimale est cruciale pour la catégorisation (justification perceptive).
L
44
Stylization et resynthèse du contour
L*+HVedrai il nono?“Verras-tu le neuvième?”
Stimuli synthétiques
45
F0
(H
z)25
020
015
030
0
L1
H
L 2
210 210
280
180
150
Time
Alignment: A. Linear stylisation
F0
(H
z)
Shift (msec)0-15 15 30
250
200
150
300
Vocalic offset
A2A1 A3 A4
L 2
H
L1
Alignment: B. Temporal shift
Méthode
46
Changement catégoriel du à la manipulation temporelle (S-shaped curve)
543210
20
40
60
80
100
Decl. peakDecl. fallInter. peakInter. rise
Stimulus number
Perc
en
t "s
tate
men
t" r
esp
on
ses
Exemple de résultats
180
200
220
240
260
Hz
200 ms
d a l a l a
A. Decl. peak stimulus no:1 2 3 4 5
47
Effet de l’intonation sur la résolution de l’anaphore
• Les auditeurs se servent de la catégorie accentuelle pour identifier l’objet auquel on fait référence (Dahan et al. 2002).
• Eye-tracking A. “Put the candle/candy below the triangle.”
B1. NOW, put the CANDLE above the squareB2. NOW, put the candle ABOVE THE SQUARE.
fixation to fixation to candycandy
fixation to fixation to candlecandle
CANDLE (accentué) est CANDLE (accentué) est non-anaphorique non-anaphorique
candle (non-accentué) est candle (non-accentué) est anaphoriqueanaphorique
48
Mouvements oculaires
49
Pierrehumbert & Hirschberg, 1990Compositional tune meaningPA typesmeaningH* Added to mutual belief space.
L* Already part of mutual beliefs.Salience-without-predication
L*+H Uncertainty, lack of speaker commitment
L+H* Contrast with some alternative related item
Catégories tonales et pragmatique : Eye-
tracking (Ito et Speer 2005)
http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt
50
Parole semi-spontanée (unscripted speech)
• Tâche: Donner des instructions pour décorer un arbre de Noël– L’écran montre une photo d’un ornement et une photo
d’un arbre avec une étiquette (e.g. blue ball) indiquant l’emplacement de l’ornement.
• Newness, Givenness & Contrastiveness manipulées par ordre d’occurrence dans le discours.New: The first mention of the discourse entityGiven: Subsequent mentions of the discourse entityContrastive: Immediate repetition of an entity.
E.g. blue ball -> blue DRUM / blue ball -> RED ball
http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt
51
*
*
*
*
*
16 17
18 19 20 21 22
23 24 25 26 27
28 29 30 31 32
*
* *
* *
* * *
*orange orange candycandy
http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt
52
Exemples
Time (s)0 0.961729
50
200
Time (s)0 0.751954
50
200
http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt
53
Question
Est-ce que l’emplacement d’un accent de type L+H* sur un modificateur (e.g. adjectif de couleur) facilite la recherche de l’objet modifié?
http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt
54
Procedure
• Sujets suivent des instructions audio pour décorer un arbre de Noël.
• Les ornements sont visualisés sur une grille de 11 cells (8 target + 3 filler)
• Mouvements oculaires enregistres avec un head-mounted eye-tracker (ASL e5000, magnetic head tracking) a 60Hz.
http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt
55
http://www.ling.ohio-state.edu/~speer/ExptPrag_shorter.ppt
56
Experiment 1: Stimuli• Felicitous Patterns
green onion ORANGE onion L+H* no accent
brown ball brown ANGEL H* L+H*
• Infelicitous Patternsgray stocking brown STOCKING
H* L+H* orange candy ORANGE onion
L+H* no accent
57
THEME #4THEME #4
COMPARAISONINTER-LINGUISTIQUE
58
50
100
150
200
250
300
350
400
Phrasing
I met Mary and Elena’s mother at the mall yesterday
Mary & Elena’s mothermall
1 syntagme intonatif avec F0 assez constante.
59
50
100
150
200
250
300
350
400
I met Mary and Elena’s mother at the mall yesterday
Marymall
Elena’s mother
2 syntagmes séparés avec gamme tonale plus étendue
Phrasing
60
Comparaison inter- et intra-linguistique
Langues romanes : apport de facteurs syntaxiques et prosodiques au phrasing
Phrasing
61
Language-specific tendencies
• Déclaratives focalisation large:
anglais : (S)(VO) (Nibert 2000)
catalan : (S)(VO) & (SV)(O) (Prieto 1997)
português : (SVO) (Frota 2000)
italien : (SVO) (D’Imperio 2000)
62
Comparaison inter-langues
Catalan (SV)O
Italian (SVO)
RLD = Romance Languages Database, D’Imperio et. al. 2005
63
Finalités
• Etudier l’apport du branchement syntaxique et de la longueur des constituants (en s) sur le phrasing dans 4 langues romanes (catalan, italien, portugais européen du Nord et du Sud et espagnol).
64
METHODE
• Etudes systématiques des facteurs cruciaux au niveau intra- et inter-linguistiques.
• Séparer l’apport de la prosodie de celui de la syntaxe (e.g., # syllables, #prosodic words, # syntactic words, syntactic branching?).
65
Corrélats phonétiques en italien
• Dans la plupart des cas, la fin de la phrase était marquée par une montée de F0 (continuation rise or sustained pitch), un accent de niveau H* en fin de syntagme et une pause optionnelle.
66
La parole de laboratoire est-elle la vrai parole?
• When the object of the analysis is the phonetics/phonology interface, laboratory speech is an adequate source of data.
• Lickley, Shepman e Ladd (2005) : read speech is real speech (analysis on Dutch read speech and Map Task data).
• If the object of study is the pragmatic level, the distribution of a certain contour in a specific type of pragmatic interaction, then spontaneous or semi-spontaneous speech is needed.
• Different speech styles do not imply the existence of difference tonal grammars.
67
The case of short expressions : Italian and Swedish
Table 2 Most common tonal realizations per functional category in the Italian materials
Category Tonal realization
Percentage of occurrence
RN H+L* L-L% 90%
RP H+L* L-L% 81%
FA H+L* L-L% 73%
FCy L* L-H% 73%
FCI H+L* L-L% 71%
FR H+L* L-L% 67%
DHH* H-L% orL* L-L% 55%
FE L+H* L-L% 50%
Continuer (you go on)
68
Acoustic Similarities and Dissimilarities per function categories: F0 and duration for ja and sì
Label Swedish Italian
FCY (continuation you go on)
Rising F0, lengthening, BIG SPAN
Rising F0, lenghtening
FCI (continuation I go on)
Flat F0, SLIGHTLY RISING (small span, high range)
(lengthening for speak1)
Mainly Falling F0,short duration
FA (acceptance) (Mainly) Rising F0 (small span, low range)
Falling F0
RP (positive answer)
Rising and long (if in context)
Falling and short (if in isolation)
Falling F0
69
Conclusion
• Afin de modéliser et interpréter linguistiquement le contour de F0, il est nécessaire d’adopter des modèles de la cible tonale explicites, qui rendent compte et de la production et de la perception.
• Des modèles explicites sont aussi a la base de l’extraction automatique des cibles tonales.
• L’investigation de la parole spontanée doit être accompagnée par des données de parole de laboratoire, permettant de se concentrer sur une problématique spécifique a l’interface entre la phonétique et la phonologie, et de bénéficier de données qui pourraient être mal représentes dans la parole spontanée.