Analyse perceptive des scènes musicales - u-bourgogne.fr · 2019-07-22 · auditives à...
Transcript of Analyse perceptive des scènes musicales - u-bourgogne.fr · 2019-07-22 · auditives à...
1
Analyse perceptive
des scènes musicales
CHAPITRE 3
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
2
Symphonie pathétique :
Tchaikovsky Partition Percept
• Sons physiquement présents
• Scène musicale : onde composite
• Représentation mentale
• Scène visuelle
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
3
Bregman (1990)
analogie du lac et des mouchoirs
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
4
Onde sonore complexe
Transduction / Analyse spectrale (Fourier)
Ségrégation en flux
Traitement des attributs des sons et des
séquences
Processus bottom-up:
analyse primitive de la
scène sonore
Représentation auditive (musicale)
Processus top-down
(activation de connaissances implicites et
explicites, effets contextuels, attention)
D'après Bregman, 1990;
McAdams, 2001
Bev Doolittle : the forest has eyes (1984) PAREIDOLIE
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
5
Bev Doolittle : the forest has eyes (1984) PAREIDOLIE
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
6
Analyse de Scènes Musicales
• Albert Bregman : Analyse primaire des scènes auditives (Primary Auditory Scene Analysis)
• Notion de flux auditif (auditory stream) : tout ensemble d'événements sonores formant une unité perceptive aboutissant à une représentation cohérente pour l‘auditeur.
• IMPORTANT : pas forcément l'équivalent d'une source émettrice !
Un double problème
pour le système auditif
• Organisation simultanée :
– A un instant donné, le système auditif doit regrouper les
composantes fréquentielles qui appartiennent à une
même source et les séparer de celles qui appartiennent à
des sources différentes présentes.
• Organisation séquentielle:
– Au cours du temps, le système auditif doit maintenir
perceptivement entre les composantes fréquentielles qui
appartiennent à une même source et les séparer de
celles qui appartiennent à des sources différentes
présentes.
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
7
Organisations
verticale
(accords, harmonie)
et
horizontale
(rythme, mélodie)
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
8
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
9
Principes d’organisation
perceptive
• Théorie de la Gestalt (théorie de la « forme »)
première moitié 20ème siècle (Wertheimer, Khöler, Koffka) :
propose des principes d’organisation perceptive
des scènes visuelles
• Gestalt = forme, structure, configuration
– Principes de ségrégation figure/fond
– Principes de (re)groupements perceptifs
– Le tout est plus (autre chose) que la somme des parties
• Précurseurs von Ehrenfels (mélodies), Rubin
(figures ambiguës).
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
10
Le vase de Rubin (1915):
ambiguïté de la figure et du fond.
Nous organisons le monde visuel de sorte que certaines parties
(la ou les figures “gestalts”) semblent superposées sur d’autres
(fond) et séparées entre elles (par des frontières de groupes)
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
11
Kandinsky
(1921)
Wehrli
(2011)
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
12
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
13
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
14
PICASSO
Organisation simultanée
• FUSION ou SEGREGATION
• Basée sur la détection de régularités
(indices) acoustiques présentes dans
l’environnement sonore des individus CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
15
A) Analyse primaire des scènes auditives
Principes d’organisation simultanée
1) Harmonicité :
les harmoniques fusionnent avec
la fréquence fondamentale
F0
F8 = 8xF0 F7 = 7xF0 F6 = 6xF0 F5 = 5xF0 F4 = 4xF0 F3 = 3xF0 F2 = 2xF0
1 son grave :
hauteur égale à F0 CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
16
désaccord (inharmonicité) :
tolérance perceptive ~ 3%
F0
F8 = 8xF0 F7 = 7xF0 F6 = 6xF0 F5 = 5xF0 F4 = 4xF0
dF3 = 3,6 xF0 F2 = 2xF0
1 son complexe
grave :
hauteur égale à F0
1 son pur aigu :
hauteur égale à
dF3
F0 F2
F4 F5 F6 F7 F8
F0
F8 = 8xF0 F7 = 7xF0 F6 = 6xF0 F5 = 5xF0 F4 = 4xF0 F3 = 3xF0 F2 = 2xF0
F3
Harmonique F3 désaccordé progressivement de 1 à 15% puis réaccordé
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
17
Harmonicité :
tolérance 3% environ 4 sons, puis on descend tous les harmoniques vers les graves
Puis indice, puis on désaccorde tous les harmoniques vers les aigus, puis 4 sons
2) asynchronisme des sources
indépendantes – Les composantes provenant de sources différentes
commencent et se terminent rarement en même temps.
• En dessous de 30 ms : fusion
• Au delà de 60 ms : ségrégation
• Entre les deux : tolérance (effets esthétiques) dans tous les ensembles instrumentaux ou vocaux.
– Exemples :
• Fusion des harmoniques (voir exemple chapitre 1)
• ségrégation des voix jouées au clavier : melody lead.
• Attaque dans quatuor de Schubert
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
18
3) Variations cohérentes
de fréquence et d'amplitude
Ex : Vibrato des chanteurs d'opéra
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
19
Exemples de ségrégation
de flux simultanés
• Chant polyphonique sarde : la quintina (flux
virtuel).
• Chant diphonique
– Tuval de mongolie
– Ana-Maria Hefele
0:26 et 3:30 1:22 et 6:15 et 6:54
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
20
Ana-Maria Hefele :
Modulation
de fréquence et
d’amplitude
de l’harmonique
qu’elle souhaite faire
Entendre.
B) Analyse primaire des scènes auditives
Principes d’organisation séquentielle
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
21
Aucun groupement
Regroupement par proximité
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
22
Principe de proximité
Toutes choses étant égales par ailleurs, le système visuel
regroupe dans une même unité perceptive les éléments qui sont
proches relativement dans l’espace (ou dans le temps).
Aucun groupement
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
23
Groupement par similarité
Principe de similarité
Toutes choses étant égales par ailleurs, le système visuel regroupe
dans une même unité perceptive les éléments qui ont les mêmes
propriétés (couleur, forme, texture, orientation…)
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
24
Principes d’organisation
séquentielle (scènes auditives)
• Régularité de notre environnement sonore : les
changements au cours du temps sont
progressifs
– hauteur, contenu spectral, intensité et de localisation
– Se rapproche des principes de proximité ou similarité
gestaltistes
• Bregman (1971); Van Noorden (1975)
– Interaction entre hauteur et tempo.
Similarité/proximité de Hauteur
• Ex :
– pseudo-polyphonie : sonates pour instruments
seuls (Bach, Teleman…John Coltrane au
saxophone)
– Yodl tyrolien (ex : Maria Schneider)
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
25
Jean-
Sebastien
Bach
Troisième
partita pour
violon seul
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
26
Dowling (1973): mélodies
entremêlées
Dowling (1973): mélodies
entremêlées
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
27
Interaction Hauteur/Tempo
• Séquence ABA-ABA-ABA-…
• interaction proximité temporelle et similarité des sons dans les autres dimensions perceptives.
• Perçue différemment en fonction de A, B (durée, intensité, fréquence, spectre…)
• Très utile car le rythme perçu change en fonction du nombre de flux (horse/morse).
2 demi-tons
Faible ∆F
18 demi-tons
Large ∆F
Flux
aigu
rapide
Flux
grave
lent
1 seul
flux
(galop)
A B A _
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
28
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
29
Toccata et Fugue en Ré mineur (JS Bach)
à 2:47
Proximité en hauteur : préférence pour les petits
intervalles dans les mélodies
(Dowling, 1967; Huron, 2000)
fréquence
dans les
mélodies
(%)
Taille des intervalles (en demi-tons
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
30
Similarité de timbre
(contenu spectral)
• Exemples :
– triolets (groupes de trois notes, exemple de Wessel)
– Xylophone africain (exemple de Bregman)
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
31
Principe général d’organisation perceptive
Heuristique "Ancien + Nouveau"
(" Old + New ")
Ex : Didjeridoo (aborigènes australie) / BBX
le système auditif analyse tout changement soudain (abrupt) comme appartenant à une
nouvelle source et tout changement progressif comme provenant d'une source déjà
présente. Les propriétés spectrales et temporelles du nouvel événement ne sont pas
déduites de novo mais à partir de ce que l'auditeur entendait précédemment.
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
32
Heuristique "Ancien + Nouveau"
(" Old + New ")
Ex : Didjeridoo (aborigènes australie) / BBX
Deux flux : un bruit continu
+ un bruit pulsé (moins fort) Un seul flux
Continuité
homophonique
Principe gestaltiste de continuité
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
33
Andy Goldworthy (land art)
Dégradation par du blanc
(manque d’information)
discontinuité
Dégradation par du bruit
(surplus d’information)
continuité
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
34
Son pur intermittent
Bruit intermittent
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
35
Son intermittent + bruit intermittent
Continuité homophonique
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
36
Beatboxing
Indices intensifs et spatiaux • Regroupements possibles par proximité spatiale ou par niveau
sonore similaires (intensité).
• Renforcent efficacement les indices de timbre et de hauteur s’ils apportent une information congruente.
• MAIS perdent toujours lorsqu'ils sont en conflit avec les indices de hauteur ou de timbre.
• Ex : Illusion de gamme croisée dichotique de Diana Deutsch ou conflit intensité/timbre : Nina Simone : Sinnerman (4:28)
• Ecoute stéréo vs. mono : les objets auditifs ne changent pas !
• Importance relative de la disposition spatiale des instruments dans l'orchestre en fonction de leur registre de hauteur, de leur timbre et de leur puissance (intensité). La disposition des instruments a beaucoup changé au cours des siècles !
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
37
Conflits
entre les différents principes
d’organisation perceptive
Conflit
similarité/proximité
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
38
Schiele: Agonie
Franz Marc:
Renards
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
39
Symphonie pathétique :
Tchaikovsky Partition Percept
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
40
Illusion de Deutsch
C) ASA : processus descendants
(top-down)
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
41
Formation des flux (analyse de la scène)
Interactions
entre processus ascendants (bottom-up)
et descendants (top-down)
• Processus bottom-up (primary auditory scene analysis)
• Basés sur la nature et la structure du stimulus
• Data-driven processes (dirigés par les données)
• Identiques, quel que soit le domaine (parole, musique…)
• Processus top-down (Scheme-based, domain-specific analysis)
• Basés sur les connaissances et l’expérience passée
• Concept-driven processes (dirigés par les concepts) – Attention, Mémoire,
Intentions…
Rôle de l'expertise
musicale:
Davidson, Power et
Michie (1987) : effet de
l'expertise musicale
Musiciens contemporains
Musiciens classiques
Musiciens Baroques
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
42
Rôle de l'attention
Rôle de l’ATTENTION
• Augmentation de la saillance perceptive du flux
focalisé et atténuation des flux non-sélectionnés
• trio pour clarinettes de Mozart ou Ambalaba (Leforestier)
• Effets d'amorce : réorganisation perceptive
• Règles d'écriture contrapuntique
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
43
séquence complexe 1 séquence complexe 2 séquence amorce
D'après Brochard et al (1999)
Journal of Experimental
Psychology (HPP)
Limites dans le nombre de flux concomitantes
: « Un, deux, trois ou beaucoup » (exemple Spem in Alium de Tallis : écrit pour 40 voix, mais pas 40 flux !)
% erreurs de détection d’entrées et de sorties des voix dans les fugues de Bach chez des organistes.
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
44
Applications de l'analyse primaire des scènes
auditives à l'écriture musicale (Huron, 2000)
• Les règles d'écriture du contrepoint sont basées sur des connaissances implicites ou explicites par les compositeurs baroques des principes d’analyse de la scène musicale en flux de sorte à favoriser ou non la ségrégation des voix. – Éviter les unissons consécutifs, les unissons et octaves simultanés
– Éviter les croisements de voix
– Eviter les mouvements trop larges
– Eviter les mouvements parallèles
– Rarement plus de 4 voix en même temps (entrée des voix médianes en premier), respecter les registres
– Le timbre fait la cohérence (Klangfarben Melodie : mélodie de timbres "impossible pour un auditeur non averti" école de Vienne, XXème siècle)
• Exemple: l'offrande musicale de JS Bach réorchestrée par Webern (1930)
• Beatboxing,
• « le principe du moteur à explosion » : le contenu sémantique favorise la cohérence.
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
45
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
46
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
47
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
48
Ex : Dans les fugues, la présentation du thème
isolé permet sa mémorisation et aide ensuite à
focaliser l’attention sur les flux qui le répèteront.
Rôle des connaissances
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
49
Paréidolie
Emotions
perçues par l’individu ou
projetées sur le stimulus ?
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
50
Rôle des connaissances
• Dowling (1973) : effets descendants
• Fugues (mémoire à court-terme)
• Contrepoint (ex. baroque ou africain)
• Ambalaba (Maxime Leforestier)
• Brahms (première symphonie) : Mémoire à long terme
• Importance de la parole qui maintient la cohésion en dépit de l’incohérence du timbre (ex : "le principe du moteur à explosion"
Hiérarchies des hauteurs (harmonie) et
des durées (métrique)
• Rôle de l’harmonie et de la métrique dans le
maintien de la cohérence entre les flux (ex :
Mash-up).
• Ecoute analytique ou globale.
• Groupements par proximité temporelle
(même timbre, même hauteur)
– Groupement rythmiques automatiques
« Clapping music » (Steve Reich, voir aussi
piano phase)
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n
51
Fin du chapitre 3
CM B
roch
ard
Ne pa
s diffu
ser s
ans a
utor
isatio
n