La Segmentazione Massimiliano Pancini. La Segmentazione Massimiliano Pancini Cosè ?

La SegmentazioneLa SegmentazioneMassimiliano Pancini

La SegmentazioneLa SegmentazioneMassimiliano Pancini

Cos’è ?Cos’è ?

La SegmentazioneLa SegmentazioneIdea

musicale

Partiture

Materiale “tematico

”

Prassi+

Regole

La SegmentazioneLa Segmentazione

Materiale generativ

o

Materiale “tematico

”


Materiale generativ

o

OGGETTI MUSICALI

Decide oggetto comunicazione

Codifica il messaggio

Scrive il messaggio sul canale

Interpreta oggetto comunicazione

Decodifica il messaggio

Legge il messaggio dal canale

Trasmittente Ricevente

La SegmentazioneLa SegmentazioneOGGETTI MUSICALI

Modello comunicativo


Modello comunicativo Decide oggetto comunicazione


Scrive il messaggio sul canale

Interpreta oggetto comunicazione

Decodifica il messaggio

Legge il messaggio dal canale

Trasmittente Ricevente


Modello comunicativo


Decodifica il messaggio?


FORMALMENTE

Diamo ora alcune definizioni, in quanto usiamo per questo argomento alcune parole

chiave in loro accezioni semplificate


FORMALMENTE

Definizione 1

Partitura: rappresentazione simbolica in grado di descrivere con la massima accuratezza

possibile una composizione


Partiture

NIFF files

Partiture cartacee

Archivio audio


FORMALMENTE

Definizione 2

(Registrazione) Audio: Codifica dell’esecuzione di una composizione, in

qualsiasi formato e su qualsiasi supporto, IDEALMENTE ad una qualità infinita


FORMALMENTE

Definizione 3

Messaggio ben formato:Struttura linguistica musicale, tale che rispetti

le regole sintattiche.Veicola l’informazione di senso compiuto

codificata del compositore / esecutore


FORMALMENTE

Definizione 4

Oggetto musicaleOggetto musicale : Blocco contiguo di informazioni elementari,

individuabile nella partitura o nella registrazione audio,

che veicola un messaggio ben formato.


Cosa possono essere:

Frasi musicali

Riff ritmici

Accordi

Incisi

Cadenze

Ricorrenze di accordi

Cambi di tempo

Ecc.


Da cosa possono essere caratterizzati:

Variazioni agogiche

Variazioni nell'intensitàRipetizioni nella stessa voce

Ripetizioni in altre voci. . . . . .

Variazioni timbriche



Variazioni agogiche

Variazioni nell'intensità


RALLENTANDO



Variazioni agogiche



INVILUPPO



Variazioni agogiche



VIBRATO


perché ?perché ?

La SegmentazioneLa SegmentazioneANALISIANALISI

Formalizzazione delle capacita’ automatizzabili

di discernimento di frammenti notazionali in base al diverso valore semantico

Obiettivo: estrarre la conoscenza per riprodurre la capacità di discriminare gli oggetti musicali

La SegmentazioneLa SegmentazioneANALISI / RESINTESIANALISI / RESINTESI

Utilizzo dei risultati dell’analisi strutturale di un brano al fine di identificare le relazioni presenti nella

partitura, la rielaborazioni degli oggetti musicali

Obiettivo: estrarre gli schemi con cui gli oggetti musicali sono manipolati, l’architettura del brano

La SegmentazioneLa SegmentazioneCREAZIONE DI INDICICREAZIONE DI INDICI

Gli oggetti sono i “cardini” della composizione:caratterizzano il brano tra gli altri nei suoi

”momenti salienti”

Obiettivo: stabilire con un’interrogazione una correlazione temporale o logica tra partitura e

audio per mezzo di un insieme di indici

Partiture Score Score SegmenterSegmenter

Progetto Progetto “Scala”“Scala”

InternetInternet Ricerca Ricerca musicalemusicale

La SegmentazioneLa SegmentazioneLa ricercaLa ricerca

Il Lim di Milano ha condotto una ricerca decennale alla ricerca di strumenti per la segmentazione

dell’informazione simbolica e audio

Parallelamente, altre università nel mondo studiano e hanno studiato la segmentazione per

diverse finalità, e con diversi metodi.


Approcci:Approcci:

Teoria generativa della musica tonale

Sintesi interpretativa mediante uso di regole

Reti Neurali

Astrazione delle strutture musicali


Approccio descrittivo-statistico delle strutture della musica tonale

F.Lerdahl & R.JackendoffF.Lerdahl & R.Jackendoff

(estetica tradizionale = studio degli autori)


•Analisi di raggruppamento •analisi metrica•riduzione time-span•riduzione prolungazionale

F.Lerdahl & R.JackendoffF.Lerdahl & R.Jackendoff

4 modelli


4 modelli

Struttura ritmica

Si cercano elementi disgiuntivi (orchestrazione, pause, ecc.)

Si esamina l’elaborazione dei frammenti così ottenuti(ovvero se e come i frammenti isolati sono stati rimaneggiati)

Si analizzano eventuali strutture di simmetria (per accorpare elementi contigui o confermare i risultati)


4 modelli

Struttura ritmica

Studia il carico ritmico , nota per nota, e decide in base ai valori di ogni frammento melodico la forza

che esso ha .

É un’analisi basata sull’importanza che assumono le figure nel contesto ritmico della battuta


Strettamente correlate alle

precedenti

4 modelli

Riconoscono una struttura dominante all’interno del brano.

Si decide, livello per livello, l’importanza del frammento principale, riconoscendo le elaborazioni ed i

contrasti del materiale precedente, e formando cosi’ i nuovi elementi “base”


Strettamente correlate alle

precedenti

4 modelli

Riconoscono una struttura dominante all’interno del brano.

Implicitamente questa non può che essere unica e non sovrapponibile

Il riconoscimento avviene tramite un albero, che infatti non ammette questo, in perfetto accordo con l’ovvio modello

percettivo dell’ascoltatore


Un esempio


Parametri espressivi

Friberg, Fryden, SundbergFriberg, Fryden, Sundberg

Regole

Durata

Inviluppo temporale del suono

Fine tuning

•Dipendenti dal contesto

•Additive tra loro


Friberg, Fryden, SundbergFriberg, Fryden, Sundberg

Regolemelodiche

differenziative

raggruppative

d’insieme


Bresin, De Poli, VidolinBresin, De Poli, Vidolin

Approccio tramite reti neurali.

Studia ancora la variazione dei parametri di Sundberg.

Ne sono stati scelti solo alcuni , per ridurre la complessità ed ottenere il miglior risultato possibile


Bresin, De Poli, VidolinBresin, De Poli, Vidolin

regole:•DDC1A Accorcia la nota corta•DDC2B Riduzione contrasto nota doppia•DPC2A Enfatizzazione del carico melodico •DPC1B Alza la nota più alta•GMI1B Durata dei toni di un Salto•GMI1C Ascesa più veloce

{{Diff.

{{Raggr.

Durata

Durata

DurataDurata

Durata Var. Loudness

Var. Loudness

Var. Loudness

La SegmentazioneLa SegmentazioneBresin, De Poli, VidolinBresin, De Poli, Vidolin

Durata Nominale

Carico Melodico

Presenza di Salto

Salto in semitoni

Variazione totale della Durata

Durata

Doppia Durata

Ascesa Veloce

INPUT

Primo livello

nascosto

Secondo livello

nascosto

OUTPUT

La SegmentazioneLa SegmentazioneLa ricercaLa ricerca G.WidmerG.Widmer

Approccio a livello strutturale

Idea di fondo: il metodo apprende come discriminare

in base agli strumenti espressivi basandosi sull’analisi di interpretazioni umane


•Vengono estratte automaticamente in un primo passo informazioni sulla metrica e sul raggruppamento(cfr Lerdahl-Jackendoff)

•Vengono valutate le tendenze delle note, ascendenti, discendenti, arpeggiate.




Obiettivo: La correlazione delle strutture individuate con le “tendenze” per ottenere un matching con una tra 5 curve prototipali

e l’identificazione di oggetti a vari livelli


Curve prototipali

•Even_level : Non è stata riconosciuta nessuna tendenza nota nella struttura analizzata

•Ascending: É stata trovata una tendenza a crescere nella struttura analizzata

•Asc_Desc : É stata trovata una tendenza a crescere e poi decrescere nella struttura analizzata

•Desc_Asc : É stata trovata una tendenza a decrescere e poi crescere nella struttura analizzata

•Descending: É stata trovata una tendenza a decrescere nella struttura analizzata



Un esempio


La partituraLa partitura

FINE PRIMA PARTE

Score Score SegmenterSegmenter

F. Lonati F. Lonati (1990)(1990)


Segmentazione in base alla forma:

Il programma è ottimizzato per forme musicali specifiche, e

riconosce i criteri che il compositore utilizza come regole

sintattiche



S. Guagnini S. Guagnini (1998)(1998)



S. Guagnini S. Guagnini (1998)(1998)

Segmentazione in base agli operatori musicali e approccio statistico:

Riconoscimento di sequenze di note che soddisfano gli OPERATORI MELODICI, strumenti analitico-matematici in grado

di catturare le ripetizioni tematiche



“Il futuro sviluppo di un’adeguata analisi armonica rappresenterà un potente strumento per l’individuazione del contesto in cui un tema si presenta..“S.Guagnini.Guagnini

“Il futuro sviluppo di un’adeguata analisi armonica rappresenterà un potente strumento per l’individuazione del contesto in cui un tema si presenta..“S.Guagnini.Guagnini

“… La conoscenza dei contesti armonici, inoltre, potrebbe essere utile anche per il riconoscimento delle variazioni melodiche...“S.Guagnini.Guagnini


Il Funzionamento


La versione precedente del programma:


Rappresentazione sequenzialeRappresentazione sequenziale

1° Pentagramma

Eventi musicali

Per fare questo, i dati vengono riorganizzati

Il pentagrammi selezionati per l’analisi vengono riorganizzati costruendo una lista ordinata di eventi musicali.

Vengono delimitate le proposizioni e vengono rappresentati gli attributi in un modo più efficiente per ridurre i calcoli necessari durante il confronto.

Vengono inizializzate le superfici d’analisi.






1° Pentagramma 2° Pentagramma

Eventi musicali










1° Pentagramma 2° Pentagramma….

Eventi musicali









Il confrontoIl confronto

Sorgente Confronto

Confronto retrogradoSorgente

Poiché fra le varie trasformazioni musicali ve ne sono alcune, dette RETROGRADE che comportano il ribaltamento della sequenza di note, è necessario che le proposizioni vengano confrontate sia da sinistra verso destra che da destra verso sinistra.

Poiché fra le varie trasformazioni musicali ve ne sono alcune, dette RETROGRADE che comportano il ribaltamento della sequenza di note, è necessario che le proposizioni vengano confrontate sia da sinistra verso destra che da destra verso sinistra.


Sorgente Confronto

Confronto retrogradoSorgente

Questo comporta un notevole ritardo poiché ogni volta che un elemento viene aggiunto alle proposizioni confrontate, il confronto retrogrado deve ricominciare da capo.

Questo comporta un notevole ritardo poiché ogni volta che un elemento viene aggiunto alle proposizioni confrontate, il confronto retrogrado deve ricominciare da capo.


Sorgente Confronto

Confronto retrogrado

Per ridurre i tempi di confronto si è fatto si che questo proceda su proposizioni distinte per il moto retrogrado e non retrogrado.

Dati i due punti di inizio delle proposizioni da confrontare, il confronto avviene simultaneamente sia in senso retrogrado che non retrogrado e sia sulla superficie ritmica che su quella melodica.

Per ridurre i tempi di confronto si è fatto si che questo proceda su proposizioni distinte per il moto retrogrado e non retrogrado.

Dati i due punti di inizio delle proposizioni da confrontare, il confronto avviene simultaneamente sia in senso retrogrado che non retrogrado e sia sulla superficie ritmica che su quella melodica.


Sorgente Confronto

Confronto retrogrado

I frammenti vengono prolungati finché il confronto ha successo, cioè finché almeno uno degli operatori definiti riconosce l’equivalenza dei due frammenti. Quando questo fallisce, viene interrotto per gli operatori che non riconoscono più l’equivalenza e continua per gli altri.

I frammenti vengono prolungati finché il confronto ha successo, cioè finché almeno uno degli operatori definiti riconosce l’equivalenza dei due frammenti. Quando questo fallisce, viene interrotto per gli operatori che non riconoscono più l’equivalenza e continua per gli altri.


Sorgente Confronto

Ogni volta che i frammenti confrontati verificano le condizioni poste per le proposizioni vengono aggiornati i risultati sulle superfici ritmica e melodica a seconda di quali operatori ne riconoscono l’equivalenza.

Ogni volta che i frammenti confrontati verificano le condizioni poste per le proposizioni vengono aggiornati i risultati sulle superfici ritmica e melodica a seconda di quali operatori ne riconoscono l’equivalenza.

La segmentazioneLa segmentazione

Partendo dall’inizio della sequenza di eventi, ogni proposizione viene confrontata con tutte quelle che la seguono.

Quando viene incontrata un’equivalenza (ritmica o melodica), l’importanza della proposizione presa in esame aumenta mentre l’importanza della sua ricorrenza diminuisce



Melodia

Ritmo

La segmentazioneLa segmentazione





Melodia

Ritmo

Risultati

Il nuovo

Score SegmenterScore Segmenter


Fase 1 costruzione delle

armonie

Buongiorno..

Sono il cursore del programma Score Segmenter e Vi mostrerò come in esso avvenga un’analisi

armonica

L’armonia sembra composta da durate

non omogenee:

Al soprano ed al tenore vi sono note più lunghe

Le note più lunghe si possono frammentare

in suoni di uguale altezza ma di durata

complementare

In questo caso, la nota del soprano eccede ancora la durata

dell’armonia

Procedo ancora distribuendo la durata

sulle armonie successive

Fase 2 riconoscimento delle armonie

I I V I

I I V I IV

I I V I IV V

I I V I IV V?

I I V I IV V?

V

I I V I IV V?

V V

I I V I IV V?

V V I

I I V I IV V?

V V I IV

I I V I IV V?

V V I IV

In caso di mancato riconoscimento...

I I V I IV V?

V V I IV

Valuto se è fondamentale

riconoscere questa armonia

I I V I IV V?

V V I IV

Se cade su un tempo forte, posso sempre

individuare la fondamentale in una una delle note che la

compongono

I I V I IV V?

V V I IV

In questo caso, pero’, non ha rilevanza nel

suo contesto, perché è su un tempo debole!

I I V I IV V V V I IV


Fase 3 Eliminazione delle armonie

non significative


Tutte queste armonie sono costruite sullo stesso grado, quindi

sono equivalenti

I I V I IV V I IV

Le sostituisco con un singolo accordo, che

dura quanto le quattro armonie assieme

I I V I IV V I IV

Se riconoscessi l’andamento del brano

come concitato...

I I V I IV V I IV

..eliminerei gli accordi che l’utente ascolta per

un tempo troppo breve..

I I V I IV V I IV

In questo caso cancellerei l’accordo sul V grado, che chiaramente è ornamento

del I..

I I IV V I IV

Ottenendo una cadenza perfetta, che va dal I grado, al

IV, al V, ed infine torna al I

I I V I IV V I IV

Metodo 1

ricerca delle cadenze

I I V I IV V I IV

Vediamo ora come si sfrutta la regola che una cadenza conclusiva termina

con un accordo di I grado o, al massimo, V grado

I I V I IV V I IV

Partendo da un accordo, osservo tutte le possibili cadenze che possono

cominciare con questa armonia

I I V I IV V I IV

Se prendo come limite massimo due battute, queste sono le cadenze

candidate

I I V I IV V I IV

Essendo il tema la proposizione espressiva più plausibile, tengo la

cadenza più lunga

I I V I IV V I IV

Ripeto lo stesso procedimento partendo da altre armonie

I I V I IV V I IV

..per tutto il brano

I I V I IV V I IV

..ed alla fine si valuta la cadenza più plausibile tra queste, qualora non vi

sia l’interazione di altri metodi..

I I V I IV V I IV

…trovando il tema, come in questo caso


Metodo 2

ricerca delle ricorrenze

I I V I IV V I IV

I I V I IV V I IV

V I V I V I IIV

V I IV V I IV I I

V I IV I I V I IV

V I I IVV I I I

I IV V I V VI I IV

I I V I IV V I IV

V I V I V I IIV

V I IV V I IV I I

V I IV I I V I IV

I IV V I V VI I IV

V I I IVV I I I

Tolleranza = 0

String

Matching

I I V I IV V I IV

V I V I V I IIV

V I IV V I IV I I

V I IV I I V I IV

I IV V I V VI I IV

V I IVV I I I

Tolleranza = 1

String

Matching

approssimato

Tolleranza = 1

String

Matching

approssimato

Maggiore robustezza per i casi in cui il tema subisca

piccole variazioni

Minore potenza descrittiva delle regole del linguaggio su cui è basato l’algoritmo

Combinazioni:

ARMONIE TEMI


Vantaggi

·Meno eventi da valutare

Armonie contro noteArmonie contro note

·Gli eventi sono più significativi

·Solidità dell’algoritmo in presenza di casi critici

·L’indagine è condotta sulla punteggiatura del discorso musicale, l’analisi è semantica


Risultati

Accuratezza :Accuratezza :

la ricerca tematica è controllata per la lunghezza e la sensibilità alle variazioni

Interfaccia utente :Interfaccia utente :

comunicazione mediante contenuti musicali


Possibili sviluppi futuri

·Utilizzo dei nuovi strumenti analitici

·Crescita del modello formale di riconoscimento

·Ulteriori migliorie del costo computazionale

Ricerca :Ricerca :


La Segmentazione Massimiliano Pancini. La Segmentazione Massimiliano Pancini Cosè ?

Documents

Transcript of La Segmentazione Massimiliano Pancini. La Segmentazione Massimiliano Pancini Cosè ?