“Music Information Retrieval - TOOLS”
-
Upload
jillian-lara -
Category
Documents
-
view
44 -
download
2
description
Transcript of “Music Information Retrieval - TOOLS”
![Page 1: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/1.jpg)
Antonello D’[email protected]
http://www.lim.dico.unimi.it/didatt/materiali/mir2.ppt
““Music Information Retrieval - TOOLS”Music Information Retrieval - TOOLS”
![Page 2: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/2.jpg)
Problemi PresentatiProblemi Presentati
• Pitch Tracking
• Beat Tracking
• Tempo Induction
• Score Extraction
• Genre Extraction
• Automatic Music Synchronization
![Page 3: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/3.jpg)
Comprensione Comprensione dell’informazionedell’informazione
![Page 4: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/4.jpg)
Finalità degli AlgoritmiFinalità degli Algoritmi
Fornire informazioni oggettive (meta-dati) sul contenuto musicale di un determinato brano audio
Stream Audio
Algoritmo
Meta Dati
Low Level Features
Analisi Musicale
![Page 5: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/5.jpg)
Le Caratteristiche dei Le Caratteristiche dei Segnali AudioSegnali Audio
In questo contesto i segnali audio sono caratterizzati da due differenti parametri:
• Numero di strumenti che suonano in un brano
• Monotimbrici Un solo strumento
• Politimbrici Due o più strumenti
• Numero di note presenti contemporaneamente in un brano
• Monofonici Una sola nota
• Polifonici Due o più note
![Page 6: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/6.jpg)
Pitch TrackingPitch TrackingScopo dell’Algoritmo
Estrarre il pitch da un segnale audio e fornire delle sequenze di dati che caratterizzino l’andamento del pitch rispetto al tempo
Estrazione delle caratteristiche di basso livello
• Autocorrelazione
• Analisi dello spettro alla ricerca di strutture armoniche
Risultati
Risultati commerciali su segnali monofonici e monotimbrici, problema aperto su segnali più complessi
![Page 7: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/7.jpg)
Pitch TrackingPitch Tracking
Criticità
• Difficoltà nella segmentazione delle note
• Instabilità del pitch nei segnali vocali e in alcuni strumenti
Analisi musicale e semplificazioni
• Sfruttare la teoria musicale per risolvere situazione di ambiguità ad esempio dando priorità alle note della tonalità
• Non riconoscere esattamente le note ma solo se il pitch aumenta, diminuisce o rimane stabile
![Page 8: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/8.jpg)
Beat TrackingBeat TrackingScopo dell’Algoritmo
Estrarre i beat da un segnale audio e fornire delle sequenze di dati che caratterizzino l’andamento dei beat rispetto al tempo, fornendo una analisi ritmica del segnale audio
Estrazione delle caratteristiche di basso livello
• Filtraggi ad alte frequenze
• Analisi dello spettro
Risultati
Risultati commerciali per l’individuazione dei beat, problema aperto sulla valutazione della struttura e tessitura ritmica
![Page 9: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/9.jpg)
Beat TrackingBeat Tracking
Criticità
• Non necessariamente è presente una sezione ritmica (batteria)
• Talvolta i beat non sono i punti più energetici del segnale
Analisi musicale e peculiarità
• Sfruttare la teoria musicale per risolvere situazioni di ambiguità ad esempio una struttra ritmica che varia continuamente è poco probabile
• Si devono distinguere i sistemi real time da quelli off line. I primi non compiono analisi sulla struttura ritmica del brano
![Page 10: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/10.jpg)
Tempo InductionTempo InductionScopo dell’Algoritmo
Estrarre i BPM (velocità del metronomo) da un segnale audio. È uno dei pochi algoritmi sviluppati anche su segnali compressi
Estrazione delle caratteristiche di basso livello
• Filtraggi ad alte frequenze
• Analisi dello spettro
Risultati
Risultati commerciali con applicazioni anche su software di editing
![Page 11: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/11.jpg)
Tempo InductionTempo Induction
Criticità
• La maggior parte dei brani non ha BPM perfettamente stabili, ma tendono ad oscillare
• Alcuni brani hanno BPM variabili
• È complesso riconoscere il tempo corretto senza confondere, ad esempio, quarti ed ottavi
Analisi musicale e semplificazioni
Sfruttare la teoria musicale per risolvere situazioni di ambiguità, ad esempio un tempo che varia continuamente è poco probabile
![Page 12: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/12.jpg)
Score ExtractionScore ExtractionScopo dell’Algoritmo
Estrarre la partitura da un segnale audio
Metodologie
• Autocorrelazione
• Analisi dello spettro
• …
Risultati
Risultati commerciali su segnali monofonici e monotimbrici, problema aperto su segnali più complessi
![Page 13: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/13.jpg)
Score ExtractionScore ExtractionCriticità• Come riconoscere la segnatura di tempo?
• I timbri dei diversi strumenti sono molto differenti
• Separare gli strumenti con pitched da quelli unpitched
• La voce
• Le variazioni di tempo
Un problema composto
In generale lo score extraction può essere considerato come una sorta di contenitore che potrebbe contenere i problemi già visti più altri quali: separazione delle sorgenti, riconoscimento dei timbri e altri
![Page 14: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/14.jpg)
Genre ExtractionGenre ExtractionScopo dell’Algoritmo
Estrarre il genere da un segnale audio e riuscire a riconoscere differenti brani che appartengano ad uno stesso genere
Metodologie
• Estrazione del pitch, del tempo, del beat, del timbro e altro
Risultati
Nessun Risultato commerciale, problema poco sensato su segnali monofonici e monotimbrici.
![Page 15: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/15.jpg)
Genre ExtractionGenre ExtractionDue approcci differenti
• Prescriptive approach: i generi possibili sono decisi a priori l’algoritmo deve scegliere in quale cluster inserire il brano in esame
• Similarity relations approach: l’algoritmo trova le canzoni simili e le pone all’interno dello stesso cluster, non esistono generi scelti a priori
Osservazione
Nel primo caso è oggettiva la classificazione per generi, mentre nel secondo sono oggettive le similarità tra i brani
![Page 16: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/16.jpg)
SincronizzazioneSincronizzazione
Navigazione coerente audio partitura
Ambito di ricerca affrontato nel MIR
Soluzioni proposte solo su stream audio non compressi
Stream Audio
Partitura
Partitura sincronizzata
Sincronizzatore
![Page 17: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/17.jpg)
SincronizzazioneSincronizzazioneScopo dell’Algoritmo
• Sincronizzazione fine: per sistemi di navigazione interattiva e ricerche musicologiche
• Sincronizzazione generica: per sistemi che visualizzano la partitura e l’audio coerentemente
Estrazione delle caratteristiche di basso livello
• Analisi dell’energia
• Analisi dello spettro alla ricerca di strutture armoniche
Risultati
Risultati buoni su segnali monofonici e monotimbrici, problema aperto su segnali più complessi
![Page 18: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/18.jpg)
SincronizzazioneSincronizzazione
Criticità
• Note ribattute, abbellimenti, agogica
• Esecuzioni non pedisseque
Analisi musicale
• Sono comunemente utilizzate tecniche DTW (Dinamic Time Warping) per porre in relazione caratteristiche della partitura con caratteristiche dell’audio
![Page 19: “Music Information Retrieval - TOOLS”](https://reader035.fdocuments.net/reader035/viewer/2022062422/5681361e550346895d9d932f/html5/thumbnails/19.jpg)
DTWDTW
Problema
• Costo computazionale molto elevato
• Necessarie euristiche