CORBA Cleivson Arruda – [email protected] Rafael Lima – [email protected].
Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.
Transcript of Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.
![Page 1: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/1.jpg)
Recuperação de música baseada em conteúdo
{ jabca, mpl, mta } @cin.ufpe.br
![Page 2: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/2.jpg)
Agenda
Introdução Técnicas de Busca Exemplos O que vem por aí... Referências
![Page 3: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/3.jpg)
Introdução
O que?
Sistemas capazes de procurar música através do seu conteúdo, além dos tradicionais meta-dados
QBSH: Query by Singing or Humming Usuário canta / assobia / solfeja um trecho de música
para busca
![Page 4: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/4.jpg)
Introdução
Como?
É necessário criar e indexar uma representação simplificada da música, uma “impressão digital”
Levando em consideração os aspectos mais marcantes, como contorno melódico, ritmo, andamento, letras e instrumentação
![Page 5: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/5.jpg)
Introdução
Onde?
Query by singing / humming Vendedores não são perfeitos
Auxílio a musicólogos Encontrar semelhanças e influências entre
composições Mecanismos de copyright
Detectar plágio
![Page 6: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/6.jpg)
Técnicas de Busca
Busca sobre símbolosStrings (para melodias monofônicas)ConjuntosProbabilidade
Busca sobre sinal de áudio (waveform)Audio FingerprintingConjuntosMapas auto-organizáveis
![Page 7: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/7.jpg)
Técnicas de Busca - Strings
Algorítmos de string matchingExatoAproximado
Indexação
![Page 8: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/8.jpg)
Busca sobre sinal de áudio
Divide gravação em frames de curta duração (de 25 a 40ms)
Características mais comuns:LoudnessPitchTone (brightness and bandwidth)Mel-filtered Cepstral CoefficientsDerivatives
![Page 9: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/9.jpg)
Técnicas de Busca – Audio Fingerprinting
Bom para identificar gravações Extrator de características robusto a
ruídos Características não necessariamente
reconhecíveis por humanos Poucos bytes por segmento de gravação
![Page 10: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/10.jpg)
Comparativo
![Page 11: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/11.jpg)
Musipedia / Tuneserver / Melodyhound Grande banco de melodias Múltiplos métodos de entrada Possui busca por rítmo
![Page 12: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/12.jpg)
C-Brahms
Aceita vários parâmetros Também considera ritmo na busca Permite polifonia
![Page 13: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/13.jpg)
Sloud
Faz busca por fragmento MIDI Interface mais amigável
![Page 14: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/14.jpg)
Shazam
Mistérios sobre a implementação Base de 3,5 milhões de músicas Utiliza capacidades do celular
![Page 15: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/15.jpg)
Outros
SongTapper http://www.songtapper.com
FindSounds http://www.findsounds.com
Fraunhofer Institut http://www.musicline.de/de/melodiesuche/input
NYU QBH http://querybyhum.cs.nyu.edu/index.php?p=webdemo
GreenStone http://www.nzdl.org/fast-cgi-bin/music/musiclibrary
Meldex http://www.nzdl.org/fast-cgi-bin/music/musiclibrary
Oi Estúdio http://www.oiloja.com.br/wb/POi/
POi_baacb83133be6010VgnVCM100000d20218acRCRD
![Page 16: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/16.jpg)
O que vem por aí...
![Page 17: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/17.jpg)
Extra
Search Inside the Music (http://research.sun.com/spotlight/2006/2006-06-28_search_inside_music.html)
Google Music Trends (http://www.google.com/trends/music?where=BRA)
![Page 18: Recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br.](https://reader035.fdocuments.net/reader035/viewer/2022062418/552fc161497959413d8e9779/html5/thumbnails/18.jpg)
Referências
A Survey of Music Information Retrieval Systems - Rainer Typke, Frans Wiering, Remco C. Veltkamp
Multimedia Information Retrieval: MIDI as a format for Content Based Retrieval of Audio, John McDonagh and Alan F. Smeaton
http://www.cs.helsinki.fi/group/cbrahms/demoengine/ http://www.musipedia.com http://www.melodyhound.com http://www.sloud.com http://www.shazam.com http://www.music-ir.org/mirex2006/index.php/Main_Page http://research.sun.com/spotlight/2006/2006-06-
28_search_inside_music.html http://blogs.sun.com/plamere http://www.foosic.org/libfooid.php http://mirsystems.info/ http://en.wikipedia.org/wiki/Acoustic_fingerprint