Recuperação de música baseada em conteúdo

{ jabca, mpl, mta } @cin.ufpe.br

Agenda

Introdução Técnicas de Busca Exemplos O que vem por aí... Referências

Introdução

O que?

Sistemas capazes de procurar música através do seu conteúdo, além dos tradicionais meta-dados

QBSH: Query by Singing or Humming Usuário canta / assobia / solfeja um trecho de música

para busca

Introdução

Como?

É necessário criar e indexar uma representação simplificada da música, uma “impressão digital”

Levando em consideração os aspectos mais marcantes, como contorno melódico, ritmo, andamento, letras e instrumentação

Introdução

Onde?

Query by singing / humming Vendedores não são perfeitos

Auxílio a musicólogos Encontrar semelhanças e influências entre

composições Mecanismos de copyright

Detectar plágio

Técnicas de Busca

Busca sobre símbolosStrings (para melodias monofônicas)ConjuntosProbabilidade

Busca sobre sinal de áudio (waveform)Audio FingerprintingConjuntosMapas auto-organizáveis

Técnicas de Busca - Strings

Algorítmos de string matchingExatoAproximado

Indexação

Busca sobre sinal de áudio

Divide gravação em frames de curta duração (de 25 a 40ms)

Características mais comuns:LoudnessPitchTone (brightness and bandwidth)Mel-filtered Cepstral CoefficientsDerivatives

Técnicas de Busca – Audio Fingerprinting

Bom para identificar gravações Extrator de características robusto a

ruídos Características não necessariamente

reconhecíveis por humanos Poucos bytes por segmento de gravação

Comparativo

Musipedia / Tuneserver / Melodyhound Grande banco de melodias Múltiplos métodos de entrada Possui busca por rítmo

C-Brahms

Aceita vários parâmetros Também considera ritmo na busca Permite polifonia

Sloud

Faz busca por fragmento MIDI Interface mais amigável

Shazam

Mistérios sobre a implementação Base de 3,5 milhões de músicas Utiliza capacidades do celular

Outros

SongTapper http://www.songtapper.com

FindSounds http://www.findsounds.com

Fraunhofer Institut http://www.musicline.de/de/melodiesuche/input

NYU QBH http://querybyhum.cs.nyu.edu/index.php?p=webdemo

GreenStone http://www.nzdl.org/fast-cgi-bin/music/musiclibrary

Meldex http://www.nzdl.org/fast-cgi-bin/music/musiclibrary

Oi Estúdio http://www.oiloja.com.br/wb/POi/

POi_baacb83133be6010VgnVCM100000d20218acRCRD

O que vem por aí...

Extra

Search Inside the Music (http://research.sun.com/spotlight/2006/2006-06-28_search_inside_music.html)

Google Music Trends (http://www.google.com/trends/music?where=BRA)

Referências

A Survey of Music Information Retrieval Systems - Rainer Typke, Frans Wiering, Remco C. Veltkamp

Multimedia Information Retrieval: MIDI as a format for Content Based Retrieval of Audio, John McDonagh and Alan F. Smeaton

http://www.cs.helsinki.fi/group/cbrahms/demoengine/ http://www.musipedia.com http://www.melodyhound.com http://www.sloud.com http://www.shazam.com http://www.music-ir.org/mirex2006/index.php/Main_Page http://research.sun.com/spotlight/2006/2006-06-

28_search_inside_music.html http://blogs.sun.com/plamere http://www.foosic.org/libfooid.php http://mirsystems.info/ http://en.wikipedia.org/wiki/Acoustic_fingerprint