Inês Salselas Reconhecimento de Sons de Percussão

Reconhecimento de Sons de Percussão

Para que pode ser útil?

• Reconhecimento e classificação do género de uma música

Fase de pré-processamento em que é retirada à música a “parte não rítmica”

Utilizado em contexto comercial para construir bases de dados musicais

• Aprendizagem do instrumento

Baterista virtual 3D (imagem sintética) que recria movimentos de um musico através da análise de um input áudio captado em

tempo real

Conversão de um input áudio captado em tempo real em formato midi e consequente extracção de partituras

Inês Salselas Reconhecimento de Sons de Percussão

Objectivo

Ideia geral

• Captar sons percussivos de uma bateria, através de um único microfone, em tempo real.

• “Trabalhar” esse input (desenvolvimento de um algoritmo robusto)

Segmentação

Extracção de características discriminantes

Análise

Identificação do componente da bateria tocado

PRATOS

BOMBO

TIMBALÃO

TIMBALÃO TAROLA

PRATOS DE CHOQUE

Inês Salselas Reconhecimento de Sons de Percussão

Estado da Arte

Diferentes abordagens

• Identificação de uma estrutura rítmica

• Identificação de instrumentos

• Consideração de diferentes classes

Bombo / tarola

Membranas / pratos

Pratos / pratos choque / timbalões / tarola / bombo

• Tempo real

• Diferentes Características consideradas

• Diferentes técnicas de classificação utilizadas

Inês Salselas Reconhecimento de Sons de Percussão

Estado da Arte

• Comparação do conteúdo (frequência) do input com bibliotecas existentes

Onset detector FittingLog. Spectrogram

calculation

Log. Spectrogramcalculation

Musical signal

Trainig drum samples

Results

Inês Salselas Reconhecimento de Sons de Percussão

Frameworks

Análise, Classificação e Processamento de Áudio

• CLAM

Plataforma (infra-estrutura) de programação para desenvolvimento de aplicações áudio / musica em C++

Disponibiliza uma livraria que funciona como um repositório estruturado de ferramentas (algoritmos) de processamento de sinal digital direccionados para analise e síntese de áudio e musica

• MARSYAS

Arquitectura permite fácil experimentação de algoritmos já implementados

Performance rápida, útil em desenvolvimento de ferramentas destinadas a análise de audio em tempo real

Inês Salselas Reconhecimento de Sons de Percussão

Questões

• Segmentação

“What is when?” O que perguntar primeiro?

Como segmentar um sinal antes de ter sido caracterizado, ou por outro

lado, como caracterizar um sinal antes de ter sido segmentado?

TICK – menor impulso métrico – corresponde ao tempo de ataque

• Selecção de características relevantes (redundância/complexidade)• ZCR• Kurtosis• Skewness• Centroid• Relative energy• MFCC’s

• Selecção de métodos de classificação

Optimização das características seleccionadas

Tempo real