Self-Organizing Topological Timbral Design Methodology Using a Kohonen Neural Network Marcelo...

Self-Organizing Topological Timbral Self-Organizing Topological Timbral Design Methodology Using a Kohonen Design Methodology Using a Kohonen

Neural NetworkNeural Network

Marcelo Caetano; César Costa

DEPARTAMENTO DE ENGENHARIA DE COMPUTAÇÃO

E AUTOMAÇÃO INDUSTRIAL

FACULDADE DE ENGENHARIA ELÉTRICA E DE COMPUTAÇÃO

CAMPINAS - BRASIL

http://www.lbic.fee.unicamp.br

UNICAMP

2

OrganizaçãoOrganização

• Introdução e Motivação• Rede de Kohonen• Improvisação e Design Timbral• Experimentos e Resultados• Conclusão

3

Introdução e MotivaçãoIntrodução e Motivação

• Flexibilidade na Manipulação Sonora

• Necessidade de técnicas para exploração das características sonoras

• Limitação dos Métodos Tradicionais

– Não consideram subjetividade e/ou dinâmica sonora.

– Sons matematicamente perfeitos são rejeitados pelo ser humano.

Computação MusicalComputação Musical

4

Introdução e MotivaçãoIntrodução e Motivação

– Qualidade tonal de uma classe de sons

– Difícil de se caracterizar• Não descritível em uma escala unidimensional

(espaço de alta dimensionalidade)• Caracterização subjetiva

– Sons complexos:• Evolução temporal do espectro tem forte

influência na percepção timbral.

TimbreTimbre

5

Introdução e MotivaçãoIntrodução e Motivação

– Incapacidade dos métodos tradicionais de síntese de incorporar controle sobre propriedades timbrísticas no processo de design sonoro.

• Métodos matemáticos ineficientes na criação de sons complexos de qualidade.

Principal MotivaçãoPrincipal Motivação

6

Rede de KohonenRede de Kohonen

• Auto-organização

• Manutenção de topologia

• Quantizador Vetorial

• Para classificação: Mapeamento de espaço de alta dimensionalidade em espaço de baixa dimensionalidade.

Principais Características para aplicaçãoPrincipais Características para aplicação

b) TSP quantização vetorial c) interceção de espaços timbrais

a) amostras timbrais

7

Rede de KohonenRede de Kohonen

Exemplo, sons FMExemplo, sons FM

8

Experimentos e ResultadosExperimentos e Resultados

Parâmetros do ExperimentoParâmetros do Experimento

Timbres UtilizadosTimbres Utilizados

• Medida Matemática de Distância Espectral • Estimação Subjetiva de Similaridade• Mapemento Topológico em 2D (SOM)

ClassificaçãoClassificação

9

Experimentos e ResultadosExperimentos e Resultados

a) 1 epoch b) 3 epochs c) 5 epochs d) 10 epochs e) 50 epochs f) 100 epochs

10

Experimentos e ResultadosExperimentos e Resultados

Métrica espectralMétrica espectral

F

i

T

j

hg

kg

khg jiajia

FT

2,,

1

11

Experimentos e ResultadosExperimentos e Resultados

Comparativo: métrica espectralComparativo: métrica espectral

12

Experimentos e ResultadosExperimentos e Resultados

Pesquisa SubjetivaPesquisa Subjetiva

13

Experimentos e ResultadosExperimentos e Resultados

Rede de Kohonen BidimensionalRede de Kohonen Bidimensional

14

ConclusãoConclusão

Dinâmica de RelaxaçãoDinâmica de Relaxação

15

FinalizaçãoFinalização

• César R Costa

• Marcelo F Caetano

• Jonatas Manzolli (NICS)

CréditosCréditos

AgradecimentoAgradecimento

Dúvidas ???Dúvidas ???