XXI Congresso da Associação Nacional de Pesquisa e Pós

XXI Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música -

Uberlândia - 2011

Análise Computacional de Texturas Sonoras via Mapas de

Poincaré

Adriano Monteiro Núcleo Interdisciplinar de Comunicação Sonora (NICS)

Departamento de Musica, Unicamp

Jônatas Manzolli Núcleo Interdisciplinar de Comunicação Sonora (NICS)

Departamento de Musica, Unicamp

Resumo: Apresentamos um estudo onde utilizamos técnicas computacionais para extrair informação espectral do áudio digitalizado e descrever texturas sonoras complexas. Esta pesquisa utiliza o descritor de áudio denominado de centróide espectral e mapas de recorrência ou de Poincaré. Descrevemos um estudo piloto na qual escolhemos quatro obras de referência e fizemos uma comparação por pares com o objetivo de validar o método de análise.

Palavras-Chave: análise musical, computador, texturas, complexidade, mapas de poincaré.

Computer Analysis of Sound Textures via Poincaré Maps

Abstract: We present a study on computational techniques to extract spectral information from digital audio and describe complex sound textures. This research approach uses the Spectral Centroid audio descriptor and recurrence or Poincaré Maps. In order to validate the method of analysis, we describe a pilot study in which we choose four reference pieces and develop an evaluation per pairs.

Keywords: music analysis, computer, textures, complexity, Poincaré maps

1. Introdução

Reportamos neste artigo um método de análise de texturas sonoras que

associa descritores de áudio (Puckette e Apel 1998; Malt e Jourdan 2009; Pereira

2009) com mapas de Poincaré (Bradley 2002). Discutimos um estudo piloto no qual

escolhemos quatro obras de referência e fizemos uma comparação por pares com o

objetivo de validar o método de análise. O ponto de partida para a nossa análise são

os trabalhos de (Clendinning 1993; Roig-Francoli 1995) e duas obras do compositor

Gyorgi Ligeti tomadas como referência. A motivação do trabalho é a seguinte:

quando processos musicais adquirem um certo grau de complexidade a análise

musical com auxílio computacional pode prover informação complementar à Escuta

e estabelecer uma visão mais ampla da obra.

A primeira hipótese do nosso estudo é que o aumento de complexidade

sonora é análoga à dinâmica de sistemas complexos e que o grau de recorrência é

inversamente proporcional a homogeneidade dos padrões encontrados na obra. Em


Uberlândia - 2011

outras palavras, o jogo estabelecido entre recorrência, estabilidade e instabilidade

caracteriza as nuances do discurso textural. A segunda hipótese é que este tipo de

estrutura desenvolvida por recorrência de padrões pode ser detectada diretamente

do sinal de áudio digitalizado utilizando-se o descritor “Centróide Espectral”

(Pereira 2009) conjugado com os Mapas de Poincaré.

3. Descritores

Os descritores de áudio são utilizados para extrair características acústicas

e psico-acústicas de áudio digital, principalmente, a partir de suas componentes

espectrais. A principal literatura sobre descritores está nos anais do congresso da

“Sociedade Internacional para Recuperação de Informação Musical”1. Há descritores

implementados em ambientes de programação como Pure Data, como os primitivos

fiddle~, bonk~ e sigmund~ (Puckette e Apel 1998). Há também objetos para

MAX/MSP como o analyser~, brightness~, noisiness~ e a biblioteca Zsa.Descriptors

implementada por (Malt e Jourdan 2009) que é voltada à caracterização da

sonoridade de técnicas instrumentais estendidas. Para desenvolver nossa pesquisa

implementamos também uma biblioteca de descritores em Pure Data (xxxx, xxxxx).

4. Mapas de Poincaré

O matemático francês Henri Poincaré desenvolveu no começo do século

XX um estudo sobre dinâmicas complexas (Poincaré 1923). Uma ferramenta útil

para análise deste tipo de fenômeno são os mapas por ele desenvolvidos. Estes são

gráficos bi-dimensionais que descrevem recorrências em sequências numéricas

chamadas de Séries Temporais. Por exemplo, estes mapas são utilizados na análise

da variabilidade dos batimentos cardíacos (Acharya 2006), no estudo do

comportamento coletivo em interações sociais (Camurri 2010) e o fluxo da

respiração humana (Bruce 1996). A recorrência é uma propriedade fundamental dos

sistemas dinâmicos, pois caracteriza a regularidade ou não-regularidade temporal

dos estados do sistema (Bradley 2002). O mapa de Poincaré descreve recorrência

quando uma série temporal visita várias vezes uma mesma região do gráfico

formando aglomerados de pontos, chamados de “clusters”. Exemplificamos este

comportamento na Figura 1. Quando o mapa de Poincaré é associado a uma 1 ISMIR- International Society of Musical Information Retrieval


Uberlândia - 2011

sequência randômica, todo o gráfico é preenchido com pontos (vide 4A). Em

oposição quando a sequência é periódica, apenas a faixa da diagonal principal é

preenchida (vide 1A). Em (2A) uma sequência periódica é superposta a uma

sequência periódica perturbada com números aleatórios; em (3A) a sequência

perturbada é superposta a aleatória.

Figura 1: Mapas de Poincaré localizados nos gráficos da esquerda (bloco A) e os

gráficos de desvios estão no bloco à direita (bloco B).

Dada uma série temporal unidimensional

€

S(t) : a...b[ ]⊂ ℜ→ c...d[ ]⊂ ℜ

com valores tomados em

€

t = t1,t2,t3...tn descritos como

€

A = {x1,x2,x3,...,xn} , o mapa de

Poincaré é o gráfico associado ao conjunto de pares ordenados

€

P = {(x1,x2),(x3,x2)...(xn−1,xn )}. Dada duas séries temporais

€

{S1(t),S2(t)} denotadas por

€

A = {x1,x2,x3,...,xn} e

€

B = {y1,y2,y3,...,yn}, geradas pelo mesmo descritor para dois

trechos diferentes de áudio, definimos a função desvio

€

D(A,B) : A × B→ℜ como

€

d(xi,y j ) = xi − y j para i=1,2,3...n. No bloco B da figura 1, há quatro gráficos dos

desvios respectivamente aos mapas do bloco A.

5. Metodologia e Análise

O insight para o uso dos mapas de Poincaré para analisar obras texturais

vem do próprio compositor Gyorgy Ligeti que interessou-se pelas idéias do

matemático Benoit Mandelbrot (1982), principalmente a chamada Geometria Fractal

que é também uma forma de descrever recorrência ou auto-semelhança em sistemas

complexos. Ao referir-se ao seu “Piano Concerto” (1985-1988), numa entrevista à

BBC, Ligeti mencionou: “eles [fractais] são sempre novos, mas sempre os mesmos e

isto é algo que me atrai muito e é o que se encontra na minha música” (Manzolli,


Uberlândia - 2011

1993). O conceito de recorrência está implícito nesta citação. Clendinning (1993)

denomina-o de “composição baseada em padrões mecânicos” construídos a partir da

recorrência de camadas. Roig-Francoli (1995) discute que Ligeti desenvolveu um

processo de construção de redes (net-structures). Este conjunto de informação

teórica é o suporte para desenvolver o estudo piloto de obras texturais com os mapas

de Poincaré. Contextualizando a nossa hipótese, em composições onde há

superposição de camadas e iteração de padrões, como na micro-polifonia de Ligeti,

seria possível descrever e analisar a recorrência de padrões com os mapas de

Poincaré?

A metodologia de análise por pares (Figura 2) baseia-se nos seguintes

passos: a) geração do(s) espectrograma(s) para construir hipótese(s), b) definição

do(s) descritore(s) que serão utilizados para extrair características relacionadas

à(s) hipótese(s), c) extração das características via descritores, d) construção dos

mapas de Poincaré superpondo características de duas peças e e) análise dos

mapas.

Figura 2 – Diagrama da metodologia de análise por pares.

As obras escolhidas para análise foram: a) “Continuum” (1968) para cravo

e “Lux Aeterna” (1966) para 16 solistas de Ligeti, b) “Piano Phase” (1967) para dois

pianos ou duas marimbas de Steve Reich e c) “Sabbato Sancto” madrigal para coro

de Carlo Gesualdo (1566-1613). A Tabela 1 apresenta os parâmetros fixados para a

análise:

Parâmetros do Processamento Computacional 2

No. Amostras HOP

No. Amostras FFT

Tipo de Janela (windowing)

Faixa freq.

512 2048 Hanning 44 -22 kHz Parâmetros das Obras

OBRA COMPOSITOR TRECHO DUR Continuum Ligeti toda peça 3:45


Uberlândia - 2011

Tabela 1 – Parâmetros utilizados na análise computacional.

Os espectrogramas das quatro obras estão na vide Figura 3 (“Continuum”

à esquerda, “Piano Phase” à direita acima; “Lux Aeterna” à esquerda e “Sabbato

Sanctus” à direita abaixo). Observa-se nos dois espectrogramas superiores que há

padrões recorrentes e a faixa de frequência coberta pelo “Continuum” é mais ampla.

Nos dois espectrogramas inferiores há mais proximidade entre a faixa de frequência

ocupada pelas duas obras. Nas quatro obras há uma distribuição homogênea de

frequências (faixas horizontais dos espectrogramas), o que caracteriza um acúmulo

contínuo de energia na mesma faixa de frequência do espectro.

Figura 3 – Espectrogramas das obras: (esquerda, acima) “Continuum”, (direita, acima) “Piano

Phase”, (esquerda, abaixo) Lux Aeterna e (direita, abaixo) Sabbato Sancto.

Frente às observações apontadas acima, escolhemos o descritor

“Centróide Espectral” para analisar as quatro obras. O centróide descreve o centro

de massa do espectro, em outras palavras, a frequência que é o centro de energia do

espectro sonoro. Para calcular o centróide, o espectro é dividido em segmentos ou

janelas (vide Tabela 1) e para cada janela calcula-se a frequência centróide. Este

método é repetido para várias janelas e, desta forma, gera-se uma série temporal de

frequências centróides variando no tempo. O cálculo computacional do centróide foi

realizado com a biblioteca PDescriptors (vide xxxxxxx). As sequências numéricas

foram gravadas em arquivo texto e com um programa do Matlab os mapas de

Poincaré e os gráficos de desvios foram gerados (vide figura 4). A Tabela 2 apresenta

os valores limites para a variação de cada uma das sequências de centróides.

Piano Phase Reich início da peça 2:12 Lux Aeterna Ligeti apôs 2 minutos 2:00

Sabbato Sancto

Gesualdo toda peça 1:57


Uberlândia - 2011

Obra [min, max] (Hz) Banda (kHz)

Continuum [82, 13.403] 13,321 Piano Phase [407, 939] 0,532 Lux Aeterna [304, 1.601 1,297

Sabbato Sancto

[44, 1.177] 1,133

Tabela 2 – Valores máximos e mínimos dos centróides

Figura 4 – (1A) superposição dos mapas dos centróides das obras “Continuum” e “Piano Phase”, (2A)

desvio entre os dois mapas, (1B) superposição de Lux Aeterna e Sabbato Sancto, (2B) desvios.

No mapa (1A) há dois cluster na diagonal principal. O que indica

recorrência nos valores dos dois centróides (vide modelo na figura 1). O primeiro

cluster concentra-se na faixa de frequência até 5 Khz e o segundo na faixa de 11khz a

13khz; a banda de freqüência do centróide do “Continuum” é 25 vezes maior que a

do “Piano Phase” (vide Table 2). No mapa (1B) há apenas um cluster na diagonal

principal e este descreve a recorrência do centróide na faixa de freqüência até 1.6

kHz; a banda de frequência de “Lux Aeterna” é muito próxima da banda de “Sabbato

Sancto” (vide Table 2).

6. Discussão e Conclusão

O “Continuum” é uma obra criada explicitamente com recorrência de

padrões de altura e o instrumento usado na obra, o Cravo, possui espectro com

transientes de alta-frequência. Este dois aspectos foram explicitados no mapa (1A),


Uberlândia - 2011

ou seja, os dois clusters e largura de banda de 13,321 kHz (Tabela 2) descrevem a

recorrência do centróide e a expansão da energia do espectro numa faixa extensa. O

“Piano Phase” também apresentou padrões recorrentes no mapa de Poincaré, mas a

banda de frequência do centróide de 0,532 kHz é muito mais comprimida. A obra

“Lux Aeterna”, composta com camadas de alturas recorrentes de longa duração,

apresenta faixa de freqüência mais estreita o que relaciona-se com a percepção de

maior compactação de massas sonoras. Este processo é descrito no mapa (Figura 4,

1B), pois o centróide concentrou-se no entorno da diagonal principal e a banda de

freqüência de 1,297 kHz é mais reduzida. “Sabbato Sancto” apresentou um mapa

muito similar tanto na largura de banda 1,133 kHz quanto recorrência do centróide,

vide a superposição dos dois mapas no gráfico (1B).

Os resultados do processo de análise computacional apresentaram

recorrência de padrões do centróide e este foi o objetivo do estudo piloto. Mas há

outros aspectos revelados pela Escuta de obras texturais, ou seja, as quatro obras têm

outras características que as diferenciam. Portanto, é necessário estudar outros

descritores para ampliar o campo de visão da análise. Desta forma, os próximos

descritores pesquisados serão densidade de eventos texturais e discriminação entre

camadas por banda crítica. Estes aspectos já foram apresentados por outros autores

como sendo relevantes para análise textural (Ferraz 1986; Mackay 1984). Finalmente,

este método validado pode tornar-se adequado também à análise de obras

eletroacústicas e improvisação musical com eletrônicos ao vivo.

7. Referências

ACHARYA, U.R., Joseph, K. P., Kannathal, N., Lim, C. M., Suri, J. S. Heart Rate variability: a review. Medical and Biological Engineering and Computing, 44(12), 1031–1051, 2006. BRADLEY, E. Mantilla, R. Recurrence plots and unstable periodic orbits. Chaos, 12(3), 596–600, 2002. BRUCE, E.N. Temporal variations in the pattern of breathing. Journal of Applied Physiology, 80(4), 1079–1437, 1996. CAMURRI, A., Varni, G., Volpe, G. “Towards Analysis of Expressive Gesture in Groups of Users: Computational Models of Expressive Social Interaction”. Lecture Notes in Computer Science, Springer: Berlin, 5934, 122–133, 2010. CLENDINNING, J. P. The Pattern-Meccanico Compositions of Gyorgy Ligeti.


Uberlândia - 2011

Perspectives of New Music 31: 193-234, 1993. FERRAZ, S. Análise e Percepção Textural: O Estudo no. VII, para sopros de Ligeti. Atravez – Associação Artístico Cultural, 1986 http://www.atravez.org.br/ceam_3/analise_percepcao.htm, acessado em 4/4/2010.

MACKAY, John. “The perception of density and stratification in granular sonic textures: an exploratory study”, Interface, vol. 13, no 4 (Lisse: Sweets & Zeitlinger B.V), 1984. MANZOLLI, J. (1993) “Non-linear Dynamics and Fractals as a Model for Sound

Synthesis and Real Time Composition. PhD Dissertation at the University of

Nottingham, UK.

MANZOLLI, J. & LUVIZOTTO, A.L. “Análise de Ramifications de Ligeti utilizando

Transformada Wavelet”. Anais do Congresso da ANPPOM, Curitiba, 2009.

MALT, M., Jourdan, E. “Zsa.Descriptors: a library for real-time descriptors analysis”. In: 5th Sound and Music Computing Conference, Berlin, Allemagne, 31th july to August 3rd, 2008. MANDELBROT, B. The Fractal Geometry of Nature, W H Freeman & Co, 1982. PUCKETTE, M., Apel, T. "Real-time audio analysis tools for Pd and MSP”. In: International Computer Music Conference. San Francisco: International Computer Music Association, pp. 109-112, 1998. POINCARÉ, H. The Foundations of Science: Science and Hypothesis, the value of Science, Science and Method, The Science Press, New York, 1923. PEREIRA, E. M. Estudos Sobre uma Ferramenta de Classificação Musical. Campinas, 2009, Dissertação de Mestrado, Universidade Estadual de Campinas. ROIG-FRANCOLI, M. Harmonic and Formal Processes in Ligeti's Net-Structure Compositions. Music Theory Spectrum 17: 242-267, 1995.

Documents

XXI Congresso da Associação Nacional de Pesquisa e Pós