Processamento Tempo-Freqüência de Sinais Auditivos

Guido Stolfi

PEE-5752 - EPUSP Junho / 2003

Objetivos e Motivação

• Desenvolver dispositivo baseado em DSP para processamento de áudio em tempo real.

• Aplicação: auxilio a portadores de determinadas deficiências auditivas.

• Conceito básico: Percepção auditiva humana efetua análise do som através de bancos de filtros.

Estrutura do Ouvido Humano

cóclea

nervo

martelo bigorna canais semicircularesjanela oval

estribotímpanojanela circular

auditivatrompa

orelha

canal auditivo

osso da têmpora

lóbulo temporal

Estrutura da Cóclea

Secção da Cóclea

Detalhe dos Órgãos de Corti

Atuação dos Órgãos de Corti

Seletividade das Fibras Auditivas

Processamento dos Estímulos Nervosos

Um Diagrama de Blocos da Audição

Canalauditivo

Córtexauditivo

Núcleosnervosos

Membranabasilar

Células de Corti

E

D

Seletividade do Ouvido: Bandas Críticas

Resposta Temporal das Bandas Críticas

5 ms/div

Curvas de Audibilidade para Audição Normal

Audição com Perdas Transmissivas

0

20

40

60

80

100

0.25 0.5 1 2 4 8 kHz

dB

10 dB30 dB50dB

Solução clássica: Amplificação seletiva para compensar perdas

Audição com Perda de Limiar

0

20

40

60

80

100

0.25 0.5 1 2 4 8 kHz

dB

10 dB30 dB50dB

Amplificação seletiva é prejudicial; é necessário processamento não-linear (controle automático de ganho)

Zonas Mortas na Cóclea

0

20

40

60

80

100

0.25 0.5 1 2 4 8 kHz

dB

10 dB30 dB50dB

Perda de compreensão da fala muito superior ao previsto pelo audiograma; amplificação não melhora compreensão

Implante Coclear

• Quando há dano nas células de Corti, mas sobrevivem terminações nervosas

Resumo do Presente Trabalho

• Processamento tempo-freqüência de sinais de áudio (em Matlab®)

• Uso de janelas temporais superpostas e transformada discreta de cossenos

• Simulação de processos de perdas auditivas

• Simulação de processamentos destinados a combater perdas auditivas

Diagrama de Blocos do Processamento

ÁudioDigitalizado

JanelamentoTemporal

Superposto

Transformada Discreta de Cossenos

Mapeamento

ProcessamentoNão-linear

TransformadaInversa

ÁudioDigitalizado

JanelamentoTemporal

Superposto

Coeficientes

Janelas Temporais Superpostas

256 amostras

(11.6 ms)128

amostras

Janela Temporal

0 64 128 192 2560

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Construção da Janela Temporal

•Convolução de uma janela retangular de 128 amostras com uma janela Gaussiana

•Como a janela é aplicada 2 vezes em série, cada aplicação usa a raiz quadrada da convolução

J = sqrt(conv(rectwin(128),gausswin(128,4.2)))

128

2)()()( nGnnJ

Transformada Discreta de Cossenos

1

0

)12(4

)12)(12(4

2cos)()(

1 N

n

kknN

nJnxN

kX

•Decimação 2:1 (128 coeficientes para 256 amostras)•Cancelamento de produtos de “Aliasing” devido à janela•Coeficientes com valores reais

Exemplo de Processamento

0 2 4 6 8 10 12 14 16 18x 10 4

-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

Voz.wav – 22050 amostras por segundoSom wave

Fragmento Sonoro Após Janelamento

0 100 200 300 400 500 600-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

0 100 200 300 400 500 600-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

Som wave

Antes da DCT

Reconstruído

Reconstrução Perfeita do Som Original

Som wave

ÁudioDigitalizado

JanelamentoTemporal

Superposto

Transformada Discreta de Cossenos

TransformadaInversa

ÁudioDigitalizado

JanelamentoTemporal

Superposto

Coeficientes

Processamento Não-linear

-1 -0.5 0 0.5 1-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

• Simulação de perda de limiar de sensibilidade da audição

Som wave0 2 4 6 8 10 12 14 16 18x 104

-0.8

-0.6

-0.4

-0.2

0

0.2

0.40.6

0.8

Processamento Não-linear: Compressão

-1 -0.5 0 0.5 1-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

• Compressão de amplitudes para compensar perda de limiar

Som wave0 2 4 6 8 10 12 14 16 18

x 104-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

Exemplos de Mapeamento

• 1 Oitava Abaixof(i) = (f(2i)+f(2i+1)) / 2 Som wave

Som wave

• Translação de Freqüênciasf(i) = f(i-5), i=6..128

Exemplos de Mapeamento

• Zonas Mortasf(10:20) = 0; f(35:128) = 0

0 1 2 3 4 5 6 7 8 9x 10 4

0

100

200

300

400

500

600

Som wave

Exemplos de Mapeamento

• Zonas Mortasf(1:10) = 0; f(25:50) = 0

Som wave

0 1 2 3 4 5 6 7 8 9x 10 4

0

50

100

150

200

Exemplo de Mapeamento

• Concentração de Freqüências (simulando implante coclear com 13 eletrodos ativos)

fa(4) = f(1); fa(6) = f(2)/2; fa(7) =sum(f(2:3)); fa(10)=sum(fa(4:5)); fa(14)=sum(f(6:7)); fa(20)=sum(f(8:11)); fa(40)=sum(f(11:14)); fa(43)=sum(f(15:20)); fa(48)=sum(f(21:29)); fa(53)=sum(f(30:43)); fa(57)=sum(f(44:59)); fa(59)=sum(f(60:82)); fa(61)=sum(f(83:120)); fa = conv(fa,a);

Som wave

0 1 2 3 4 5 6 7 8 9x 104

0

50

100

150

200

250

300