MÁSCARAS DE ÁUDIO PARA

EMULAÇÃO DE VOZ

Acadêmico: Marcos Rodrigo da Silva

Orientador: Paulo César Rodacki Gomes07/07/2009

Introdução Objetivo

Fundamentação teórica

Conceitos básicos

Contexto atual do tema

Desenvolvimento da ferramenta

Requisitos Especificação Implementação

Resultados Testes

Conclusões Extensões

Sumário

07/07/2009Máscaras de áudio para emulação de voz

2

Introdução

07/07/2009Máscaras de áudio para emulação de voz

3

Voz locutorVoz

personagemMáscara de

áudio

Objetivo

Voz locutorMáscara de

áudio

Voz do personagem (emulada)

07/07/2009Máscaras de áudio para emulação de voz

4

Ondas

Transformada Rápida de Fourier

Filtros Adaptativos

Formato WAVE

Fundamentação teórica

07/07/2009Máscaras de áudio para emulação de voz

5

07/07/2009Máscaras de áudio para emulação de voz

6

Projeções

senoidais com

diferentes

fases iniciais

Ondas

07/07/2009Máscaras de áudio para emulação de voz

7

FFT usando o

método de

Cooley-Tukey

Transforma Rápida de Fourier

07/07/2009Máscaras de áudio para emulação de voz

8

Estrutura

básica de um

filtro

adaptativo

Filtros adaptativos

07/07/2009Máscaras de áudio para emulação de voz

9

Representação

de um arquivo

de formato

WAVE

Formato WAVE

• Usando um redes neural detectaram palavras isoladas

• Adicionado informações a respeito das frequências

Reconhecedores de fonemas (Moser e Tafner)

• Transformações lineares com modelos de mistura Gaussiana

Sintetizadores para leitura de texto (Kain e Macon)

• Ferramenta comercial

Equalizadores de voz (Audio4Fun)

• Usa a partitura da música para definir a entonação

Sintetizadores de voz para canto (Sanjaume)

07/07/2009

10

Máscaras de áudio para emulação de voz

Trabalhos correlatos

Requisitos

Especificação

Implementação

Desenvolvimento da ferramenta

07/07/2009Máscaras de áudio para emulação de voz

11

permitir carregar arquivos de áudio no formato WAVE para ambas as vozes

permitir capturar áudio a partir de um microfone e gravar o mesmo em arquivo

WAVE

transformar um sinal carregado do domínio do tempo para o domínio da frequência

através da transformada de Fourier

obter a frequência do harmônico fundamental

07/07/2009

12

Máscaras de áudio para emulação de voz

Requisitos

armazenar o valor das amplitudes dos harmônicos relevantes a detecção do timbre, que são as

frequências múltiplas do harmônico fundamental

calcular a máscara de diferença entre os harmônicos da amostra de voz do locutor e a

amostra de voz do personagem

aplicar a máscara calculada sobre um sinal de voz do locutor, gerando um terceiro sinal que emule a

voz do personagem

reproduzir qualquer um dos sinais de amostra ou o sinal emulado

07/07/2009

13

Máscaras de áudio para emulação de voz

Requisitos

07/07/2009Máscaras de áudio para emulação de voz

Especificação – Casos de uso14

Especificação – Ciclo de funcionamento

07/07/2009Máscaras de áudio para emulação de voz

15

07/07/2009Máscaras de áudio para emulação de voz

Especificação - Divisão em módulos16

07/07/2009

17

Máscaras de áudio para emulação de voz

Especificação – Modelo dos dados

07/07/2009

18

Máscaras de áudio para emulação de voz

Especificação – Processamento dos dados

07/07/2009

19

Máscaras de áudio para emulação de voz

Especificação – Sequência

Obtenção dos áudios

• Leitura de arquivos WAVE com JavaSound

• Interpretação do conteúdo

Criação do filtro

• Algoritmo LMS sobre os áudios obtidos

Aplicação do filtro

• Adição do filtro criado sobre outra amostra de áudio a fim de modificar o som

Implementação – Técnicas

07/07/2009Máscaras de áudio para emulação de voz

20

07/07/2009

21

Máscaras de áudio para emulação de voz

Implementação – Protótipo

Exemplos

Desempenho

Resultados

07/07/2009Máscaras de áudio para emulação de voz

22

07/07/2009Máscaras de áudio para emulação de voz

Resultados – Exemplo com nota musical

Piano

Guitarra

Emulado

23

Aliasing Tamanho Tempo

100 100 00 min 50 s

100 500 02 min 50 s

100 1000 05 min 40 s

500 100 03 min 00 s

500 500 14 min 40 s

500 1000 27 min 50 s

1000 100 05 min 50 s

1000 500 27 min 50 s

1000 1000 55 min 40 s

07/07/2009

24

Máscaras de áudio para emulação de voz

Resultados – Desempenho

Conclusões

07/07/2009Máscaras de áudio para emulação de voz

25

• A detecção dos harmônicos muitas vezes é subjetivo, devido ao grande número de frequências envolvidas

Detecção dos harmônicos

• O histograma obtido possui muitos dados próximos aos dados relevantes

Histograma

• Variam de uma voz pra outra, dificultando a obtenção de um padrão correlato

Frequências fundamentais

07/07/2009

26

Máscaras de áudio para emulação de voz

Testes

• Processos de tratamentos de sinal são complexos e demandam grande processamento

Complexidade

• Vozes possuem muitas variáveis que as diferenciam umas das outras

Muitas variáveis

• Filtros adaptativos funcionam melhor com sinais constantes

Sinais constantes

Conclusões

07/07/2009Máscaras de áudio para emulação de voz

27

1• Tratamentos com diferentes taxas de amostragem

2• Entrada de mais fontes de áudio simultâneas

3• Aplicação de mais de um filtro

4• Utilização de outros tipos de filtros adaptativos

5• Adequação para a utilização em tempo real

Extensões

07/07/2009Máscaras de áudio para emulação de voz

28

Dúvidas

07/07/2009Máscaras de áudio para emulação de voz

29