30
MESTRADO EM ESTATÍSTICA APLICADA E MODELAÇÃO Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação Maria João Medeiros de Vasconcelos Licenciada em Matemática Aplicada à Tecnologia Orientador: João Manuel R. S. Tavares Prof. Auxiliar da Faculdade de Engenharia da Universidade do Porto Departamento de Engenharia Mecânica e Gestão Industrial

Modelos Pontuais de Distribuição em Visão Computacional ...tavares/downloads/publications/teses/MJoao... · Computacional – Estudo, Desenvolvimento e Aplicação Maria João

Embed Size (px)

Citation preview

MESTRADO EM ESTATÍSTICA APLICADAE MODELAÇÃO

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

Maria João Medeiros de VasconcelosLicenciada em Matemática Aplicada à Tecnologia

Orientador:

João Manuel R. S. TavaresProf. Auxiliar da Faculdade de Engenharia da Universidade do Porto

Departamento de Engenharia Mecânica e Gestão Industrial

Março de 2006 - Maria João Medeiros de Vasconcelos 2

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

Etapas da Apresentação:1. Introdução;

2. Modelo Pontual de Distribuição (PDM) e modelos derivados: Modelo de Forma Activa (ASM) e Modelo de Aparência Activa (AAM);

3. Etiquetagem e emparelhamento automático dos pontos-chave;

4. Implementações usadas, adaptadas e desenvolvidas;

5. Modelos construídos e resultados obtidos;

6. Conclusões e Trabalho Futuro.

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Objectivos: Estudar a modelação de objectos deformáveis por intermédio de Modelos Pontuais de Distribuição, implementar e automatizar a metodologia envolvida. Aplicar esta modelação em objectos representados em imagens, e analisar os resultados obtidos no reconhecimento em novas imagens.

Março de 2006 - Maria João Medeiros de Vasconcelos 3

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

Análise de objectos representados em imagens:

– Área da Visão Computacional:• “Conjunto de métodos e técnicas através dos quais sistemas

computacionais são capazes de interpretar imagens.”

– Modelização de objectos:• Modelos flexíveis permitem analisar e simular objectos que apresentam

formas variáveis.

– Aplicações:• Medicina – localização de estruturas em imagens médicas;• Indústria – inspecção de produtos;• Sistemas de segurança – reconhecimento de faces;• …

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Março de 2006 - Maria João Medeiros de Vasconcelos 4

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

Modelos Pontuais de Distribuição:– Propostos por Cootes e Taylor em 1992;– Método de modelização de objectos baseado em análise

estatística;– Obtêm a forma geométrica média dos objectos e as suas

variações;– Modelos derivados:

• Modelo de Forma Activa;• Modelo de Aparência Activa.• São utilizados na segmentação e reconhecimento de objectos.

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Março de 2006 - Maria João Medeiros de Vasconcelos 5

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

Etapas para a construção do PDM:1. Consideração de um conjunto

de treino;2. Representação do objecto por um

conjunto de pontos-chave;3. Consideração das coordenadas dos

pontos-chave de cada instância:

- número de instâncias- número de pontos-chave

4. Alinhamento das instâncias (rotação, translação e redimensionamento);

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

1 1, , , , ,⎛ ⎞⎜ ⎟⎝ ⎠

= … …T

i in ini ix x x y y1= … si N

sNn

Março de 2006 - Maria João Medeiros de Vasconcelos 6

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

Etapas para a construção do PDM: (cont.)5. Aplicação de uma Análise em Componentes Principais aos

desvios da média, para obter a forma média e os modos de variação (desvios);

6. Obtenção do Modelo Pontual de Distribuição:

- forma média do objecto- matriz dos primeiros t vectores próprios

- vector de pesos de cada valor próprio

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

( )1= … tP p p

( )1= … tb b b

x

= +x x Pb

Março de 2006 - Maria João Medeiros de Vasconcelos 7

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

Utilização do PMD na pesquisa de objectos:

1. Modelo de Forma Activa – ASM:– Modelo da forma geométrica;– Consideração dos perfis de intensidade dos pontos-chave;

• Pressuposto: Níveis de cinzento em torno de cada ponto-chave são semelhantes nas várias imagens do objecto;

– Fase de pesquisa:• Estudo da região de cada ponto-chave para calcular o movimento

associado;• Cálculo dos parâmetros de forma e de pose do PDM;• Actualização dos parâmetros tendo em conta os limites impostos para

a deformação.

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Março de 2006 - Maria João Medeiros de Vasconcelos 8

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

2. Modelo de Aparência Activa – AAM:– Modelo de aparência:

• Combinação do modelo da forma geométrica com um modelo de textura.

• Modelo de textura:– Deforma-se cada instância do objecto para coincidir com a forma

geométrica média;– Obtém-se os níveis de cinzento da imagem do modelo

normalizado:

– Modelo activo:• Considera a relação entre os parâmetros obtidos pelo modelo de

aparência e os erros residuais existentes entre a nova instância e o modelo construído.

.g gg g P b= +

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Março de 2006 - Maria João Medeiros de Vasconcelos 9

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Objectos considerados:

– Mão:• 25 imagens de treino;• 4 indivíduos diferentes.

– Face:• 22 imagens de treino;• 1 indivíduo.

Março de 2006 - Maria João Medeiros de Vasconcelos 10

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

– Mão:

1. Extracção do contorno através de um algoritmo de detecção de zonas de pele;

2. Cálculo das zonas de maior curvatura do contorno;

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Colocação automática de pontos-chave:

Março de 2006 - Maria João Medeiros de Vasconcelos 11

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Colocação automática de pontos-chave:

– Mão: (cont.)

3. Delimitação da zona com interesse (eliminar a zona do pulso);

4. Colocação dos pontos-chave tendo em conta as zonas de maior curvatura.

Março de 2006 - Maria João Medeiros de Vasconcelos 12

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Colocação automática de pontos-chave:

– Face - Metodologia I:

1. Extracção do contorno atravésde um algoritmo de detecção de zonas de pele;

2. Localização das sobrancelhas e dos olhos através de um mapa cromático;

3. Localização da boca através do valor da componente de saturação da imagem;

Março de 2006 - Maria João Medeiros de Vasconcelos 13

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Colocação automática de pontos-chave:

– Face - Metodologia I: (cont.)

4. Colocação dos pontos-chavenos contornos determinados.

Março de 2006 - Maria João Medeiros de Vasconcelos 14

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Colocação automática de pontos-chave:

– Face - Metodologia II:

1. Localização da região da face e dos olhos segundo a metodologia anterior;

2. Colocação de uma malha rectangular centrada no contorno e rodada de acordo com os olhos;

3. Consideração dos pontos-chave como sendo os nodos da malha definida.

Março de 2006 - Maria João Medeiros de Vasconcelos 15

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Colocação automática de pontos-chave:

– Face - Metodologia III:

1. Localização das regiões da face, olhos e boca segundo a primeira metodologia apresentada para faces;

2. Colocação de uma malha formada por duas sub-malhas adaptativas: uma na região dos olhos e outra na região da boca;

3. Colocação de nodos na malha exterior;4. Consideração dos pontos-chave como

sendo os nodos das malhas definidas.

Março de 2006 - Maria João Medeiros de Vasconcelos 16

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

Emparelhamento automático:

– Método de Shapiro: determinação de correspondências entre pontos-chave de duas instâncias através de análise modal da forma.

– Método de Sclaroff: determinação de correspondências entre pontos-chave de duas instâncias através de modelação física, por intermédio do método dos elementos finitos, seguida de análise modal.

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Março de 2006 - Maria João Medeiros de Vasconcelos 17

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

Implementações usadas, adaptadas e desenvolvidas:

1. Modelo pontual de distribuição:– Etiquetagem do conjunto de treino:

• Automática:• Mão;• Face:

• Contornos;• Malha regular;• Malha adaptativa de

multirresolução;• Manual;

– Emparelhamento automático dos pontos-chave.

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Março de 2006 - Maria João Medeiros de Vasconcelos 18

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

2. Modelo de forma activa:

– Fase de treino:• Permite construir o modelo de

forma activa;– Fase de observação dos modos:

• Permite ver os modos de variação do modelo;

– Fase de pesquisa:• Reconhece o objecto modelado

numa nova imagem.

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Implementações usadas, adaptadas e desenvolvidas:

Março de 2006 - Maria João Medeiros de Vasconcelos 19

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

3. Modelo de aparência activa:

– Fase de treino:• Permite construir os modelos

de forma, textura e aparência;

– Fase de pesquisa:• Permite reconhecer o objecto

modelado em novas imagens.

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Implementações usadas, adaptadas e desenvolvidas:

Março de 2006 - Maria João Medeiros de Vasconcelos 20

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

Objectos considerados:– Mão:

• 25 imagens de treino;• 4 indivíduos diferentes;• Etiquetadas automaticamente

com 79 pontos-chave.– Face:

• 22 imagens de treino;• 1 indivíduo;• Etiquetadas automaticamente

com 44, 49, 54 e 75 pontos-chave.

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Março de 2006 - Maria João Medeiros de Vasconcelos 21

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

Modelos construídos:– ASM:

• Utilizaram-se dois métodos de alinhamento dos pontos-chave: tendo em conta as variâncias dos pontos-chave e considerando os pontos-chave com o mesmo peso;

• Percentagem de variação retida: 95 e 99;• Dimensão do perfil: reduzida (7 píxeis), média (15 píxeis) e elevada

(33 píxeis).

– AAM:• Percentagem de variação retida: 95 e 99;• Número de píxeis a usar no modelo de textura: 5000, 10000 e 50000.

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Março de 2006 - Maria João Medeiros de Vasconcelos 22

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

1. Mão:

• ASM:– Os primeiros

6 modos de variação explicam 95% da variância total da forma geométrica.

2 0 2i iλ λ− ← →

1ºm

odo

2ºm

odo

3ºm

odo

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Março de 2006 - Maria João Medeiros de Vasconcelos 23

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

2. Face - Metodologia I:

• Modelo da forma:– Os primeiros 13 modos

explicam 95% da variância total da forma geométrica.

• Modelo de aparência:– Os primeiros 12 modos

explicam 95% da variação total da aparência.

1ºm

odo

2ºm

odo

3ºm

odo

3ºm

odo

1ºm

odo

2ºm

odo

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Março de 2006 - Maria João Medeiros de Vasconcelos 24

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

2. Face - Metodologias II e III:

• Modelo de aparência (II):– Os primeiros 5 modos

explicam 95% da variância total da aparência.

• Modelo de aparência (III):– Os primeiros 8 modos

explicam 95% da variação total da aparência.

1ºm

odo

2ºm

odo

3ºm

odo

3ºm

odo

1ºm

odo

2ºm

odo

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Março de 2006 - Maria João Medeiros de Vasconcelos 25

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

3. Utilização: Modelos de Forma Activa:

Posição inicial 9ª iteração 19ª iteração 29ª iteração

18ª iteração14ª iteração8ª iteraçãoPosição inicial

(imagens “novas”)

erro: 6.13±3.67

erro: 6.20±5.26

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Março de 2006 - Maria João Medeiros de Vasconcelos 26

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

3. Utilização: Modelos de Aparência Activa: (imagens “novas”)

Imagem original 10ª iteração 19ª iteração 24ª iteração

Imagem original 7ª iteração 17ª iteração 21ª iteração

Met

. IM

et. I

IM

et. I

II

Imagem original 10ª iteração 20ª iteração 23ª iteração

erro: 5.11±4.15

erro: 2.93±0.11

erro: 1.58±0.43

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Março de 2006 - Maria João Medeiros de Vasconcelos 27

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

Observações:– ASM:

• Utilizaram-se dois métodos de alinhamento dos pontos-chave: tendo em conta as variâncias dos pontos-chave e considerando os pontos-chave com o mesmo peso;

• Percentagem de variação retida pelos modelos: 95 e 99;• Dimensões consideradas para o perfil de intensidade: reduzida (7

píxeis), média (15 píxeis) e elevada (33 píxeis).

– AAM:• Percentagem de variação retida pelos modelos: 95 e 99;• Número de píxeis usada nos modelos de textura: 5000, 10000 e

50000.

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

(Melhores resultados)

Março de 2006 - Maria João Medeiros de Vasconcelos 28

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

Conclusões:• Realizou-se um estudo detalhado sobre o modelo pontual de

distribuição e seus derivados: modelo de forma activa (ASM) e modelo de aparência activa (AAM).

• Foram considerados dois exemplos de aplicação: Objectos representados em imagens do tipo Mão e Face.

• O ASM pesquisa o objecto modelado à volta de cada ponto-chave e localiza mais rapidamente o objecto numa nova imagem.

• O AAM utiliza também na modelação informação sobre os níveis de cinzento do objecto e por isso tende a ser mais robusto que oASM.

• O AAM permite construir um modelo robusto utilizando um número reduzido de pontos-chave, ao contrário do que acontece com o ASM. Assim, nos casos nos quais a colocação de pontos-chave não seja um processo automático é preferível a utilização de modelos de aparência.

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

Março de 2006 - Maria João Medeiros de Vasconcelos 29

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

Trabalho Futuro:

• Tornar o processo de extracção de pontos notáveis automático para outros tipos de objectos (como ossos e órgãos, de modo a facilitar a utilização dos modelos de distribuição pontual na área médica);

• Utilizar os modelos pontuais de distribuição em objectos 3D;• Estudar alternativas de construção de modelos robustos usando

números reduzidos de imagens de treino;• Construir modelos estatísticos capazes de englobar algum

conhecimento preexistente sobre as propriedades físicas dos objectos.

| Introdução | PDM / ASM / AAM | Automatização | Implementação | Aplicação | Conclusão |

MESTRADO EM ESTATÍSTICA APLICADAE MODELAÇÃO

Modelos Pontuais de Distribuição em Visão Computacional – Estudo, Desenvolvimento e Aplicação

Maria João Medeiros de VasconcelosLicenciada em Matemática Aplicada à Tecnologia

Orientador:

João Manuel R. S. TavaresProf. Auxiliar da Faculdade de Engenharia da Universidade do Porto

Departamento de Engenharia Mecânica e Gestão Industrial