1 FEUP – Faculdade de Engenharia da Universidade do Porto 2 LOME – Laboratório de Óptica e Mecânica Experimental do INEGI – Instituto de Engenharia Mecânica

1FEUP – Faculdade de Engenharia da Universidade do Porto

2LOME – Laboratório de Óptica e Mecânica Experimental do INEGI – Instituto de Engenharia Mecânica e Gestão Industrial

Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento

de Objectos em Imagens

Maria João M. Vasconcelos1, João Manuel R. S. Tavares1,2

Maria João M. Vasconcelos, João Manuel R. S. Tavares 2

Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens

| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |

Resumo: Nesta apresentação será descrita uma técnica de modelação de objectos, representados em imagens, baseada em análise estatística, assim como a sua utilização na segmentação e reconhecimento de objectos em novas imagens.

Índice:

1. Introdução;

2. Modelo Pontual de Distribuição (PDM);

3. Modelos de Forma Activa (ASM) e Modelos de Aparência Activa (AAM);

4. Modelos usados;

5. Resultados experimentais;

6. Conclusões e Trabalho Futuro.



Análise de objectos representados em imagens

– Área da Visão Computacional• “Conjunto de métodos e técnicas através dos quais sistemas

computacionais são capazes de interpretar imagens.”

– Modelização de objectos• Modelos flexíveis – modelos estatísticos que permitem analisar e

simular objectos que apresentam formas variáveis em imagens.

– Aplicações• Medicina – localização de estruturas em imagens médicas;

• Indústria – inspecção de produtos;

• Sistemas de segurança – reconhecimento de faces;

• …




• Modelos Pontuais de Distribuição:– Propostos por Cootes e Taylor em 1992;

– Método de modelização de objectos baseado em análise estatística;

– Estudam a forma geométrica dos objectos e suas variações;

– Variantes:• Modelos de Forma Activa;

• Modelos de Aparência Activa.

– São utilizados na segmentação e reconhecimento de objectos em imagens.




Conjunto de treino Construção do vector de coordenadas para cada objecto:

1 1, , , , ,T

i in ini ix x x y y

- 1 si N ,

- sN número de objectos,

- n número de pontos-chave.

Encontrar a forma média, x e os modos de variação aplicando uma análise em componentes principais aos desvios da média.

Modelo Pontual de Distribuição: x x Pb

- 1 tP p p matriz dos

primeiros t vectores próprios; - 1 tb b b vector de pesos

de cada valor próprio.

Representação dos objectos por um conjunto de pontos-chave:

Alinhamento dos objectos pela sua rotação, translação e redimensionamento:


Etapas:



Utilização dos PMDs na pesquisa de objectos:

1. Modelos de Forma Activa – ASMs:– Modelo da forma geométrica;

– Perfis de intensidade dos pontos-chave:• Níveis de cinzento em torno de cada ponto-chave são semelhantes nas

várias imagens.

– Fase de pesquisa:• Estudo da região de cada ponto-chave para calcular o movimento

associado;

• Cálculo dos parâmetros de forma e de pose do PDM;

• Actualização dos parâmetros tendo em conta os limites impostos.




2. Modelos de Aparência Activa – AAMs:– Modelo da forma geométrica;– Modelo de textura:

• Deforma-se cada instância do objecto para coincidir com a forma média;

• Obtém-se os níveis de cinzento da imagem do modelo normalizado:

– Modelo de aparência:• Combinação do modelo da forma com o modelo de textura.

– Modelo activo:• Considera a relação entre os parâmetros obtidos pelo modelo de

aparência e os erros residuais existentes entre a nova instância e modelo construído.


.g gg g P b



Modelos usados:

1. Mão• 25 imagens de treino;

• 4 indivíduos diferentes;

• Etiquetadas automaticamente com 65 pontos-chave.

2. Face– 25 imagens de treino;

– 1 indivíduo;

– Etiquetadas manualmente com 68 pontos-chave.




• Colocação automática de pontos-chave (mão)

1. Extracção do contorno da mão através de um algoritmo de detecção de zonas de pele;

2. Cálculo das zonas de maior curvatura do contorno;

3. Delimitação da zona da mão (eliminar a zona do pulso);

4. Colocação dos pontos-chave tendo em conta as zonas de maior curvatura.




1. Mão– 65 Pontos-

chave

(automático)

2. Face– 68 Pontos-

chave

(manual)




1. Mão

• ASM– Os primeiros

6 modos de variação explicam 95% da variância total da forma geométrica.


2 0 2i i

1º m

odo

2º m

odo

3º m

odo



2. Face| Introdução | ASM / AAM| PDM | Modelos | Resultados | Conclusões | Trabalho Futuro |

• Modelo da forma– Os primeiros 4 modos

explicam 95% da variância total da forma geométrica.

• Modelo de aparência– Os primeiros 5 modos

explicam 95% da variação total da aparência.

1º m

odo

2º m

odo

3º m

odo

1º m

odo

2º m

odo

3º m

odo



3. Modelos de Forma Activa

17ª it13ª it5ª itPosição inicial


Posição inicial 9ª it 19ª it 29ª it

(imagens “novas”)



3. Modelos de Aparência Activa


Imagem original 8ª iteração 15ª iteração Imagem reconstruída

Exemplo de segmentação usando o modelo de aparência activa construído para a face numa imagem de teste.

(imagem “nova”)



Conclusões:• Foi apresentada uma metodologia que permite construir

modelos flexíveis, para objectos deformáveis representados em imagens, baseada em análise estatística.

• Os modelos descritos têm aplicações em várias áreas, desde a localização de estruturas em imagens médicas até ao reconhecimento de faces.

• Os resultados experimentais obtidos mostram que os métodos activos permitem segmentar e localizar adequadamente o objecto modelizado em novas imagens.




Perspectivas de Trabalho Futuro:

• Automatizar a etapa da colocação e emparelhamento dos pontos-chave em imagens de faces:

1. Usar uma metodologia semelhante à desenvolvida para as mãos: contornos dos olhos, boca e contorno “inferior” da face;

2. Considerar como pontos-chave os nodos de uma malha rectangular adaptativa e multiresolução colocada adequadamente na imagem.

• Comparar experimentalmente os modelos de forma activa com os modelos de aparência activa.


1FEUP – Faculdade de Engenharia da Universidade do Porto

2LOME – Laboratório de Óptica e Mecânica Experimental do INEGI – Instituto de Engenharia Mecânica e Gestão Industrial

Maria João M. Vasconcelos1, João Manuel R. S. Tavares1,2

Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento

de Objectos em Imagens

Documents

1 FEUP – Faculdade de Engenharia da Universidade do Porto 2 LOME – Laboratório de Óptica e Mecânica Experimental do INEGI – Instituto de Engenharia Mecânica