DSM 2007
Conferência Nacional de Dinâmicade Sistemas Multicorpo
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM Ç ÇIMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Fernando J. S. Carvalho, João Manuel R. S. Tavares,
ISEP – Instituto Superior de Engenharia do PortoFEUP – Faculdade de Engenharia da Universidade do Porto
ÓLOME – Laboratório de Óptica e Mecânica Experimental
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Introdução:
| Metodologia| Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
Introdução:
• No domínio da visão computacional, os investigadores tem p gprocurado reproduzir computacionalmente algumas das características mais comuns do sistema de visão humano;
• No presente caso, em imagens de faces, desenvolvem-se metodologias aplicadas em algumas áreas de investigação, tais como: detecção da face, reconhecimento da face, extracção de características faciais, análise da expressão facial, seguimento das faces em sequências de imagens, etc.;q g , ;
• O trabalho apresentado, baseia-se no uso de um algoritmo, d l id bi t M tL b d l tóti desenvolvido em ambiente MatLab, que usa um modelo protótipo deformável para detectar e extrair as características do olho em imagens.
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Sumário:
| Metodologia| Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
• Modelo protótipo deformável;
• Campos de energia;
•Capacidades atractivas dos campos de energia;Capacidades atractivas dos campos de energia;
•Função de energia;
•Método de emparelhamento;
•Exemplos de resultados obtidos;•Exemplos de resultados obtidos;
•Conclusões;
•Trabalho Futuro.
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Modelo Protótipo Deformável
| Metodologia | Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
p
Descrição :• O modelo protótipo deformável é controlado por 11 parâmetros e p p p pgeometricamente representado por uma circunferência e duas parábolas, sendo uma côncava e outra convexa;•A parametrização considerada confere ao modelo a possibilidade de alterar a p ç psua orientação, a escala, e a posição, isto é, permite a sua deformação rígida.
Imagem com o modelo protótipo deformável usado, considerandoos parâmetros: a b c r t P1 P2 xe ye xc e ycos parâmetros: a , b , c, r, t, P1, P2, xe, ye, xc e yc.
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Parâmetros do Modelo Protótipo Deformável:
| Metodologia | Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
p
•A orientação do modelo é controlada por três parâmetros: o ângulo de rotação t, e os pontos de orientação P1 e P2;•A escala do modelo é controlada por quatro parâmetros: as alturas a e c medidas entre os vértices das parábolas superior e inferior e o centro do olho, respectivamente; a largura do olho 2b; e o raio r da íris;•Finalmente, a posição do modelo é controlada pelas coordenadas do centro da íris e do centro do olho, respectivamente pelos parâmetros: xc, yc, xe e ye.
Imagem com o modelo protótipo deformável usado (à esquerda) e correspondente
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
Imagem com o modelo protótipo deformável usado (à esquerda) e correspondentecomparação geométrica entre o mesmo e o olho humano (à direita).
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Campos de Energia:
| Metodologia | Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
p g•Os campos de energia constituem a “fonte de informação” e permitem realçar determinadas características do olho, sendo de considerar que é na sua definição que se encontra a essência do método de emparelhamento entre o ç q pmodelo usado e uma imagem em estudo.• A extracção dos campos de energia, é feita através do uso de um conjunto de operadores morfológicos; como exemplo, o campo de energia das orlas é operadores morfológicos; como exemplo, o campo de energia das orlas é obtido usando o detector de orlas de Canny. • São utilizados quatro campos de energia relativos a: orlas de intensidade; vales de intensidade; picos de intensidade; e níveis de intensidade em tons de de intensidade; picos de intensidade; e níveis de intensidade em tons de cinzento.
Imagem em estudo e os campos de energia das orlas de intensidade, dos picos de intensidade, dos vales de intensidade, e dos níveis de intensidade em tons
de cinzento (da esquerda para a direita)
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
de cinzento (da esquerda para a direita).
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Capacidades atractivas dos campos de energia:
| Metodologia | Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
p p g•O elevado gradiente presente no interior da íris, obtido do campo de energia dos vales de intensidade, permite atrair a circunferência até a íris.
Segmento da imagem original com a representação dos vectoresgradiente obtidos do campo de energia dos vales de intensidade.
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Capacidades atractivas dos campos de energia:
| Metodologia | Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
p p g•O elevado gradiente nos limites da íris e do contorno do olho, obtido do campo de energia das orlas de intensidade, atrai globalmente o modelo a curtas distâncias para esses limites, na prática, permite realizar ajustes finos.p , p , p j
Segmento da imagem original com a representação dos vectoresi i i i i
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
gradiente obtidos do campo de energia das orlas de intensidade.
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Capacidades atractivas dos campos de energia:
| Metodologia | Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
p p g•O elevado gradiente no interior da córnea óptica (sclera), permite posicionar correctamente os pontos P1 e P2 nos seus centros, permitindo controlar eficazmente a orientação do modelo, nomeadamente o ângulo de rotação.ç , g ç
Segmento da imagem original com a representação dos vectoresi i i i i i
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
gradiente obtidos do campo de energia dos picos de intensidade.
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Função de Energia:
| Metodologia | Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
ç g•A função de energia a minimizar, resulta da soma de um conjunto de primitivas, tendo por base os campos de energia anteriormente considerados:
v e p i priorE E E E E E= + + + +
•A energia proveniente dos vales de intensidade Ev é maximizada no interior da
( ) ( )1CE dAϕ
⎛ ⎞⎜ ⎟∫∫
r
A energia proveniente dos vales de intensidade Ev, é maximizada no interior da circunferência:
( ) ( )1
1v v
Rc
E u dAA
ϕ⎜ ⎟= −⎜ ⎟⎝ ⎠∫∫
•A energia proveniente das orlas de intensidade Ee também é maximizada ao
( ) ( )CC⎛ ⎞⎜ ⎟∫ ∫
•A energia proveniente das orlas de intensidade Ee, também é maximizada ao longo dos contornos da circunferência e das parábolas:
( ) ( ) ( )32
1 2e e e
Cb Pb
CCE u ds u ds
L Lϕ ϕ⎜ ⎟= − +
⎜ ⎟⎝ ⎠
∫ ∫r r
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
•Já a energia proveniente dos níveis de intensidade em tons de cinzento Ei, é por
| Metodologia | Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
( ) ( )CC∫∫ ∫∫
g p pum lado minimizada no interior da circunferência, e por outro lado maximizada no interior da córnea óptica:
( ) ( )54
1 2i i i
Rc Rs
CCE u dA u dA
A Aϕ ϕ= −∫∫ ∫∫
r r
( ) ( )( )•A energia proveniente dos picos de intensidade Ep, deve ser minimizada nesses pontos:
( ) ( )( )6 1 1 2 1p p pE C u Pe u P eϕ ϕ= + + −r rr r
A i i t E i i é d i di d l f h b i•A energia interna Epriori, é usada para impedir que o modelo se feche sobre simesmo:
( ) ( )( )2
2 21 21
1 ( )2 2 2priori e c e c
K KE x x y y P r b⎛ ⎞= − + − + − +⎜ ⎟
⎝ ⎠( )
( )2
2322
2 2 2
1 ( ) 22 2 2
p
KKP r b b r
⎝ ⎠
⎛ ⎞+ + + + −⎜ ⎟⎝ ⎠
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
( )2 ( )2 2 2⎜ ⎟⎝ ⎠
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Método de Emparelhamento:
| Metodologia | Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
p•O processo de emparelhamento consiste na interacção dinâmica entre o modelo e uma imagem em estudo, considerando 7 fases de processamento estrategicamente definidas;g ;• Durante o processo de emparelhamento, a actualização iterativa dos parâmetros do modelo é realizada recorrendo-se ao algoritmo de optimização, o gradiente descendente;o gradiente descendente;•Como exemplo, a actualização dos parâmetros do centro da íris, usando o referido algoritmo, obedece ao seguinte procedimento:
' ' dxc Exc ∂= =
'
_ _
_ _t
t
xc new xc old dt xc
yc new yc old dt yc
= + ×
= + ×, em que:
'
t
t
xcdt xcdyc Eyc
= = −∂∂
= = −
•Para cada iteração procura-se minimizar a energia de deformação do modelo, considerando:
tycdt yc∂
_ _ .E new E old Tol− <
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Exemplos de resultados obtidos:
| Metodologia | Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
pParâmetros Fases de Emparelhamento
0 1 2 3 4 5 6 7
t Rad. 0.00 - - - 0.17 0.30 - 0.28
xe 60.00 77.46 - - 80.11 78.60 - 78.78
21 00 51 47 42 38 42 10 42 06ye 21.00 51.47 - - 42.38 42.10 - 42.06
xc 60.00 77.46 77.13 - - - - 77.50
yc 21.00 51.47 50.13 - - - - 52.05
PixelP1 20.00 - - - 21.92 24.80 - 24.81
- P2 20.00 - - - 21.94 19.14 - 20.72
20 00 19 75 19 45a 20.00 - - - - - 19.75 19.45
b 40.00 - - - - 30.95 31.49 32.06
c 20.00 - - - - - 16.39 17.58
r 20.00 - 18.00 17.96 - - - 17.96
Tabela de resultados obtidos, considerando a sequência de sete fases de emparelhamento.
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Exemplos de resultados obtidos:
| Metodologia | Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
p
Imagem original e representação da sequência das 8 fases de emparelhamento(da esquerda para a direita e de cima para baixo).
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Exemplos de resultados obtidos:
| Metodologia | Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
p
Resultado do emparelhamento entre o modelo usado euma outra imagem de faces.
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Conclusões:
| Metodologia | Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
•Atendendo aos resultados obtidos, a metodologia baseada no emparelhamento do modelo protótipo considerado mostra-se eficaz na detecção e extracção das características do olho humano;ç ç ;•O algoritmo converge muito rapidamente, sendo esta uma das suas principais vantagens, no entanto, carece de um posicionamento adequado, nomeadamente em zonas relativamente próximas do olho sendo esta a sua nomeadamente em zonas relativamente próximas do olho sendo esta a sua principal desvantagem; •Consideramos a necessidade de melhorar o algoritmo ao nível da extracção dos campos de energia uma vez que em alguns casos a má definição dos dos campos de energia, uma vez que, em alguns casos, a má definição dos mesmos, condiciona o sucesso do emparelhamento;•Consideramos necessária a introdução de um mecanismo que procure o valor adequado das constantes de peso associadas a cada componente energéticaadequado das constantes de peso associadas a cada componente energética.
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Trabalho Futuro:
| Metodologia | Sumário | Conclusões | Trabalho Futuro| Resultados| Introdução
Como trabalho futuro, pretende-se utilizar a metodologia considerada no seguimento e análise do movimento do olho ao longo de sequências de imagens.g
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Agradecimentos:gEste trabalho foi parcialmente desenvolvido no âmbito do Projecto de Investigação “Segmentação, Seguimento e Análise de Movimento de Objectos Deformáveis (2D/3D) usando Princípios Físicos” financiado pela FCT - Fundação ( / ) p p çpara a Ciência e a Tecnologia, com a referência POSC/EEA-SRI/55386/2004.
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares
DETECÇÃO E EXTRACÇÃO DE CARACTERÍSTICAS DO OLHO EM IMAGENS USANDO UM MODELO PROTÓTIPO DEFORMÁVEL
Obrigado! Obrigado!
DSM 2007 – Conferência Nacional de Dinâmica de Sistemas Multicorpo Fernando Carvalho, João Tavares