Processamento e Análise de Imagem em Biomecânica João ...paginas.fe.up.pt/~tavares/downloads/publications/comunicacoes/apr… · Análise de Imagem, sendo frequentemente a primeira

Processamento e Análise de Imagemem Biomecânica

João Manuel R. S. Tavares

[email protected] www.fe.up.pt/~tavares

Hotel Porto PalácioPorto18-19 Julho 2008

Conteúdo

• Apresentação• Introdução• Tarefas e Aplicações

– Segmentação– Seguimento– Emparelhamento e Morphing– Reconstrução 3D

• Conclusões

João Manuel R. S. Tavares 2Processamento e Análise de Imagem em Biomecânica

Apresentação

Apresentação

• Prof. Auxiliar no Dep. de Eng. Mecânica e Gestão Industrial (DEMEGI) da Fac. de Eng. da Universidade do Porto (FEUP)

• Investigador Sénior e Coordenador de Projecto no Lab. de Óptica e Mecânica Experimental (LOME) do Instituto de Eng. Mecânica e Gestão Industrial (INEGI)

• Doutorado e Mestre em Eng. Electrotécnica e de Computadores (FEUP) (com Tese e Dissertação na área do Processamento e Análise de Imagem)

• Licenciado em Eng. Mecânica (FEUP)• Áreas de Investigação: Processamento e Análise de Imagem

(segmentação, seguimento e reconstrução 3D), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (sistemas protótipos biomédicos)


Introdução

Processamento e Análise de Imagem

• O sistema sensorial da visão tem elevada importância para os seres vivos– Podendo disponibilizar informações de índole mais básica, como

verificar a existência ou não de obstáculos, ou de cariz mais complexo, como o seguimento e análise de movimento

– Operações comuns: identificação (segmentação), seguimento de movimento (seguimento e análise), correspondência e alinhamento (emparelhamento e alinhamento), obtenção da forma 3D (reconstrução 3D)



• Os investigadores desta área do conhecimento tentam desenvolver algoritmos computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos

João Manuel R. S. Tavares 7Processamento e Análise de Imagem em Biomecânica 7

Imagensoriginais voxelizado poligonizado

Azevedo et al. 2007, 3D Volumetric Reconstruction and Characterization of Objects from Uncalibrated Images, VIIP 2007, Spain

Modelo 3D obtido


• Exemplos de tarefas mais comuns usando algoritmos de Processamento e Análise de Imagem são: remoção de ruído, correcção geométrica, compressão, segmentação (2D/3D), seguimento e análise de movimento (2D/3D), emparelhamento e alinhamento (2D/3D), reconstrução 3D, etc.

• Domínios em que são frequentes algoritmos de Processamento e Análise de Imagem: Medicina, Industria, Engenharia, Biomecânica, Realidade Virtual, etc.


Tarefas e Aplicações:Segmentação

Segmentação

• Pretende-se identificar de forma automática, ou semi-automática, as estruturas (2D/3D) presentes numa imagem

• As metodologias mais comuns são baseadas em modelizações estatísticas, geométricas ou físicas

• É uma das operações mais usuais em Processamento e Análise de Imagem, sendo frequentemente a primeira “grande” tarefa considerada

• Problemas envolvidos: ruído, baixa resolução, reduzido contraste, formas não conhecidas, oclusões parciais, múltiplas estruturas presentes, etc.


• Exemplo: segmentação de contornos em pedobarografiadinâmica

Segmentação

João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 11

Imagens originais Após segmentação

Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3

camera mirror

contact layer + glass

reflected light glass

pressureopaque layer

lamp

lamp transparentlayer

Segmentação

• Exemplo: segmentação usando modelos pontuais de distribuição

João Manuel R. S. Tavares12Processamento e Análise de Imagem em Biomecânica

Vasconcelos & Tavares 2005, Introdução aos modelos pontuais de distribuição e sua utilização na segmentação e reconhecimento de objectos em imagens, CMNI 2005, España

Etapas da segmentação numa nova imagem (usando modelo geométrico)

Vasconcelos & Tavares 2006, Methodologies to Build Automatic Point Distribution Models for Faces Represented in Images, CompIMAGE 2006, Portugal


Background subtraction method

Foreground object detection method

Segmentação

• Exemplo: segmentação usando modelos estatísticos

Vasconcelos & Tavares 2008, Image Segmentation for Human Motion Analysis: Methods and Applications, WCCM8 / ECCOMAS 2008, Italy

Segmentação

• Exemplo: segmentação usando um protótipo geométrico deformável


Carvalho & Tavares 2007, Eye detection using a deformable template in static images, VipIMAGE 2007, Portugal

Imagem original e de camposde forças considerados

Protótipo deformável usado para o olho

Determinação iterativa doolho usando um protótipo

deformável

Carvalho & Tavares 2006, Two Methodologies for Iris Detection and Location in Face Images, CompIMAGE 2006, Portugal

Segmentação

• Exemplo: segmentação usando modelos físicos deformáveis (contornos activos - snakes)


Imagem original econtorno inicial

Contorno finalobtido

Tavares et al. 2002, Apresentação de um Banco de Desenvolvimento e Ensaio para Objectos Deformáveis, RESI – Revista Electrónica de Sistemas de Informação, Vol. 1, No. 1

Segmentação

• Exemplo: segmentação usando modelos físicos deformáveis (level-sets)


Imagem original Segmentação inicial Segmentação final obtida

Perdigão et al. 2005, Geração de modelos de malhas de elementos finitos a partir de imagens médicas 2D, Encontro_1_Biomecânica, Portugal

Tarefas e Aplicações:Seguimento

Seguimento

• Pretende-se seguir o movimento (e/ou a deformação) de estruturas em sequências de imagem

• Nesta área, destacam-se as metodologias baseadas em emparelhamento de blocos e em métodos estocásticos

• Usualmente, envolve a estimativa do movimentoenvolvido, a gestão das entidades seguidas, a análise do movimento seguido bem como a sua quantificação

• Problemas envolvidos: movimento não rígido, distorção geométrica, condições de iluminação, oclusão, ruído, múltiplas estruturas, etc.


Seguimento

• Exemplo: seguimento de contornos em pedobarografia dinâmica



Seguimento de contornos

Seguimento


Prediction Uncertainty Area Measurement Correspondence Result

• Exemplo: seguimento usando filtragem de Kalman e técnicas de optimização

Pinho et al. 2005, Human Movement Tracking and Analysis with Kalman Filtering and Global Optimization Techniques, ICCB 2005, Portugal

João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica

Seguimento

• Exemplo: análise da marcha comdetecção de eventos

Sousa et al. 2007, Registration between Data from Visual Sensors and Force Platform in Gait Event Detection, ISHF2007, PortugalSousa et al. 2007, Selecting Biomechanical Variables for Detect Gait Events using Computational Vision, ICCB 2007, Venuzuela

21

Seguimento

• Exemplo: seguimento usando filtragem de Kalman, técnicas de optimização e modelo de gestão


Pinho et al. 2007, Efficient Approximation of the Mahalanobis Distance for Tracking with the Kalman Filter, International Journal of Simulation Modelling, Vol. 6, No. 2

(547 frames)

Pinho et al. 2005, A Movement Tracking Management Model with Kalman Filtering, Global Optimization Techniques and Mahalanobis Distance, LSCCS, Vol. 4A

Tarefas e Aplicações:Emparelhamento e Morphing

Emparelhamento e Morphing


• Emparelhamento– É uma das tarefas mais usuais em Processamento e Análise de

Imagem, por exemplo, para alinhar estruturas, reconhecer estruturas, obter informação 3D, analisar movimento, etc.

– Geralmente é conseguido através da consideração de características invariantes, como a curvatura, ou de deslocamentos em espaços globais, como no espaço modal

– Problemas envolvidos: oclusão, deformações não rígidas, variações elevadas de forma, etc.

Emparelhamento e Morphing


• Morphing– É uma tarefa muito usada em Computação Gráfica mas também

muito útil em Processamento e Análise de Imagem, por exemplo, para estimar a deformação existente entre duas estruturas distintas ou entre dois instantes de uma mesma estrutura, estimar as transições entre duas formas adquiridas com espaçamento temporal elevado, etc.

– Geralmente é conseguida através da consideração de transformações geométricas

– No entanto, quando se deve considerar o comportamento físico das estruturas envolvidas, devem ser usadas metodologias e modelizações físicas, por exemplo usando FEM

• Dificuldades comuns são relativas à estimativas das forças envolvidas e das propriedades adoptadas para os materiais (virtuais)

• Fase de emparelhamento das estruturas torna-se crucial

Emparelhamento

• Exemplo: emparelhamento em pedobarografia dinâmica usando modelização física, análise modal e optimização


Imagem de pedobarografia

dinâmica

Objecto Inicial Objecto Final


Emparelhamento obtido

• Exemplo: emparelhamento em pedobarografia dinâmica usando modelização física, análise modal e optimização


Emparelhamentos obtidosentre iso-contornos


Emparelhamentos obtidos entre superficies

Emparelhamento

Morphing

• Exemplo: morphing usando modelização física e emparelhamento modal


Emparelhamentos Deformações estimadas

Gonçalves et al. 2007, Simulação da Deformação de Objectos em Imagens segundo Princípios Físicos, 2º Encontro Nacional de Biomecânica, Portugal

Emparelhamentos Deformações estimadas

Tavares & Pinho 2005, Estimação Temporal da Deformação entre Objectos utilizando uma Metodologia Física, InfoComp, Vol. 4, No. 1

Imagens originais

Tarefas e Aplicações:Reconstrução 3D

Reconstrução 3D

• Pretende-se obter a forma 3D de estruturas a partir de imagens

• Nesta área, destacam-se as metodologias baseadas em: formas exteriores – técnicas activas (com projecção de energia ou movimento relativo), passivas (sem projecção de energia ou movimento relativo) e de escavação espacial; formas interiores – segmentação 2D (contornos, por exemplo) e interpolação

• Usualmente, envolve tarefas de calibração, segmentação, emparelhamento, triangulação e interpolação

• Problemas envolvidos: distorção geométrica, condições de iluminação, oclusão, ruído, múltiplas estruturas, formas complexas, etc.


Reconstrução 3D

• Exemplo: reconstrução 3D a partir de imagens médicas


Slices Segmentação

Pimenta et al. 2006, Reconstruction of 3D Models from Medical Images: Application to Female Pelvic Organs, CompIMAGE 2006, Portugal

Pavimento pélvico reconstruído

Reconstrução 3D

• Exemplo: reconstrução 3D usando escavação espacial


Tavares et al. 2008, 3D Reconstruction of External Anatomical Structures using Computer Vision, CMBBE 2008, Portugal

Imagens originaisvoxelizado poligonizado

Modelo 3D obtido

Conclusões

Conclusões

• O Processamento e Análise de Imagem é uma área multidisciplinar com elevada aplicabilidade em vários domínios

• Existem inúmeros desafios associados: imagens de baixa qualidade, estruturas complexas e com variações topológicas, falta de conhecimento apriori, movimento não rígido, múltiplas estruturas, oclusão, etc.

• Muito trabalho já foi desenvolvido mas muito há ainda a fazer, inclusive na validação em contexto real

• Um domínio no qual existe um vasto número de aplicações é o da Biomecânica: análise da marcha, pedobarografia, reconstrução 3D, etc.


Equipa

Equipa (Processamento e Análise de Imagem)

• Alunos de Doutoramento (11):– Em curso: Raquel Pinho, Patrícia Gonçalves, Maria

Vasconcelos, Ilda Reis, Teresa Azevedo, Daniel Moura (INEB), Zhen Ma, Elza Chagas (PUC - Minas Gerais, Brasil), Victor Albuquerque, Francisco Oliveira, Eduardo Ribeiro

• Alunos de Mestrado (17):– Em curso: Fernando Carvalho, Mauro Trindade, Lara Quintela,

Andreia Sousa, Frederico Jacob, Diogo Faria, Verónica Marques, Sérgio Martins, Carolina Rodrigues

– Finalizados: Daniela Sousa, Francisco Oliveira, Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida Coelho, Jorge Gonçalves (INEB)

• Alunos de Licenciatura (2)– Finalizados: Ricardo Ferreira, Soraia Pimenta

• …João Manuel R. S. Tavares 37Processamento e Análise de Imagem em Biomecânica

Equipa (Processamento e Análise de Imagem)

• Colaboradores/Supervisores:– Renato Natal Jorge, Joaquim Gabriel Mendes (IDMEC/FEUP)– Mário Vaz, Miguel Angel Guevara (LOME/FEUP)– Luís Durão (ISEP)– Miguel Velhote, Jorge Barbosa (FEUP)– Francisco Freitas, Nuno Correia (INEGI/FEUP)– Emília Mendes (CRPG)– Denilson Rodrigues (PUC - Minas Gerais, Brasil)– Diana Miranda, Georgeta Oliveira, Ricardo Duarte (HPH)– Ana Mafalda Reis, Manuel Laranjeira (ICBAS/INC)– Manuel Paulo (FMDUP)– Adelino Leite-Moreira (FMUP)– Durval Campos Costas (HPP-Medicina Molecular, SA.)– Luis Metello (ESTSP)– …


Agradecimentos

• Parte do trabalho apresentado foi desenvolvido no âmbito do Projecto de Investigação “Segmentação, Seguimento e Análise de Movimento de Objectos Deformáveis (2D/3D) usando Princípios Físicos” financiado pela FCT - Fundação para a Ciência e a Tecnologia em Portugal, com a referência: POSC/EEA-SRI/55386/2004


Processamento e Análise de Imagemem Biomecânica

João Manuel R. S. Tavares

[email protected] www.fe.up.pt/~tavares

Hotel Porto PalácioPorto18-19 Julho 2008

Muito Obrigado pelaVossa Atenção!

Colaborações sãoBem-Vindas!

Slide Number 1ConteúdoApresentaçãoApresentaçãoIntroduçãoProcessamento e Análise de ImagemProcessamento e Análise de ImagemProcessamento e Análise de ImagemTarefas e Aplicações:�SegmentaçãoSegmentaçãoSegmentaçãoSegmentaçãoSegmentaçãoSegmentaçãoSegmentaçãoSegmentaçãoTarefas e Aplicações:�SeguimentoSeguimentoSeguimentoSeguimentoSeguimentoSeguimentoTarefas e Aplicações:�Emparelhamento e MorphingEmparelhamento e MorphingEmparelhamento e MorphingEmparelhamentoEmparelhamentoMorphingTarefas e Aplicações:�Reconstrução 3DReconstrução 3DReconstrução 3DReconstrução 3DReconstrução 3DConclusõesConclusõesEquipa�Equipa (Processamento e Análise de Imagem)Equipa (Processamento e Análise de Imagem)AgradecimentosSlide Number 40

Documents

Processamento e Análise de Imagem em Biomecânica João ...paginas.fe.up.pt/~tavares/downloads/publications/comunicacoes/apr… · Análise de Imagem, sendo frequentemente a primeira