Processamento e Análise de Imagem em Biomecânica João ...tavares/downloads/publications/... · • Pretende-se identificar de forma automática, ou semi-automática, as estruturas

Processamento e Anlise de Imagemem Biomecnica

Joo Manuel R. S. Tavares

[email protected] www.fe.up.pt/~tavares

Hotel Porto PalcioPorto18-19 Julho 2008

Contedo

Apresentao Introduo Tarefas e Aplicaes

Segmentao Seguimento Emparelhamento e Morphing Reconstruo 3D

Concluses

Joo Manuel R. S. Tavares 2Processamento e Anlise de Imagem em Biomecnica

Apresentao

Apresentao

Prof. Auxiliar no Dep. de Eng. Mecnica e Gesto Industrial (DEMEGI) da Fac. de Eng. da Universidade do Porto (FEUP)

Investigador Snior e Coordenador de Projecto no Lab. de ptica e Mecnica Experimental (LOME) do Instituto de Eng. Mecnica e Gesto Industrial (INEGI)

Doutorado e Mestre em Eng. Electrotcnica e de Computadores (FEUP) (com Tese e Dissertao na rea do Processamento e Anlise de Imagem)

Licenciado em Eng. Mecnica (FEUP) reas de Investigao: Processamento e Anlise de Imagem

(segmentao, seguimento e reconstruo 3D), Interfaces Homem/Mquina (visualizao de dados e percepo humana), Desenvolvimento de Produto (sistemas prottipos biomdicos)


Introduo

Processamento e Anlise de Imagem

O sistema sensorial da viso tem elevada importncia para os seres vivos Podendo disponibilizar informaes de ndole mais bsica, como

verificar a existncia ou no de obstculos, ou de cariz mais complexo, como o seguimento e anlise de movimento

Operaes comuns: identificao (segmentao), seguimento de movimento (seguimento e anlise), correspondncia e alinhamento (emparelhamento e alinhamento), obteno da forma 3D (reconstruo 3D)



Os investigadores desta rea do conhecimento tentam desenvolver algoritmos computacionais para realizar de forma automtica, ou semi-automtica, operaes e tarefas desenvolvidas pelos (complexos) sistemas de viso dos seres vivos

Joo Manuel R. S. Tavares 7Processamento e Anlise de Imagem em Biomecnica 7

Imagensoriginais voxelizado poligonizado

Azevedo et al. 2007, 3D Volumetric Reconstruction and Characterization of Objects from Uncalibrated Images, VIIP 2007, Spain

Modelo 3D obtido


Exemplos de tarefas mais comuns usando algoritmos de Processamento e Anlise de Imagem so: remoo de rudo, correco geomtrica, compresso, segmentao (2D/3D), seguimento e anlise de movimento (2D/3D), emparelhamento e alinhamento (2D/3D), reconstruo 3D, etc.

Domnios em que so frequentes algoritmos de Processamento e Anlise de Imagem: Medicina, Industria, Engenharia, Biomecnica, Realidade Virtual, etc.


Tarefas e Aplicaes:Segmentao

Segmentao

Pretende-se identificar de forma automtica, ou semi-automtica, as estruturas (2D/3D) presentes numa imagem

As metodologias mais comuns so baseadas em modelizaes estatsticas, geomtricas ou fsicas

uma das operaes mais usuais em Processamento e Anlise de Imagem, sendo frequentemente a primeira grande tarefa considerada

Problemas envolvidos: rudo, baixa resoluo, reduzido contraste, formas no conhecidas, ocluses parciais, mltiplas estruturas presentes, etc.


Exemplo: segmentao de contornos em pedobarografiadinmica

Segmentao

Joo Manuel R. S. Tavares Processamento e Anlise de Imagem em Biomecnica 11

Imagens originais Aps segmentao

Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3

camera mirror

contact layer + glass

reflected light glass

pressureopaque layer

lamp

lamp transparentlayer

Segmentao

Exemplo: segmentao usando modelos pontuais de distribuio

Joo Manuel R. S. Tavares12Processamento e Anlise de Imagem em Biomecnica

Vasconcelos & Tavares 2005, Introduo aos modelos pontuais de distribuio e sua utilizao na segmentao e reconhecimento de objectos em imagens, CMNI 2005, Espaa

Etapas da segmentao numa nova imagem (usando modelo geomtrico)

Vasconcelos & Tavares 2006, Methodologies to Build Automatic Point Distribution Models for Faces Represented in Images, CompIMAGE 2006, Portugal


Background subtraction method

Foreground object detection method

Segmentao

Exemplo: segmentao usando modelos estatsticos

Vasconcelos & Tavares 2008, Image Segmentation for Human Motion Analysis: Methods and Applications, WCCM8 / ECCOMAS 2008, Italy

Segmentao

Exemplo: segmentao usando um prottipo geomtrico deformvel


Carvalho & Tavares 2007, Eye detection using a deformable template in static images, VipIMAGE 2007, Portugal

Imagem original e de camposde foras considerados

Prottipo deformvel usado para o olho

Determinao iterativa doolho usando um prottipo

deformvel

Carvalho & Tavares 2006, Two Methodologies for Iris Detection and Location in Face Images, CompIMAGE 2006, Portugal

Segmentao

Exemplo: segmentao usando modelos fsicos deformveis (contornos activos - snakes)


Imagem original econtorno inicial

Contorno finalobtido

Tavares et al. 2002, Apresentao de um Banco de Desenvolvimento e Ensaio para Objectos Deformveis, RESI Revista Electrnica de Sistemas de Informao, Vol. 1, No. 1

Segmentao

Exemplo: segmentao usando modelos fsicos deformveis (level-sets)


Imagem original Segmentao inicial Segmentao final obtida

Perdigo et al. 2005, Gerao de modelos de malhas de elementos finitos a partir de imagens mdicas 2D, Encontro_1_Biomecnica, Portugal

Tarefas e Aplicaes:Seguimento

Seguimento

Pretende-se seguir o movimento (e/ou a deformao) de estruturas em sequncias de imagem

Nesta rea, destacam-se as metodologias baseadas em emparelhamento de blocos e em mtodos estocsticos

Usualmente, envolve a estimativa do movimentoenvolvido, a gesto das entidades seguidas, a anlise do movimento seguido bem como a sua quantificao

Problemas envolvidos: movimento no rgido, distoro geomtrica, condies de iluminao, ocluso, rudo, mltiplas estruturas, etc.


Seguimento

Exemplo: seguimento de contornos em pedobarografia dinmica



Seguimento de contornos

Seguimento


Prediction Uncertainty Area Measurement Correspondence Result

Exemplo: seguimento usando filtragem de Kalman e tcnicas de optimizao

Pinho et al. 2005, Human Movement Tracking and Analysis with Kalman Filtering and Global Optimization Techniques, ICCB 2005, Portugal

Joo Manuel R. S. Tavares Processamento e Anlise de Imagem em Biomecnica

Seguimento

Exemplo: anlise da marcha comdeteco de eventos

Sousa et al. 2007, Registration between Data from Visual Sensors and Force Platform in Gait Event Detection, ISHF2007, PortugalSousa et al. 2007, Selecting Biomechanical Variables for Detect Gait Events using Computational Vision, ICCB 2007, Venuzuela

21

Seguimento

Exemplo: seguimento usando filtragem de Kalman, tcnicas de optimizao e modelo de gesto


Pinho et al. 2007, Efficient Approximation of the Mahalanobis Distance for Tracking with the Kalman Filter, International Journal of Simulation Modelling, Vol. 6, No. 2

(547 frames)

Pinho et al. 2005, A Movement Tracking Management Model with Kalman Filtering, Global Optimization Techniques and Mahalanobis Distance, LSCCS, Vol. 4A

Tarefas e Aplicaes:Emparelhamento e Morphing

Emparelhamento e Morphing


Emparelhamento uma das tarefas mais usuais em Processamento e Anlise de

Imagem, por exemplo, para alinhar estruturas, reconhecer estruturas, obter informao 3D, analisar movimento, etc.

Geralmente conseguido atravs da considerao de caractersticas invariantes, como a curvatura, ou de deslocamentos em espaos globais, como no espao modal

Problemas envolvidos: ocluso, deformaes no rgidas, variaes elevadas de forma, etc.

Emparelhamento e Morphing


Morphing uma tarefa muito usada em Computao Grfica mas tambm

muito til em Processamento e Anlise de Imagem, por exemplo, para estimar a deformao existente entre duas estruturas distintas ou entre dois instantes de uma mesma estrutura, estimar as transies entre duas formas adquiridas com espaamento temporal elevado, etc.

Geralmente conseguida atravs da considerao de transformaes geomtricas

No entanto, quando se deve considerar o comportamento fsico das estruturas envolvidas, devem ser usadas metodologias e modelizaes fsicas, por exemplo usando FEM

Dificuldades comuns so relativas estimativas das foras envolvidas e das propriedades adoptadas para os materiais (virtuais)

Fase de emparelhamento das estruturas torna-se crucial

Emparelhamento

Exemplo: emparelhamento em pedobarografia dinmica usando modelizao fsica, anlise modal e optimizao


Imagem de pedobarografia

dinmica

Objecto Inicial Objecto Final


Emparelhamento obtido

Exemplo: emparelhamento em pedobarografia dinmica usando modelizao fsica, anlise modal e optimizao


Emparelhamentos obtidosentre iso-contornos


Emparelhamentos obtidos entre superficies

Emparelhamento

Morphing

Exemplo: morphing usando modelizao fsica e emparelhamento modal


Emparelhamentos Deformaes estimadas

Gonalves et al. 2007, Simulao da Deformao de Objectos em Imagens segundo Princpios Fsicos, 2 Encontro Nacional de Biomecnica, Portugal

Emparelhamentos Deformaes estimadas

Tavares & Pinho 2005, Estimao Temporal da Deformao entre Objectos utilizando uma Metodologia Fsica, InfoComp, Vol. 4, No. 1

Imagens originais

Tarefas e Aplicaes:Reconstruo 3D

Reconstruo 3D

Pretende-se obter a forma 3D de estruturas a partir de imagens

Nesta rea, destacam-se as metodologias baseadas em: formas exteriores tcnicas activas (com projeco de energia ou movimento relativo), passivas (sem projeco de energia ou movimento relativo) e de escavao espacial; formas interiores segmentao 2D (contornos, por exemplo) e interpolao

Usualmente, envolve tarefas de calibrao, segmentao, emparelhamento, triangulao e interpolao

Problemas envolvidos: distoro geomtrica, condies de iluminao, ocluso, rudo, mltiplas estruturas, formas complexas, etc.


Reconstruo 3D

Exemplo: reconstruo 3D a partir de imagens mdicas


Slices Segmentao

Pimenta et al. 2006, Reconstruction of 3D Models from Medical Images: Application to Female Pelvic Organs, CompIMAGE 2006, Portugal

Pavimento plvico reconstrudo

Reconstruo 3D

Exemplo: reconstruo 3D usando escavao espacial


Tavares et al. 2008, 3D Reconstruction of External Anatomical Structures using Computer Vision, CMBBE 2008, Portugal

Imagens originaisvoxelizado poligonizado

Modelo 3D obtido

Reconstruo 3D

Exemplo: reconstruo 3D usando escavao espacial


Tavares et al. 2008, 3D Reconstruction of External Anatomical Structures using Computer Vision, CMBBE 2008, Portugal

Imagens originaisvoxelizado poligonizado

Modelo 3D obtido

Concluses

Concluses

O Processamento e Anlise de Imagem uma rea multidisciplinar com elevada aplicabilidade em vrios domnios

Existem inmeros desafios associados: imagens de baixa qualidade, estruturas complexas e com variaes topolgicas, falta de conhecimento apriori, movimento no rgido, mltiplas estruturas, ocluso, etc.

Muito trabalho j foi desenvolvido mas muito h ainda a fazer, inclusive na validao em contexto real

Um domnio no qual existe um vasto nmero de aplicaes o da Biomecnica: anlise da marcha, pedobarografia, reconstruo 3D, etc.


Equipa

Equipa (Processamento e Anlise de Imagem)

Alunos de Doutoramento (11): Em curso: Raquel Pinho, Patrcia Gonalves, Maria

Vasconcelos, Ilda Reis, Teresa Azevedo, Daniel Moura (INEB), Zhen Ma, Elza Chagas (PUC - Minas Gerais, Brasil), Victor Albuquerque, Francisco Oliveira, Eduardo Ribeiro

Alunos de Mestrado (17): Em curso: Fernando Carvalho, Mauro Trindade, Lara Quintela,

Andreia Sousa, Frederico Jacob, Diogo Faria, Vernica Marques, Srgio Martins, Carolina Rodrigues

Finalizados: Daniela Sousa, Francisco Oliveira, Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Lusa Bastos, Cndida Coelho, Jorge Gonalves (INEB)

Alunos de Licenciatura (2) Finalizados: Ricardo Ferreira, Soraia Pimenta


Equipa (Processamento e Anlise de Imagem)

Colaboradores/Supervisores: Renato Natal Jorge, Joaquim Gabriel Mendes (IDMEC/FEUP) Mrio Vaz, Miguel Angel Guevara (LOME/FEUP) Lus Duro (ISEP) Miguel Velhote, Jorge Barbosa (FEUP) Francisco Freitas, Nuno Correia (INEGI/FEUP) Emlia Mendes (CRPG) Denilson Rodrigues (PUC - Minas Gerais, Brasil) Diana Miranda, Georgeta Oliveira, Ricardo Duarte (HPH) Ana Mafalda Reis, Manuel Laranjeira (ICBAS/INC) Manuel Paulo (FMDUP) Adelino Leite-Moreira (FMUP) Durval Campos Costas (HPP-Medicina Molecular, SA.) Luis Metello (ESTSP)


Agradecimentos

Parte do trabalho apresentado foi desenvolvido no mbito do Projecto de Investigao Segmentao, Seguimento e Anlise de Movimento de Objectos Deformveis (2D/3D) usando Princpios Fsicos financiado pela FCT - Fundao para a Cincia e a Tecnologia em Portugal, com a referncia: POSC/EEA-SRI/55386/2004


Processamento e Anlise de Imagemem Biomecnica

Joo Manuel R. S. Tavares

[email protected] www.fe.up.pt/~tavares

Hotel Porto PalcioPorto18-19 Julho 2008

Muito Obrigado pelaVossa Ateno!

Colaboraes soBem-Vindas!

Slide Number 1ContedoApresentaoApresentaoIntroduoProcessamento e Anlise de ImagemProcessamento e Anlise de ImagemProcessamento e Anlise de ImagemTarefas e Aplicaes:SegmentaoSegmentaoSegmentaoSegmentaoSegmentaoSegmentaoSegmentaoSegmentaoTarefas e Aplicaes:SeguimentoSeguimentoSeguimentoSeguimentoSeguimentoSeguimentoTarefas e Aplicaes:Emparelhamento e MorphingEmparelhamento e MorphingEmparelhamento e MorphingEmparelhamentoEmparelhamentoMorphingTarefas e Aplicaes:Reconstruo 3DReconstruo 3DReconstruo 3DReconstruo 3DReconstruo 3DConclusesConclusesEquipaEquipa (Processamento e Anlise de Imagem)Equipa (Processamento e Anlise de Imagem)AgradecimentosSlide Number 40

Documents

Processamento e Análise de Imagem em Biomecânica João ...tavares/downloads/publications/... · • Pretende-se identificar de forma automática, ou semi-automática, as estruturas