66
Alinhamento de Imagem no Espaço e no Tempo para Aplicações Biomédicas Francisco P. M. Oliveira, João Manuel R. S. Tavares [email protected], www.fe.up.pt/~tavares

Alinhamento de Imagem no Espaço e no Tempo para Aplicações ...tavares/downloads/publications/... · Sumário F. Oliveira & J. Tavares Alinhamento de imagens no espaço e no tempo

Embed Size (px)

Citation preview

Alinhamento de Imagem no Espaço e no Tempo

para Aplicações Biomédicas

Francisco P. M. Oliveira, João Manuel R. S. Tavares

[email protected], www.fe.up.pt/~tavares

Sumário

F. Oliveira & J. Tavares 2 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

• Apresentação

1. Introdução

2. Alinhamento de Imagem no Espaço (2D/3D)

3. Alinhamento de Imagem no Espaço e no Tempo

(Alinhamento de Sequências de Imagem 2D)

4. Discussão

• Equipa

• Eventos & Publicações

Apresentação

Apresentação

• Prof. Auxiliar no Dep. de Eng. Mecânica (DEMec) da Fac. de

Eng. da Universidade do Porto (FEUP)

• Investigador Sénior e Coordenador de Projeto no Lab. de Óptica

e Mecânica Experimental (LOME) do Instituto de Eng. Mecânica

e Gestão Industrial (INEGI)

• Doutorado e Mestre em Eng. Eletrotécnica e de Computadores

(FEUP) (com Tese e Dissertação na área do Processamento e Análise de

Imagem)

• Licenciado em Eng. Mecânica (FEUP)

• Áreas de Investigação: Processamento e Análise de Imagem (segmentação, seguimento, emparelhamento, alinhamento e reconstrução

3D), Interfaces Homem/Máquina (visualização de dados e perceção

humana), Desenvolvimento de Produto (sistemas protótipos

biomédicos), Biomecânica do Movimento Humano (marcha, postura)

F. Oliveira & J. Tavares 4 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Introdução: Processamento e

Análise de Imagem

Introdução

O sistema sensorial de visão tem elevada importância

para grande parte dos seres vivos

– Podendo disponibilizar informações de índole básica, como

verificar a existência ou não de obstáculos, ou complexa, como

o seguimento e a análise de movimento

– Operações comuns: identificação (segmentação), seguimento

e reconhecimento de movimento (seguimento e análise),

correspondência e alinhamento (emparelhamento e

alinhamento), interpolação de formas (simulação), obtenção

da forma/informação 3D (reconstrução 3D)

F. Oliveira & J. Tavares 6 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Introdução

Os investigadores da área do Processamento e Análise

de Imagem tentam desenvolver algoritmos

computacionais para realizar de forma automática, ou

semi-automática, operações e tarefas desenvolvidas

pelos (complexos) sistemas de visão dos seres vivos

Imagens

originais

Azevedo, Tavares, Vaz (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369

Modelo computacional 3D

voxalizado e poligonizado

F. Oliveira & J. Tavares 7 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Introdução

Algoritmos de Processamento e Análise de Imagem

são de elevado interesse para a Sociedade, sendo

frequentemente usados, por exemplo, em:

– Medicina, Biologia

– Ciências naturais, Desporto

– Engenharia, Indústria

Exemplos de tarefas comuns envolvendo algoritmos de

Processamento e Análise de Imagem:

– Melhoramento de Imagem, Compressão de Imagem

– Segmentação, Reconhecimento (2D-4D)

– Seguimento e análise de movimento, incluindo emparelhamento,

alinhamento e simulação (2D-4D)

– Reconstrução 3D

F. Oliveira & J. Tavares 8 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Introdução: Processamento e Análise de Imagem – Operações/Aplicações

Melhoramento

de imagem Segmentação de imagem /

extracção de características

seguimento

emparelhamento

simulação

Imagem /

imagens

Análise de

movimento alinhamento

Processamento

de Imagem

Análise de Imagem /

Visão Computacional

Visão 3D

Visão por

Computador

F. Oliveira & J. Tavares 9 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Introdução: Emparelhamento

e Alinhamento de Imagens

Emparelhamento de Imagens

Como emparelhamento (matching) considera-se o

estabelecimento de correspondências entre entidades

homólogas representadas em imagens

Imagens originais e

respectivos contornos

Algumas correspondências

obtidas

Oliveira, Tavares, Pataky (2009) VipMAGE 2009, pp. 269-274

F. Oliveira & J. Tavares 11 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Alinhamento de Imagens

Como alinhamento (registration) de imagens considera-se a

determinação e aplicação de uma transformação de modo

que as imagens, ou a entidades representadas nestas,

fiquem definidas num mesmo referencial e entidades

homólogas se sobreponham

Imagem 1

(modelo)

Imagem 2

(a alinhar)

Imagens sobrepostas pré- e pós- alinhamento

F. Oliveira & J. Tavares 12 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Alinhamento de Imagens

Aplicações Biomédicas

– Auxílio ao diagnóstico

• Integração/fusão de imagens por diferentes modalidades (CT/PET,

MRI/CT, f-MRI/MRI)

• Follow-up de patologias

– Apoio em intervenções cirúrgicas (relacionando imagens de pré-

operatório com os objetos da cirurgia, associar com a realidade do

paciente, relacionar estruturas anatómicas, etc.)

– Otimizar procedimentos radioterapêuticos

– Reconhecer automaticamente estruturas (ex. apoiar a

segmentação)

– Auxiliar a construção de atlas (casos)

– Apoiar análises estatísticas (SPM, Z-scores, etc.); …

F. Oliveira & J. Tavares 13 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Alinhamento de Imagens

Nos últimos anos tem sido realizada considerável

investigação na área do alinhamento de imagens

biomédicas. As diferentes metodologias usadas podem ser

classificadas segundo diferentes critérios

– Dimensionalidade: 2D/2D, 2D/3D, 3D/3D, + Tempo

– Base do alinhamento: extrínseca (o alinhamento é realizado

tendo por base elementos externos ao paciente) ou intrínseca (a

partir de informação extraída do paciente, ex. informação de

intensidades, pontos, esqueletos, contornos, superfícies, …)

– Interação: alinhamento manual, semiautomático ou automático

F. Oliveira & J. Tavares 14 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Alinhamento de Imagens

(Cont.)

– Tipo de transformação: rígida, semelhança, afim, projetiva,

curva

– Domínio: local ou global

– Modalidades envolvidas: mesma modalidade (CT/CT,

MRI/MRI, PET/PET, …), diferentes modalidades (CT/MRI, MRI-

T1/MRI-T2, PET/CT, …) ou paciente/modelo (alinhamento

realizado relativamente a um modelo sintético)

– Sujeitos: alinhamento de imagens do mesmo paciente, de

diferentes pacientes ou com um atlas

– Dados a alinhar: estrutura(s) envolvida(s)

– ...

F. Oliveira & J. Tavares 15 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Alinhamento de Imagens

Medidas de semelhança/similaridade baseadas em

informação de intensidade mais comuns:

i

fg igifCC

i

g

i

f

i

gf

fg

igif

igif

r22

Coeficiente de correlação (r) Correlação cruzada (CC)

i

fg igif2

SSD

Soma dos quadrados das diferenças (SSD)

i

fg igifN

21MSE

Média do quadrado das diferenças (MSD ou MSE)

Informação mútua (MI)

gfHgHfHMI ,

Sendo que e representam a entropia das imagens f e g e a entropia do histograma conjunto das mesmas

fH gfH ,

gH

F. Oliveira & J. Tavares 16 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Alinhamento de Imagens

Nos últimos anos temos vindo a desenvolver trabalho em

diversas vertentes do emparelhamento e alinhamento de

imagens

– Foram desenvolvidas e implementas metodologias

• Baseadas em características extraídas das imagens (pontos e

contornos) e na intensidade dos pixéis das imagens

• Determinando a transformação geométrica de forma direta e

iterativa

• Adotando diferentes tipos transformações geométricas

– Foram aplicadas

• Em imagens de um mesmo paciente e de diferentes pacientes

• Em imagens de uma mesma modalidade e de diferentes

modalidades

• No alinhamento de imagens 2D, 3D e séries temporais de imagens

2D

F. Oliveira & J. Tavares 17 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Pedobarografia

As imagens obtidas representem a interação planta do pé

/ solo – sistema de sensores piezoelétricos

Placa EMED® e sequência de imagem

F. Oliveira & J. Tavares 18 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Pedobarografia

As imagens obtidas representem a interação planta do pé /

solo – sistema ótico baseado em reflexão

Imagens originais

Bastos & Tavares (2004) LNCS 3179:39-50

Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368

camada de contacto

+ vidro

câmara espelho

luz reflectida vidro

pressão camada opaca

lâmpada

lâmpada camada

transparente

F. Oliveira & J. Tavares 19 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Alinhamento Espacial de

Imagens

Metodologia I - Emparelhamento de contornos

Imagem modelo Imagem a alinhar

Imagens alinhadas

Extrair os contornos

Determinar uma matriz de custos

Estabelecer o emparelhamento ótimo

Determinar a transformação geométrica

Alinhar a imagem alvo

A matriz de custos é baseada em características geométricas ou físicas

O emparelhamento ótimo é estabelecido tendo por base a minimização dos custos de emparelhamento

Na otimização do emparelhamento é usada programação dinâmica

Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5):529-541

Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110

Oliveira, Tavares, Pataky (2009) Journal of Biomechanics 42(15):2620-2623

F. Oliveira & J. Tavares 21 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Extração dos contornos do Corpus callosum

Imagem original

Suavização Binarização

Extracção

de um

contorno

Exemplo 1

Metodologia I - Emparelhamento de contornos

F. Oliveira & J. Tavares 22 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Contorno

extraído da

imagem

modelo

Emparelhamentos

obtidos

(20%)

Contornos

sobrepostos

Contorno

extraído da

imagem

desalinhada

Emparelhamento dos pontos dos contornos do Corpus callosum

Exemplo 1 (cont.)

Metodologia I - Emparelhamento de contornos

F. Oliveira & J. Tavares 23 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Exemplo 1 (cont.)

Alinhamento:

totalmente

automático

Tempo de

processamento:

0.5 s (AMD

Turion64, 2.0

GHz, 1.0GB de

RAM)

Dimensões:

217x140 pixéis

Imagem modelo

(CT)

Imagem desalinhada

(CT)

Imagens sobrepostas

pré-alinhamento

Imagens sobrepostas

pós-alinhamento

Soma das imagens

alinhadas

Diferença entre as

imagens alinhadas

Alinhamento obtido baseado no Corpus callosum

Metodologia I - Emparelhamento de contornos

F. Oliveira & J. Tavares 24 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Extracção dos contornos e emparelhamentos

Imagem modelo (mesa óptica) e

respectivo contorno

Imagem desalinhada (mesa óptica)

e respectivo contorno

Exemplo 2

Emparelhamentos

Metodologia I - Emparelhamento de contornos

F. Oliveira & J. Tavares 25 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Exemplo 2 (cont.)

Alinhamento:

totalmente

automático

Tempo de

processamento:

0.125 s (AMD

Turion64, 2.0

GHz, 1.0GB de

RAM)

Dimensões:

160x288 pixéis

Imagem

modelo

Imagem

desalinhada

Imagens sobrepostas

pré-alinhamento

Imagens

sobrepostas

pós-alinhamento

Soma das

imagens alinhadas

Diferença entre as

imagens alinhadas

Alinhamento obtido

Metodologia I - Emparelhamento de contornos

F. Oliveira & J. Tavares 26 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Pressuposto: O alinhamento é tanto melhor quanto maior

for o valor da correlação cruzada entre as imagens

Fundamentos: Transformar a correlação numa convolução e

usar a transformada de Fourier para determinar a mesma

Metodologia II - Maximização direta da correlação cruzada

Oliveira, Pataky, Tavares (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740

dxaxIxIaCC II 1010

Correlação entre as imagens I0 e I1

em função de um deslocamento a:

Transformação numa

convolução: aIIdxxaIxIaCC II 1010 *

10

Do teorema da convolução tem-se: 1010 * IIII FFF

Calculando o produto das transformadas de Fourier e depois a

transformada inversa deste, obtém-se os valores da correlação para todos

os deslocamentos possíveis (só valores inteiros)

F. Oliveira & J. Tavares 27 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Algoritmo para obtenção do ângulo de rotação, escalamento e deslocamento

Oliveira, Pataky, Tavares (2010) Computer Methods in

Biomechanics and Biomedical Engineering 13(6):731-740

O escalamento e rotação são

obtidos dos espectros das

imagens após conversão

para o sistema de

coordenadas log-polar

Os fundamentos desta

metodologias são as

propriedades da

transformada de Fourier

Metodologia II - Maximização direta da correlação cruzada

F. Oliveira & J. Tavares 28 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Exemplo 1

Alinhamento:

totalmente

automático

Tempo de

processamento: 2.1

s (AMD Turion64,

2.0 GHz, 1.0GB de

RAM)

Dimensões: 221x257

pixéis

Imagem modelo

MRI (proton density)

Imagem desalinhada

MRI (proton density)

Imagens sobrepostas

pré-alinhamento

Imagens sobrepostas

pós-alinhamento

Soma das imagens

alinhadas

Diferença entre as

imagens alinhadas

Metodologia II - Maximização direta da correlação cruzada

F. Oliveira & J. Tavares 29 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Imagens de um pé

Imagens de dois pés

Exemplos 2 e 3

Origem das

imagens: Footscan

Alinhamento:

totalmente

automático

Tempo de

processamento:

0.04 s (AMD

Turion64, 2.0 GHz,

1.0GB de RAM)

Dimensões: 45x63

pixéis

Transformação

rígida

Transformação

de semelhança

Imagem

modelo

Imagem

desalinhada Imagens sobrepostas pré-

e pós- alinhamento

Metodologia II - Maximização direta da correlação cruzada

F. Oliveira & J. Tavares 30 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Oliveira, Pataky, Tavares (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740

dxaxIxIaSSD II 2

1010

SSD em função de um

deslocamento a:

Reescrevendo a equação:

dxaxIxI

dxaxIdxxIaSSD II

10

2

1

2

0

2

10

Os dois primeiros termos podem ser calculados directamente e o

terceiro termo transformado numa convolução

Metodologia III - Minimização direta da soma dos quadrados

das diferenças entre intensidades (SSD)

Pressuposto: O alinhamento é tanto melhor quanto menor for a soma

dos quadrados das diferenças entre as intensidades das imagens

Fundamentos: Transformar a soma dos quadrados das diferenças numa

expressão dependente de uma convolução e usar a transformada de

Fourier para determinar a mesma

F. Oliveira & J. Tavares 31 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Fundamentos: metodologia essencialmente baseada na

propriedade da transformada de Fourier:

Para estimar o deslocamento entre as imagens, é

calculada a transformada inversa do produto cruzado:

Oliveira, Pataky, Tavares (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740

Se axIxI 01

uxIeuxI uai

0

2

1 FF

Produto cruzado:

uaieII

II 2

10

10 *

*

FF

FF

(* representa o conjugado)

então

Metodologia IV - Correlação de fases

F. Oliveira & J. Tavares 32 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Fundamento: Este tipo de metodologia é baseado na

procura iterativa dos parâmetros da transformação

geométrica que otimiza uma medida de similaridade

O algoritmo termina quando não já não é possível otimizar significativamente a medida de similaridade ou é atingido outro critério de paragem

Imagem a alinhar Imagem modelo

Alinhamento inicial

(opcional)

Determinação da

imagem transformada

Cálculo de medida de

similaridade entre

imagens

Algoritmo de

otimização

Determinação da

transformação geométrica

Oliveira & Tavares (2011) Medical & Biological Engineering & Computing 49(3):313-323

Metodologia V - Alinhamento com otimização iterativa

F. Oliveira & J. Tavares 33 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Exemplo 1

Alinhamento:

totalmente automático

e sem pré-

alinhamento

Medida de

similaridade: MI

Tempo de

processamento: 5.4 s

(AMD Turion64, 2.0

GHz, 1.0GB de RAM)

Dimensões: 221x257

pixéis

Imagem modelo

(MRI - T1)

Imagem desalinhada

(MRI - proton density)

Imagens sobrepostas

pré-alinhamento

Imagens sobrepostas

pós-alinhamento Soma das imagens

alinhadas

Diferença entre as

imagens alinhadas

Metodologia V - Alinhamento com otimização iterativa

F. Oliveira & J. Tavares 34 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Exemplo 2

Alinhamento:

totalmente

automático e sem

pré-alinhamento

Medida de

similaridade: MI

Tempo de

processamento:

4.6 s (AMD

Turion64, 2.0 GHz,

1.0GB de RAM)

Dimensões:

246x234 pixéis

Imagem modelo

(CT)

Imagem desalinhada

(MRI)

Imagens sobrepostas

pré-alinhamento

Imagens sobrepostas

pós-alinhamento

Soma das imagens

alinhadas

Diferença entre as

imagens alinhadas

Metodologia V - Alinhamento com otimização iterativa

F. Oliveira & J. Tavares 35 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Exemplo 3

Alinhamento:

totalmente

automático e sem

pré-alinhamento

Medida de

similaridade: MSE

calculado apenas

sobre uma ROI

Tempo de

processamento: 1.6

s - AMD Turion64,

2.0 GHz, 1.0GB de

RAM

Dimensões:

230x216 pixéis

Imagem modelo

(Raio X)

Imagem desalinhada

(Raio X)

Imagens sobrepostas

pré-alinhamento

Imagens sobrepostas

pós-alinhamento

Soma das imagens

alinhadas

Diferença entre as

imagens alinhadas

Metodologia V - Alinhamento com otimização iterativa

F. Oliveira & J. Tavares 36 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Imagens: EMED

(32x55 pixéis)

Imagens: Footscan

(45x63 pixéis)

Imagens: plataforma

ótica (160x288

pixéis)

Metodologia Erro

residual

[mm]

Tempo

de proc.

[s]

Erro

residual

[mm]

Tempo

de proc.

[s]

Erro

residual

[mm]

Tempo

de proc.

[s]

Emparelhamento de contornos 1.96 0.01 1.22 0.02 1.28 0.20

Maximização da correlação

cruzada

0.25 0.04 0.54 0.04 0.19 2.15

Minimização da soma dos

quadrados das diferenças

0.25 0.05 0.54 0.05 0.19 2.20

Correlação de fases 0.57 0.05 0.60 0.06 0.21 2.49

Otimização iterativa (medida:

MSE; pré-al. contornos)

<0.01 0.04 <0.01 0.07 <0.01 1.60

Oliveira & Tavares (2011) International Journal for Numerical Methods in Biomedical Engineering (in press)

Metodologias - Comparação em imagens de pressão plantar

F. Oliveira & J. Tavares 37 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Com base nas metodologias

desenvolvidas implementaram-

se aplicações computacionais

totalmente automáticas e

independentes da plataforma e

orientação do pé para:

– Classificação esquerdo/direito

– Segmentação de imagens de

pressão plantar

– Cálculo de índices plantares e

outras medidas

– Classificação do “tipo de pé”

Oliveira, Sousa, Santos, Tavares (2011) Computer Methods

In Biomechanics and Biomedical Engineering (in press)

Metodologias - Exemplo de aplicação em Pedobarografia

F. Oliveira & J. Tavares 38 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Imagem modelo Imagem a alinhar

Imagem alinhada

Pré-alinhamento usando transformação rígida

Novo pré-alinhamento usando transformação afim

Alinhamento curvo “grosseiro” usando B-splines

Alinhamento “fino” usando B-splines

Metodologia implementada com recurso ao Insight Toolkit (ITK)

Metodologia VI - Otimização iterativa, alinhamento 3D

curvo usando B-splines

F. Oliveira & J. Tavares 39 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Princípio

– Após alinhamento global, é realizado um alinhamento local

do tipo free-form deformation

Metodologia VI - Otimização iterativa, alinhamento 3D

curvo usando B-splines

F. Oliveira & J. Tavares 40 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Xadrez das imagens (CT, tórax – mesma pessoa, Δt: 8.5 meses) pré-alinhamento

F. Oliveira & J. Tavares 41 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Metodologia VI - Otimização iterativa, alinhamento 3D curvo usando B-splines

Exemplo 1

(xadrez - construído substituindo algumas partes (voxels) da imagem modelo pelas partes da

imagem a alinhar que têm as mesmas coordenadas das partes retiradas à imagem modelo)

Alinhamento: totalmente automático; Medida de similaridade: MI (calculada em todo o

volume); Tempo de processamento: 23 s (AMD Turion64, 2.0 GHz, 1.0GB de RAM); ;

Dimensões: 276x236x48 e 276x236x44 pixéis

Xadrez das imagens pós-alinhamento - rígido

F. Oliveira & J. Tavares 42 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Exemplo 1

Metodologia VI - Otimização iterativa, alinhamento 3D curvo usando B-splines

Exemplo 1

Alinhamento: totalmente automático; Medida de similaridade: MI (calculada em todo o

volume); Tempo de processamento: 8 min (AMD Turion64, 2.0 GHz, 1.0GB de RAM);

Dimensões: 276x236x48 e 276x236x44 pixéis

Xadrez das imagens pós-alinhamento - B-splines cúbicas

Metodologia VI - Otimização iterativa, alinhamento 3D curvo usando B-splines

F. Oliveira & J. Tavares 43 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Xadrez das imagens (CT, cérebro – 2 pessoas) pré-alinhamento

F. Oliveira & J. Tavares 44 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Exemplo 2

Metodologia VI - Otimização iterativa, alinhamento 3D curvo usando B-splines

Xadrez das imagens pós-alinhamento - afim

Alinhamento: totalmente automático; Medida de similaridade: MI (calculada numa ROI que

não inclui o sistema de imobilização da cabeça); Tempo de processamento: 1 min (AMD

Turion64, 2.0 GHz, 1.0GB de RAM) Dimensões: 512x512x34 e 512x512x34 pixéis

F. Oliveira & J. Tavares 45 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Exemplo 2

Metodologia VI - Otimização iterativa, alinhamento 3D curvo usando B-splines

Xadrez das imagens pós-alinhamento - B-splines cúbicas

Alinhamento: totalmente automático; Medida de similaridade: MI (calculada numa ROI que

não inclui o sistema de imobilização da cabeça); Tempo de processamento: 25 min (AMD

Turion64, 2.0 GHz, 1.0GB de RAM); Dimensões: 512x512x34 e 512x512x34 pixéis

F. Oliveira & J. Tavares 46 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Exemplo 2

Metodologia VI - Otimização iterativa, alinhamento 3D curvo usando B-splines

Alinhamento

Alinhamento

Transformação

geométrica

Alinhamento

Transformação

geométrica

… … …

Transformação

geométrica

F. Oliveira & J. Tavares 47 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Metodologia VII - Alinhamento usando multi-resolução

Exemplo

Xadrez das imagens (CT/MR-PD, cérebro, mesmo paciente) pré-alinhamento

F. Oliveira & J. Tavares 48 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Metodologia VII - Alinhamento usando multi-resolução

Xadrez das imagens (CT/MR-PD, cérebro) após-alinhamento - rígido

F. Oliveira & J. Tavares 49 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Exemplo

Metodologia VII - Alinhamento usando multi-resolução

Alinhamento Temporal de

Imagens

Fundamento: Alinhamento é dividido em duas fases: 1) é

realizado um pré-alinhamento espacial e temporal; 2) o

alinhamento é otimizado procurando iterativamente pelos

parâmetros das transformações geométrica e temporal que

otimizam uma medida de similaridade entre as sequências

Sequência a alinhar

Sequência modelo

Alinhamento espacial e

temporal iniciais Determinação da

sequência transformada

no espaço e no tempo

Cálculo da medida de

similaridade entre as

sequências

Algoritmo de

otimização

Determinação das

transformações temporal

e espacial

Oliveira, Sousa, Santos, Tavares (2011) Medical & Biological Engineering & Computing 49(7):843-850

Metodologia - Alinhamento em duas fases com otimização iterativa

F. Oliveira & J. Tavares 51 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Exemplo

Origem das

sequências: EMED

(25 fps, resolução 2

pixels/cm2, dim.

32x55x13; 32x55x18)

Alinhamento:

totalmente

automático

Medida de

similaridade: MSE

Tempo de

processamento: 4 s -

AMD Turion64, 2.0

GHz, 1.0GB de RAM

Frame da

sequência

modelo

Frame

correspondente

da sequência

desalinhada

Frames

sobreposta

s

Antes do

alinhamento

Após

alinhamento

F. Oliveira & J. Tavares 52 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Metodologia - Alinhamento em duas fases com otimização iterativa

Sequência

modelo

Sequência a

alinhar

Sequência alinhada

usando uma transf.

temporal polinomial

do 1.º grau

Sequência alinhada

usando uma transf.

temporal polinomial

do 4.º grau

Exemplo

F. Oliveira & J. Tavares 53 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Metodologia - Alinhamento em duas fases com otimização iterativa

Resultados

Grau da

transformação

polinomial

temporal permitida

Erro residual

espacial máximo

[mm]

Erro residual

temporal máximo

[s]

Tempo de

processamento

médio [s]

1 0.012 0.0002 2.1

2 0.012 0.0002 4.4

3 0.012 0.0003 8.1

4 0.011 0.0003 11.2

Sequências de imagem de plataforma EMED, 25 fps, resolução: 2 pixéis/cm2, e aproximadamente 20

imagens por sequência. Valores obtidos minimizando o MSE e considerando transformações espaciais

rígidas (rotações e translações). Transformações de controlo: rígida (espacial), linear (temporal).

PC: AMD Turion64, 2.0 GHz, 1.0GB de RAM

F. Oliveira & J. Tavares 54 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Metodologia - Alinhamento em duas fases com otimização iterativa

Discussão

Discussão - Metodologias

Baseada no emparelhamento de contornos

– Vantagens

• Pode ser usada para alinhar imagens de diferentes modalidades

• Robusta a grandes desalinhamentos, o que permite que determinar

bons pré-alinhamentos, que podem ser usados posteriormente por

outras metodologias

• Não contando com o tempo necessário para a extração dos contornos, é

geralmente muito rápida

• Possibilidade de determinação de transformações geométricas não

lineares

– Desvantagens

• Só aplicável quando possível a extração de contornos

• Elevada sensibilidade à qualidade dos contornos

• A qualidade do alinhamento é, em geral, inferior à das restantes

metodologias

F. Oliveira & J. Tavares 56 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Baseadas na otimização direta da correlação cruzada,

soma dos quadrados das diferenças ou correlação de fase

– Vantagens

• Boa qualidade de alinhamento

• Robustas a grandes desalinhamentos, podem ser usadas para

determinar bons pré-alinhamentos, que poderão ser usados

posteriormente por outras metodologias

• Robustas a soluções locais (máximos ou mínimos)

• Tempo de processamento reduzido e dependente apenas da

dimensão das imagens.

– Desvantagens

• Só podem ser aplicadas em imagens de uma mesma modalidade

• Só são robustas quando as imagens apresentam regiões idênticas

• Permitem apenas transformações rígidas e de similaridade

Discussão - Metodologias

F. Oliveira & J. Tavares 57 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Baseadas na otimização iterativa

– Vantagens

• Capacidade para obter elevada precisão

• Permitem a utilização de diferentes medidas de similaridade,

em função da aplicação

• Podem ser usadas no alinhamento de imagens obtidas de

diferentes modalidades

• A medida de similaridade pode ser calculada apenas numa ROI

• Possibilidade de determinação de transformações geométricas

lineares e curvas

• Permitem o alinhamento de imagens 2D, 3D e sequências de

imagem

• Permitem a implementação simples de estratégias multi-resolução

Discussão - Metodologias

F. Oliveira & J. Tavares 58 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Baseadas na otimização iterativa

– Desvantagens

• Regra geral, para garantir a convergência para o alinhamento ótimo

é necessário que o desalinhamento não seja muito elevado ou

seja conhecido um bom alinhamento inicial

• A qualidade do alinhamento pode ser significativamente

afetada pela medida de similaridade adotada e pelo algoritmo

de otimização usado

• Há sempre a possibilidade do algoritmo convergir para uma

solução local

• O tempo de processamento pode ser elevado

Discussão - Metodologias

F. Oliveira & J. Tavares 59 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

• As medidas soma dos quadrados das diferenças (SSD) e

correlação cruzada (CC) são adequadas apenas para o

alinhamento de imagens de uma mesma modalidade

• Em circunstâncias adequadas (imagens de uma mesma

modalidade, com idêntica distribuição de intensidade e regiões

equivalentes), geralmente a otimização da SSD ou da CC produz

alinhamentos idênticos e de boa qualidade, superiores ao

obtido através da otimização da informação mútua (MI)

• A medida MI é mais robusta no alinhamento de imagens com

diferentes regiões do que as medidas SSD e CC

• O cálculo da SSD e CC é mais simples do que o cálculo da MI,

pelo que as primeiras são computacionalmente mais eficientes

• As medidas SSD e CC são muito sensíveis a outliers, mas a

medida MI é robusta aos mesmos

Discussão - Medidas de similaridade

F. Oliveira & J. Tavares 60 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Equipa

Equipa (Processamento e Análise de Imagem)

• Estudantes de Doutoramento (14):

– Concluído: Daniel Moura, Teresa Azevedo

– Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos,

Ilda Reis, Zhen Ma, Elza Chagas, Francisco Oliveira, António

Gomes, João Nunes, Alex Araújo, Sandra Rua, Anishur Rahman

• Estudantes de Mestrado (17):

– Concluídos: Célia Cruz, Priscila Alves, Elisa Barroso, Ana Jesus,

Frederico Jacob, Daniela Sousa, Francisco Oliveira, Teresa

Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos,

Cândida Coelho, Jorge Gonçalves

– Em curso: Jorge Pereira, Carolina Tabuas, Gabriela Queiros, Diana

Cidre

• Estudantes de pré-Graduação (2)

– Concluídos: Ricardo Ferreira, Soraia Pimenta 62 F. Oliveira & J. Tavares Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Eventos & Publicações

Webpage (www.fe.up.pt/~tavares)

64 F. Oliveira & J. Tavares Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Agradecimentos

• Francisco Oliveira agradece à Fundação Gulbenkian a sua bolsa de Doutoramento

• O trabalho apresentado tem vindo a ser realizados parcialmente com o apoio da Fundação para a Ciência e a Tecnologia (FCT) em Portugal, nomeadamente, através dos projectos: – PTDC/SAU-BEB/102547/2008

– PTDC/SAU-BEB/104992/2008

– PTDC/EEA-CRO/103320/2008

– UTAustin/CA/0047/2008

– UTAustin/MAT/0009/2008

– PDTC/EME-PME/81229/2006

– PDTC/SAU-BEB/71459/2006

– POSC/EEA-SRI/55386/2004

65 F. Oliveira & J. Tavares Alinhamento de imagens no espaço e no tempo para aplicações biomédicas

Alinhamento de Imagem no Espaço e no Tempo

para Aplicações Biomédicas

Francisco P. M. Oliveira, João Manuel R. S. Tavares

[email protected], www.fe.up.pt/~tavares

66 F. Oliveira & J. Tavares Alinhamento de imagens no espaço e no tempo para aplicações biomédicas