Upload
dinhdien
View
213
Download
0
Embed Size (px)
Citation preview
Alinhamento de Imagem no Espaço e no Tempo
para Aplicações Biomédicas
Francisco P. M. Oliveira, João Manuel R. S. Tavares
[email protected], www.fe.up.pt/~tavares
Sumário
F. Oliveira & J. Tavares 2 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
• Apresentação
1. Introdução
2. Alinhamento de Imagem no Espaço (2D/3D)
3. Alinhamento de Imagem no Espaço e no Tempo
(Alinhamento de Sequências de Imagem 2D)
4. Discussão
• Equipa
• Eventos & Publicações
Apresentação
• Prof. Auxiliar no Dep. de Eng. Mecânica (DEMec) da Fac. de
Eng. da Universidade do Porto (FEUP)
• Investigador Sénior e Coordenador de Projeto no Lab. de Óptica
e Mecânica Experimental (LOME) do Instituto de Eng. Mecânica
e Gestão Industrial (INEGI)
• Doutorado e Mestre em Eng. Eletrotécnica e de Computadores
(FEUP) (com Tese e Dissertação na área do Processamento e Análise de
Imagem)
• Licenciado em Eng. Mecânica (FEUP)
• Áreas de Investigação: Processamento e Análise de Imagem (segmentação, seguimento, emparelhamento, alinhamento e reconstrução
3D), Interfaces Homem/Máquina (visualização de dados e perceção
humana), Desenvolvimento de Produto (sistemas protótipos
biomédicos), Biomecânica do Movimento Humano (marcha, postura)
F. Oliveira & J. Tavares 4 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Introdução
O sistema sensorial de visão tem elevada importância
para grande parte dos seres vivos
– Podendo disponibilizar informações de índole básica, como
verificar a existência ou não de obstáculos, ou complexa, como
o seguimento e a análise de movimento
– Operações comuns: identificação (segmentação), seguimento
e reconhecimento de movimento (seguimento e análise),
correspondência e alinhamento (emparelhamento e
alinhamento), interpolação de formas (simulação), obtenção
da forma/informação 3D (reconstrução 3D)
F. Oliveira & J. Tavares 6 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Introdução
Os investigadores da área do Processamento e Análise
de Imagem tentam desenvolver algoritmos
computacionais para realizar de forma automática, ou
semi-automática, operações e tarefas desenvolvidas
pelos (complexos) sistemas de visão dos seres vivos
Imagens
originais
Azevedo, Tavares, Vaz (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369
Modelo computacional 3D
voxalizado e poligonizado
F. Oliveira & J. Tavares 7 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Introdução
Algoritmos de Processamento e Análise de Imagem
são de elevado interesse para a Sociedade, sendo
frequentemente usados, por exemplo, em:
– Medicina, Biologia
– Ciências naturais, Desporto
– Engenharia, Indústria
Exemplos de tarefas comuns envolvendo algoritmos de
Processamento e Análise de Imagem:
– Melhoramento de Imagem, Compressão de Imagem
– Segmentação, Reconhecimento (2D-4D)
– Seguimento e análise de movimento, incluindo emparelhamento,
alinhamento e simulação (2D-4D)
– Reconstrução 3D
F. Oliveira & J. Tavares 8 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Introdução: Processamento e Análise de Imagem – Operações/Aplicações
Melhoramento
de imagem Segmentação de imagem /
extracção de características
seguimento
emparelhamento
simulação
Imagem /
imagens
Análise de
movimento alinhamento
Processamento
de Imagem
Análise de Imagem /
Visão Computacional
Visão 3D
Visão por
Computador
F. Oliveira & J. Tavares 9 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Emparelhamento de Imagens
Como emparelhamento (matching) considera-se o
estabelecimento de correspondências entre entidades
homólogas representadas em imagens
Imagens originais e
respectivos contornos
Algumas correspondências
obtidas
Oliveira, Tavares, Pataky (2009) VipMAGE 2009, pp. 269-274
F. Oliveira & J. Tavares 11 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Alinhamento de Imagens
Como alinhamento (registration) de imagens considera-se a
determinação e aplicação de uma transformação de modo
que as imagens, ou a entidades representadas nestas,
fiquem definidas num mesmo referencial e entidades
homólogas se sobreponham
Imagem 1
(modelo)
Imagem 2
(a alinhar)
Imagens sobrepostas pré- e pós- alinhamento
F. Oliveira & J. Tavares 12 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Alinhamento de Imagens
Aplicações Biomédicas
– Auxílio ao diagnóstico
• Integração/fusão de imagens por diferentes modalidades (CT/PET,
MRI/CT, f-MRI/MRI)
• Follow-up de patologias
– Apoio em intervenções cirúrgicas (relacionando imagens de pré-
operatório com os objetos da cirurgia, associar com a realidade do
paciente, relacionar estruturas anatómicas, etc.)
– Otimizar procedimentos radioterapêuticos
– Reconhecer automaticamente estruturas (ex. apoiar a
segmentação)
– Auxiliar a construção de atlas (casos)
– Apoiar análises estatísticas (SPM, Z-scores, etc.); …
F. Oliveira & J. Tavares 13 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Alinhamento de Imagens
Nos últimos anos tem sido realizada considerável
investigação na área do alinhamento de imagens
biomédicas. As diferentes metodologias usadas podem ser
classificadas segundo diferentes critérios
– Dimensionalidade: 2D/2D, 2D/3D, 3D/3D, + Tempo
– Base do alinhamento: extrínseca (o alinhamento é realizado
tendo por base elementos externos ao paciente) ou intrínseca (a
partir de informação extraída do paciente, ex. informação de
intensidades, pontos, esqueletos, contornos, superfícies, …)
– Interação: alinhamento manual, semiautomático ou automático
F. Oliveira & J. Tavares 14 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Alinhamento de Imagens
(Cont.)
– Tipo de transformação: rígida, semelhança, afim, projetiva,
curva
– Domínio: local ou global
– Modalidades envolvidas: mesma modalidade (CT/CT,
MRI/MRI, PET/PET, …), diferentes modalidades (CT/MRI, MRI-
T1/MRI-T2, PET/CT, …) ou paciente/modelo (alinhamento
realizado relativamente a um modelo sintético)
– Sujeitos: alinhamento de imagens do mesmo paciente, de
diferentes pacientes ou com um atlas
– Dados a alinhar: estrutura(s) envolvida(s)
– ...
F. Oliveira & J. Tavares 15 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Alinhamento de Imagens
Medidas de semelhança/similaridade baseadas em
informação de intensidade mais comuns:
i
fg igifCC
i
g
i
f
i
gf
fg
igif
igif
r22
Coeficiente de correlação (r) Correlação cruzada (CC)
i
fg igif2
SSD
Soma dos quadrados das diferenças (SSD)
i
fg igifN
21MSE
Média do quadrado das diferenças (MSD ou MSE)
Informação mútua (MI)
gfHgHfHMI ,
Sendo que e representam a entropia das imagens f e g e a entropia do histograma conjunto das mesmas
fH gfH ,
gH
F. Oliveira & J. Tavares 16 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Alinhamento de Imagens
Nos últimos anos temos vindo a desenvolver trabalho em
diversas vertentes do emparelhamento e alinhamento de
imagens
– Foram desenvolvidas e implementas metodologias
• Baseadas em características extraídas das imagens (pontos e
contornos) e na intensidade dos pixéis das imagens
• Determinando a transformação geométrica de forma direta e
iterativa
• Adotando diferentes tipos transformações geométricas
– Foram aplicadas
• Em imagens de um mesmo paciente e de diferentes pacientes
• Em imagens de uma mesma modalidade e de diferentes
modalidades
• No alinhamento de imagens 2D, 3D e séries temporais de imagens
2D
F. Oliveira & J. Tavares 17 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Pedobarografia
As imagens obtidas representem a interação planta do pé
/ solo – sistema de sensores piezoelétricos
Placa EMED® e sequência de imagem
F. Oliveira & J. Tavares 18 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Pedobarografia
As imagens obtidas representem a interação planta do pé /
solo – sistema ótico baseado em reflexão
Imagens originais
Bastos & Tavares (2004) LNCS 3179:39-50
Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368
camada de contacto
+ vidro
câmara espelho
luz reflectida vidro
pressão camada opaca
lâmpada
lâmpada camada
transparente
F. Oliveira & J. Tavares 19 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Metodologia I - Emparelhamento de contornos
Imagem modelo Imagem a alinhar
Imagens alinhadas
Extrair os contornos
Determinar uma matriz de custos
Estabelecer o emparelhamento ótimo
Determinar a transformação geométrica
Alinhar a imagem alvo
A matriz de custos é baseada em características geométricas ou físicas
O emparelhamento ótimo é estabelecido tendo por base a minimização dos custos de emparelhamento
Na otimização do emparelhamento é usada programação dinâmica
Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5):529-541
Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110
Oliveira, Tavares, Pataky (2009) Journal of Biomechanics 42(15):2620-2623
F. Oliveira & J. Tavares 21 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Extração dos contornos do Corpus callosum
Imagem original
Suavização Binarização
Extracção
de um
contorno
Exemplo 1
Metodologia I - Emparelhamento de contornos
F. Oliveira & J. Tavares 22 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Contorno
extraído da
imagem
modelo
Emparelhamentos
obtidos
(20%)
Contornos
sobrepostos
Contorno
extraído da
imagem
desalinhada
Emparelhamento dos pontos dos contornos do Corpus callosum
Exemplo 1 (cont.)
Metodologia I - Emparelhamento de contornos
F. Oliveira & J. Tavares 23 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Exemplo 1 (cont.)
Alinhamento:
totalmente
automático
Tempo de
processamento:
0.5 s (AMD
Turion64, 2.0
GHz, 1.0GB de
RAM)
Dimensões:
217x140 pixéis
Imagem modelo
(CT)
Imagem desalinhada
(CT)
Imagens sobrepostas
pré-alinhamento
Imagens sobrepostas
pós-alinhamento
Soma das imagens
alinhadas
Diferença entre as
imagens alinhadas
Alinhamento obtido baseado no Corpus callosum
Metodologia I - Emparelhamento de contornos
F. Oliveira & J. Tavares 24 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Extracção dos contornos e emparelhamentos
Imagem modelo (mesa óptica) e
respectivo contorno
Imagem desalinhada (mesa óptica)
e respectivo contorno
Exemplo 2
Emparelhamentos
Metodologia I - Emparelhamento de contornos
F. Oliveira & J. Tavares 25 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Exemplo 2 (cont.)
Alinhamento:
totalmente
automático
Tempo de
processamento:
0.125 s (AMD
Turion64, 2.0
GHz, 1.0GB de
RAM)
Dimensões:
160x288 pixéis
Imagem
modelo
Imagem
desalinhada
Imagens sobrepostas
pré-alinhamento
Imagens
sobrepostas
pós-alinhamento
Soma das
imagens alinhadas
Diferença entre as
imagens alinhadas
Alinhamento obtido
Metodologia I - Emparelhamento de contornos
F. Oliveira & J. Tavares 26 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Pressuposto: O alinhamento é tanto melhor quanto maior
for o valor da correlação cruzada entre as imagens
Fundamentos: Transformar a correlação numa convolução e
usar a transformada de Fourier para determinar a mesma
Metodologia II - Maximização direta da correlação cruzada
Oliveira, Pataky, Tavares (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740
dxaxIxIaCC II 1010
Correlação entre as imagens I0 e I1
em função de um deslocamento a:
Transformação numa
convolução: aIIdxxaIxIaCC II 1010 *
10
Do teorema da convolução tem-se: 1010 * IIII FFF
Calculando o produto das transformadas de Fourier e depois a
transformada inversa deste, obtém-se os valores da correlação para todos
os deslocamentos possíveis (só valores inteiros)
F. Oliveira & J. Tavares 27 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Algoritmo para obtenção do ângulo de rotação, escalamento e deslocamento
Oliveira, Pataky, Tavares (2010) Computer Methods in
Biomechanics and Biomedical Engineering 13(6):731-740
O escalamento e rotação são
obtidos dos espectros das
imagens após conversão
para o sistema de
coordenadas log-polar
Os fundamentos desta
metodologias são as
propriedades da
transformada de Fourier
Metodologia II - Maximização direta da correlação cruzada
F. Oliveira & J. Tavares 28 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Exemplo 1
Alinhamento:
totalmente
automático
Tempo de
processamento: 2.1
s (AMD Turion64,
2.0 GHz, 1.0GB de
RAM)
Dimensões: 221x257
pixéis
Imagem modelo
MRI (proton density)
Imagem desalinhada
MRI (proton density)
Imagens sobrepostas
pré-alinhamento
Imagens sobrepostas
pós-alinhamento
Soma das imagens
alinhadas
Diferença entre as
imagens alinhadas
Metodologia II - Maximização direta da correlação cruzada
F. Oliveira & J. Tavares 29 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Imagens de um pé
Imagens de dois pés
Exemplos 2 e 3
Origem das
imagens: Footscan
Alinhamento:
totalmente
automático
Tempo de
processamento:
0.04 s (AMD
Turion64, 2.0 GHz,
1.0GB de RAM)
Dimensões: 45x63
pixéis
Transformação
rígida
Transformação
de semelhança
Imagem
modelo
Imagem
desalinhada Imagens sobrepostas pré-
e pós- alinhamento
Metodologia II - Maximização direta da correlação cruzada
F. Oliveira & J. Tavares 30 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Oliveira, Pataky, Tavares (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740
dxaxIxIaSSD II 2
1010
SSD em função de um
deslocamento a:
Reescrevendo a equação:
dxaxIxI
dxaxIdxxIaSSD II
10
2
1
2
0
2
10
Os dois primeiros termos podem ser calculados directamente e o
terceiro termo transformado numa convolução
Metodologia III - Minimização direta da soma dos quadrados
das diferenças entre intensidades (SSD)
Pressuposto: O alinhamento é tanto melhor quanto menor for a soma
dos quadrados das diferenças entre as intensidades das imagens
Fundamentos: Transformar a soma dos quadrados das diferenças numa
expressão dependente de uma convolução e usar a transformada de
Fourier para determinar a mesma
F. Oliveira & J. Tavares 31 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Fundamentos: metodologia essencialmente baseada na
propriedade da transformada de Fourier:
Para estimar o deslocamento entre as imagens, é
calculada a transformada inversa do produto cruzado:
Oliveira, Pataky, Tavares (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740
Se axIxI 01
uxIeuxI uai
0
2
1 FF
Produto cruzado:
uaieII
II 2
10
10 *
*
FF
FF
(* representa o conjugado)
então
Metodologia IV - Correlação de fases
F. Oliveira & J. Tavares 32 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Fundamento: Este tipo de metodologia é baseado na
procura iterativa dos parâmetros da transformação
geométrica que otimiza uma medida de similaridade
O algoritmo termina quando não já não é possível otimizar significativamente a medida de similaridade ou é atingido outro critério de paragem
Imagem a alinhar Imagem modelo
Alinhamento inicial
(opcional)
Determinação da
imagem transformada
Cálculo de medida de
similaridade entre
imagens
Algoritmo de
otimização
Determinação da
transformação geométrica
Oliveira & Tavares (2011) Medical & Biological Engineering & Computing 49(3):313-323
Metodologia V - Alinhamento com otimização iterativa
F. Oliveira & J. Tavares 33 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Exemplo 1
Alinhamento:
totalmente automático
e sem pré-
alinhamento
Medida de
similaridade: MI
Tempo de
processamento: 5.4 s
(AMD Turion64, 2.0
GHz, 1.0GB de RAM)
Dimensões: 221x257
pixéis
Imagem modelo
(MRI - T1)
Imagem desalinhada
(MRI - proton density)
Imagens sobrepostas
pré-alinhamento
Imagens sobrepostas
pós-alinhamento Soma das imagens
alinhadas
Diferença entre as
imagens alinhadas
Metodologia V - Alinhamento com otimização iterativa
F. Oliveira & J. Tavares 34 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Exemplo 2
Alinhamento:
totalmente
automático e sem
pré-alinhamento
Medida de
similaridade: MI
Tempo de
processamento:
4.6 s (AMD
Turion64, 2.0 GHz,
1.0GB de RAM)
Dimensões:
246x234 pixéis
Imagem modelo
(CT)
Imagem desalinhada
(MRI)
Imagens sobrepostas
pré-alinhamento
Imagens sobrepostas
pós-alinhamento
Soma das imagens
alinhadas
Diferença entre as
imagens alinhadas
Metodologia V - Alinhamento com otimização iterativa
F. Oliveira & J. Tavares 35 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Exemplo 3
Alinhamento:
totalmente
automático e sem
pré-alinhamento
Medida de
similaridade: MSE
calculado apenas
sobre uma ROI
Tempo de
processamento: 1.6
s - AMD Turion64,
2.0 GHz, 1.0GB de
RAM
Dimensões:
230x216 pixéis
Imagem modelo
(Raio X)
Imagem desalinhada
(Raio X)
Imagens sobrepostas
pré-alinhamento
Imagens sobrepostas
pós-alinhamento
Soma das imagens
alinhadas
Diferença entre as
imagens alinhadas
Metodologia V - Alinhamento com otimização iterativa
F. Oliveira & J. Tavares 36 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Imagens: EMED
(32x55 pixéis)
Imagens: Footscan
(45x63 pixéis)
Imagens: plataforma
ótica (160x288
pixéis)
Metodologia Erro
residual
[mm]
Tempo
de proc.
[s]
Erro
residual
[mm]
Tempo
de proc.
[s]
Erro
residual
[mm]
Tempo
de proc.
[s]
Emparelhamento de contornos 1.96 0.01 1.22 0.02 1.28 0.20
Maximização da correlação
cruzada
0.25 0.04 0.54 0.04 0.19 2.15
Minimização da soma dos
quadrados das diferenças
0.25 0.05 0.54 0.05 0.19 2.20
Correlação de fases 0.57 0.05 0.60 0.06 0.21 2.49
Otimização iterativa (medida:
MSE; pré-al. contornos)
<0.01 0.04 <0.01 0.07 <0.01 1.60
Oliveira & Tavares (2011) International Journal for Numerical Methods in Biomedical Engineering (in press)
Metodologias - Comparação em imagens de pressão plantar
F. Oliveira & J. Tavares 37 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Com base nas metodologias
desenvolvidas implementaram-
se aplicações computacionais
totalmente automáticas e
independentes da plataforma e
orientação do pé para:
– Classificação esquerdo/direito
– Segmentação de imagens de
pressão plantar
– Cálculo de índices plantares e
outras medidas
– Classificação do “tipo de pé”
Oliveira, Sousa, Santos, Tavares (2011) Computer Methods
In Biomechanics and Biomedical Engineering (in press)
Metodologias - Exemplo de aplicação em Pedobarografia
F. Oliveira & J. Tavares 38 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Imagem modelo Imagem a alinhar
Imagem alinhada
Pré-alinhamento usando transformação rígida
Novo pré-alinhamento usando transformação afim
Alinhamento curvo “grosseiro” usando B-splines
Alinhamento “fino” usando B-splines
Metodologia implementada com recurso ao Insight Toolkit (ITK)
Metodologia VI - Otimização iterativa, alinhamento 3D
curvo usando B-splines
F. Oliveira & J. Tavares 39 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Princípio
– Após alinhamento global, é realizado um alinhamento local
do tipo free-form deformation
Metodologia VI - Otimização iterativa, alinhamento 3D
curvo usando B-splines
F. Oliveira & J. Tavares 40 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Xadrez das imagens (CT, tórax – mesma pessoa, Δt: 8.5 meses) pré-alinhamento
F. Oliveira & J. Tavares 41 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Metodologia VI - Otimização iterativa, alinhamento 3D curvo usando B-splines
Exemplo 1
(xadrez - construído substituindo algumas partes (voxels) da imagem modelo pelas partes da
imagem a alinhar que têm as mesmas coordenadas das partes retiradas à imagem modelo)
Alinhamento: totalmente automático; Medida de similaridade: MI (calculada em todo o
volume); Tempo de processamento: 23 s (AMD Turion64, 2.0 GHz, 1.0GB de RAM); ;
Dimensões: 276x236x48 e 276x236x44 pixéis
Xadrez das imagens pós-alinhamento - rígido
F. Oliveira & J. Tavares 42 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Exemplo 1
Metodologia VI - Otimização iterativa, alinhamento 3D curvo usando B-splines
Exemplo 1
Alinhamento: totalmente automático; Medida de similaridade: MI (calculada em todo o
volume); Tempo de processamento: 8 min (AMD Turion64, 2.0 GHz, 1.0GB de RAM);
Dimensões: 276x236x48 e 276x236x44 pixéis
Xadrez das imagens pós-alinhamento - B-splines cúbicas
Metodologia VI - Otimização iterativa, alinhamento 3D curvo usando B-splines
F. Oliveira & J. Tavares 43 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Xadrez das imagens (CT, cérebro – 2 pessoas) pré-alinhamento
F. Oliveira & J. Tavares 44 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Exemplo 2
Metodologia VI - Otimização iterativa, alinhamento 3D curvo usando B-splines
Xadrez das imagens pós-alinhamento - afim
Alinhamento: totalmente automático; Medida de similaridade: MI (calculada numa ROI que
não inclui o sistema de imobilização da cabeça); Tempo de processamento: 1 min (AMD
Turion64, 2.0 GHz, 1.0GB de RAM) Dimensões: 512x512x34 e 512x512x34 pixéis
F. Oliveira & J. Tavares 45 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Exemplo 2
Metodologia VI - Otimização iterativa, alinhamento 3D curvo usando B-splines
Xadrez das imagens pós-alinhamento - B-splines cúbicas
Alinhamento: totalmente automático; Medida de similaridade: MI (calculada numa ROI que
não inclui o sistema de imobilização da cabeça); Tempo de processamento: 25 min (AMD
Turion64, 2.0 GHz, 1.0GB de RAM); Dimensões: 512x512x34 e 512x512x34 pixéis
F. Oliveira & J. Tavares 46 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Exemplo 2
Metodologia VI - Otimização iterativa, alinhamento 3D curvo usando B-splines
Alinhamento
Alinhamento
Transformação
geométrica
Alinhamento
Transformação
geométrica
… … …
Transformação
geométrica
F. Oliveira & J. Tavares 47 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Metodologia VII - Alinhamento usando multi-resolução
Exemplo
Xadrez das imagens (CT/MR-PD, cérebro, mesmo paciente) pré-alinhamento
F. Oliveira & J. Tavares 48 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Metodologia VII - Alinhamento usando multi-resolução
Xadrez das imagens (CT/MR-PD, cérebro) após-alinhamento - rígido
F. Oliveira & J. Tavares 49 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Exemplo
Metodologia VII - Alinhamento usando multi-resolução
Fundamento: Alinhamento é dividido em duas fases: 1) é
realizado um pré-alinhamento espacial e temporal; 2) o
alinhamento é otimizado procurando iterativamente pelos
parâmetros das transformações geométrica e temporal que
otimizam uma medida de similaridade entre as sequências
Sequência a alinhar
Sequência modelo
Alinhamento espacial e
temporal iniciais Determinação da
sequência transformada
no espaço e no tempo
Cálculo da medida de
similaridade entre as
sequências
Algoritmo de
otimização
Determinação das
transformações temporal
e espacial
Oliveira, Sousa, Santos, Tavares (2011) Medical & Biological Engineering & Computing 49(7):843-850
Metodologia - Alinhamento em duas fases com otimização iterativa
F. Oliveira & J. Tavares 51 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Exemplo
Origem das
sequências: EMED
(25 fps, resolução 2
pixels/cm2, dim.
32x55x13; 32x55x18)
Alinhamento:
totalmente
automático
Medida de
similaridade: MSE
Tempo de
processamento: 4 s -
AMD Turion64, 2.0
GHz, 1.0GB de RAM
Frame da
sequência
modelo
Frame
correspondente
da sequência
desalinhada
Frames
sobreposta
s
Antes do
alinhamento
Após
alinhamento
F. Oliveira & J. Tavares 52 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Metodologia - Alinhamento em duas fases com otimização iterativa
Sequência
modelo
Sequência a
alinhar
Sequência alinhada
usando uma transf.
temporal polinomial
do 1.º grau
Sequência alinhada
usando uma transf.
temporal polinomial
do 4.º grau
Exemplo
F. Oliveira & J. Tavares 53 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Metodologia - Alinhamento em duas fases com otimização iterativa
Resultados
Grau da
transformação
polinomial
temporal permitida
Erro residual
espacial máximo
[mm]
Erro residual
temporal máximo
[s]
Tempo de
processamento
médio [s]
1 0.012 0.0002 2.1
2 0.012 0.0002 4.4
3 0.012 0.0003 8.1
4 0.011 0.0003 11.2
Sequências de imagem de plataforma EMED, 25 fps, resolução: 2 pixéis/cm2, e aproximadamente 20
imagens por sequência. Valores obtidos minimizando o MSE e considerando transformações espaciais
rígidas (rotações e translações). Transformações de controlo: rígida (espacial), linear (temporal).
PC: AMD Turion64, 2.0 GHz, 1.0GB de RAM
F. Oliveira & J. Tavares 54 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Metodologia - Alinhamento em duas fases com otimização iterativa
Discussão - Metodologias
Baseada no emparelhamento de contornos
– Vantagens
• Pode ser usada para alinhar imagens de diferentes modalidades
• Robusta a grandes desalinhamentos, o que permite que determinar
bons pré-alinhamentos, que podem ser usados posteriormente por
outras metodologias
• Não contando com o tempo necessário para a extração dos contornos, é
geralmente muito rápida
• Possibilidade de determinação de transformações geométricas não
lineares
– Desvantagens
• Só aplicável quando possível a extração de contornos
• Elevada sensibilidade à qualidade dos contornos
• A qualidade do alinhamento é, em geral, inferior à das restantes
metodologias
F. Oliveira & J. Tavares 56 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Baseadas na otimização direta da correlação cruzada,
soma dos quadrados das diferenças ou correlação de fase
– Vantagens
• Boa qualidade de alinhamento
• Robustas a grandes desalinhamentos, podem ser usadas para
determinar bons pré-alinhamentos, que poderão ser usados
posteriormente por outras metodologias
• Robustas a soluções locais (máximos ou mínimos)
• Tempo de processamento reduzido e dependente apenas da
dimensão das imagens.
– Desvantagens
• Só podem ser aplicadas em imagens de uma mesma modalidade
• Só são robustas quando as imagens apresentam regiões idênticas
• Permitem apenas transformações rígidas e de similaridade
Discussão - Metodologias
F. Oliveira & J. Tavares 57 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Baseadas na otimização iterativa
– Vantagens
• Capacidade para obter elevada precisão
• Permitem a utilização de diferentes medidas de similaridade,
em função da aplicação
• Podem ser usadas no alinhamento de imagens obtidas de
diferentes modalidades
• A medida de similaridade pode ser calculada apenas numa ROI
• Possibilidade de determinação de transformações geométricas
lineares e curvas
• Permitem o alinhamento de imagens 2D, 3D e sequências de
imagem
• Permitem a implementação simples de estratégias multi-resolução
Discussão - Metodologias
F. Oliveira & J. Tavares 58 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Baseadas na otimização iterativa
– Desvantagens
• Regra geral, para garantir a convergência para o alinhamento ótimo
é necessário que o desalinhamento não seja muito elevado ou
seja conhecido um bom alinhamento inicial
• A qualidade do alinhamento pode ser significativamente
afetada pela medida de similaridade adotada e pelo algoritmo
de otimização usado
• Há sempre a possibilidade do algoritmo convergir para uma
solução local
• O tempo de processamento pode ser elevado
Discussão - Metodologias
F. Oliveira & J. Tavares 59 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
• As medidas soma dos quadrados das diferenças (SSD) e
correlação cruzada (CC) são adequadas apenas para o
alinhamento de imagens de uma mesma modalidade
• Em circunstâncias adequadas (imagens de uma mesma
modalidade, com idêntica distribuição de intensidade e regiões
equivalentes), geralmente a otimização da SSD ou da CC produz
alinhamentos idênticos e de boa qualidade, superiores ao
obtido através da otimização da informação mútua (MI)
• A medida MI é mais robusta no alinhamento de imagens com
diferentes regiões do que as medidas SSD e CC
• O cálculo da SSD e CC é mais simples do que o cálculo da MI,
pelo que as primeiras são computacionalmente mais eficientes
• As medidas SSD e CC são muito sensíveis a outliers, mas a
medida MI é robusta aos mesmos
Discussão - Medidas de similaridade
F. Oliveira & J. Tavares 60 Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Equipa (Processamento e Análise de Imagem)
• Estudantes de Doutoramento (14):
– Concluído: Daniel Moura, Teresa Azevedo
– Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos,
Ilda Reis, Zhen Ma, Elza Chagas, Francisco Oliveira, António
Gomes, João Nunes, Alex Araújo, Sandra Rua, Anishur Rahman
• Estudantes de Mestrado (17):
– Concluídos: Célia Cruz, Priscila Alves, Elisa Barroso, Ana Jesus,
Frederico Jacob, Daniela Sousa, Francisco Oliveira, Teresa
Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos,
Cândida Coelho, Jorge Gonçalves
– Em curso: Jorge Pereira, Carolina Tabuas, Gabriela Queiros, Diana
Cidre
• Estudantes de pré-Graduação (2)
– Concluídos: Ricardo Ferreira, Soraia Pimenta 62 F. Oliveira & J. Tavares Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Webpage (www.fe.up.pt/~tavares)
64 F. Oliveira & J. Tavares Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Agradecimentos
• Francisco Oliveira agradece à Fundação Gulbenkian a sua bolsa de Doutoramento
• O trabalho apresentado tem vindo a ser realizados parcialmente com o apoio da Fundação para a Ciência e a Tecnologia (FCT) em Portugal, nomeadamente, através dos projectos: – PTDC/SAU-BEB/102547/2008
– PTDC/SAU-BEB/104992/2008
– PTDC/EEA-CRO/103320/2008
– UTAustin/CA/0047/2008
– UTAustin/MAT/0009/2008
– PDTC/EME-PME/81229/2006
– PDTC/SAU-BEB/71459/2006
– POSC/EEA-SRI/55386/2004
65 F. Oliveira & J. Tavares Alinhamento de imagens no espaço e no tempo para aplicações biomédicas
Alinhamento de Imagem no Espaço e no Tempo
para Aplicações Biomédicas
Francisco P. M. Oliveira, João Manuel R. S. Tavares
[email protected], www.fe.up.pt/~tavares
66 F. Oliveira & J. Tavares Alinhamento de imagens no espaço e no tempo para aplicações biomédicas