Recuperação de Imagens por Conteúdo Através de Regiões Determinadas Automaticamente pela Energia

Luis Marcelo Bortolotti

Agma Juci Machado TrainaICMC - USP

Conteúdo

Introdução Método

Determinação dos MBRs Medidas de Textura Vetor de Características

Experimentos e Resultados Conclusões

Introdução e Motivação

Sistemas de Informação Hospitalar (SIH) atuais Organização de dados textuais e

numéricos sobre pacientes (exames realizados, procedimentos adotados)

Em alguns casos é possível a associação de dados textuais com exames

Introdução e Motivação

PACS (Picture Archiving and Communication Systems) integração em um único sistema todas as

informações dos pacientes (textos, imagens, gráficos)

Devido ao alto custo, é comum a obtenção de alguns módulos e o desenvolvimento de soluções particulares

Introdução e Motivação

Como os sistemas PACS organizam as imagens provenientes de exames efetuados sobre os pacientes, seria interessante adicionar a capacidade de consultas basedas em conteúdo, ou seja, consultas do tipo:

Quais são as 10 imagens de tomografia mais similares a uma imagem dada

Introdução e Motivação

Aqui é apresentado um método de extração de características extração de características de imagens baseado em MBRs (Minimum Bouding Rectangles) de regiões da imagem, determinados automaticamente através de informações de energia das linhas e colunas da imagem, e no processamento baseado em textura destas regiões

Conteúdo

Introdução Método

Determinação dos MBRs Medidas de Textura Vetor de Características

Experimentos e Resultados Conclusões

Extração de Características

O método de extração de características de imagens é dividido em duas fases: Determinação automática dos Minimum

Bounding Rectangles (MBRs) de regiões da imagem

Realização de medidas de textura sobre estas regiões

Extração de Características:

Determinação dos MBRs

Extração de Características:

Determinação dos MBRs

A transformada de wavelets de Daubechies é utilizada para criar uma miniatura (thumbnail) da imagem Eliminação de ruídos de alta freqüência A imagem mantém as propriedades

necessárias Maior velocidade no processamento da

imagem

Extração de Características:

Determinação dos MBRs

Imagem de entrada Miniatura

Transformada de wavelets

Extração de Características:

Determinação dos MBRs

Extração de Características:

Determinação dos MBRs

Sobre a miniatura é aplicado o filtro de bordas de Sobel Realce das bordas das estruturas

grandes da imagem

Extração de Características:

Determinação dos MBRs

Sobel

Imagem de entrada

Extração de Características:

Determinação dos MBRs

Extração de Características:

Determinação dos MBRs

Os MBRs das regiões são determinados por meio dos gráficos de energia das linhas e colunas da miniatura após a aplicação do filtro de Sobel

Energia: concentração das intensidades dos pixels de uma imagem

Extração de Características:

Determinação dos MBRs Energia das Linhas: soma das intensidades

dos pixels de uma dada linha da imagem

Energia das Colunas: soma das intensidades dos pixels de uma dada coluna da imagem

NL

ix ixIE

1

),(

NC

iy yiIE

1

),(

Extração de Características:

Determinação dos MBRsGráficos de Energia das

Linhas e Colunas

Extração de Características:

Determinação dos MBRs Pontos de máximo são localizados nos

gráficos de energia das linhas e colunas da imagem

Extração de Características:

Determinação dos MBRs As coordenadas dos MBRs são determinadas

pelos pontos de intersecção entre os gráficos de energia

Lista de MBRs

MBR1: (x1,y1,x2,y2)

MBR2: (x1,y1,x2,y2)

MBR3: (x1,y1,x2,y2)

MBR4: (x1,y1,x2,y2)

MBR5: (x1,y1,x2,y2)

...

MBRn: (x1,y1,x2,y2)

Extração de Características:

Determinação dos MBRs Uma razão entre a energia total do MBR e sua

área é calculada para determinar quais MBRs serão inseridos nos conjunto resposta

Lista de MBRs

MBR1: (x1,y1,x2,y2)MBR2: (x1,y1,x2,y2)MBR3: (x1,y1,x2,y2)MBR4: (x1,y1,x2,y2)MBR5: (x1,y1,x2,y2)MBR6: (x1,y1,x2,y2)MBR7: (x1,y1,x2,y2)MBR8: (x1,y1,x2,y2)MBR9: (x1,y1,x2,y2)

MBR10: (x1,y1,x2,y2)MBR11: (x1,y1,x2,y2)MBR12: (x1,y1,x2,y2)MBR13: (x1,y1,x2,y2)

MBR14: (x1,y1,x2,y2)MBR15: (x1,y1,x2,y2)MBR16: (x1,y1,x2,y2)MBR17: (x1,y1,x2,y2)MBR18: (x1,y1,x2,y2)MBR19: (x1,y1,x2,y2)MBR20: (x1,y1,x2,y2)MBR21: (x1,y1,x2,y2)MBR22: (x1,y1,x2,y2)MBR23: (x1,y1,x2,y2)MBR24: (x1,y1,x2,y2)MBR25: (x1,y1,x2,y2)

Extração de Características:

Determinação dos MBRs

Por fim as coordenadas são dos MBRs transpostas para a imagem de entrada

Transposição dos pontos

para a imagem original

Extração de Características:

Medidas de Textura

A extração de características de textura é feita utilizando-se a matriz de co-ocorrência proposta por Haralick Para cada MBR pertencente ao conjunto

de resposta, é calculada uma matriz de co-ocorrência

A partir da matriz, são calculados as medidas de Entropia e a Homogeneidade

Matrizes deCo-ocorrência

Medidas

Extração de Características:

Medidas de Textura

…

EntropiaHomogeneidade

EntropiaHomogeneidade

EntropiaHomogeneidade

EntropiaHomogeneidade

Vetor de Características

nMBR MBR1 MBR2 MBR3 ...

Área Energia Homogeneidade Entropia

Informações do MBR

Vetor de Características

Conteúdo

Introdução Método

Determinação dos MBRs Medidas de Textura Vetor de Características

Experimentos e Resultados Conclusões

Experimentos e Resultados

Testes realizados com um conjunto de 250 imagens de vários tipos de exames radiológicos Angiogramas do coração Ressonância magnética de cabeça, corte axial Ressonância magnética de cabeça, corte sagital Ressonância magnética do abdômen Ressonância magnética de coluna

Experimentos e Resultados

Angiograma RM cabeça axial RM cabeça sagital

RM abdômen RM coluna

Experimentos e Resultados

Experimentos: Consultas k-NN sobre o conjunto de

imagens processadas Resultados analisados por meio dos

gráficos de Precision x Recall

Experimentos e ResultadosR

es

ult

ad

os

Conteúdo

Introdução Método

Determinação dos MBRs Medidas de Textura Vetor de Características

Experimentos e Resultados Conclusões

Conclusões

O método apresenta baixo custo computacional Pode ser utilizado como um

processamento inicial de um conjunto de imagens

Melhores resultados com imagens que apresentam predominância de tecidos moles Massa encefálica, tecido muscular

Recuperação de Imagens por Conteúdo Através de Regiões Determinadas Automaticamente pela Energia

Luis Marcelo Bortolotti

Agma Juci Machado TrainaICMC - USP