Recuperação de Imagens baseada em conteúdo usando filtros do Gabor
Pedro M. Achanccaray Diaz
Matéria: Mineração de DadosProfa.: Karla Figueiredo
Roteiro
1. Introdução
2. Metodologia
3. Resultados
4. Conclusões
2
Roteiro
1. Introdução
2. Metodologia
3. Resultados
4. Conclusões
3
1. Introdução->a. Objetivos
Objetivo principal:
Recuperar imagens baseado em conteúdo usando Filtros de Gabor.
Objetivos Específicos:
Desenvolver uma ferramenta para Recuperação de Imagens.
Avaliar o uso de Filtros de Gabor como atributos para sistemas de
Recuperação de Imagens.
4
1. Introdução->b. Mineração de Imagens
5
Banco de dados alfanuméricos
Mineração de Dados
(Data Mining)
Banco de dados de Imagens
Mineração de Imagens
(Image Mining)
1. Introdução->c. Recuperação de Imagens baseado em conteúdo (CBIR)
O alvo dos sistemas de Recuperação de Imagens baseado em Conteúdo
(CBIR) é a busca de imagens similares a uma imagem de consulta numa
base de dados.
6
http://amazon.ece.utexas.edu/~qasim/research.htm
http://labs.systemone.at/retrievr
https://www.google.com.pe/imghp?hl=pt-BR&tab=wi&ei=eEWpU7zZG8rQsQT5kICwCQ&ved=0CAQQqi4oAg
Roteiro
1. Introdução
2. Metodologia
3. Resultados
4. Conclusões
7
2. Metodologia->a. Diagrama de fluxo
8
Pré-processamento
Extração de Atributos Redução de
Dimensionalidade
ClassificaçãoImagem de Consulta
Recuperação de Imagens
Banco de Imagens
Vetores de Atributos
Vetores de Atributos reduzidos
Imagens Recuperadas
2. Metodologia->b. Pré-processamento
• Redimensionamento.– [320 x 240] -> [160 x 120]
• Converter ao tons de cinza (só para extração de atributos posterior).
9
2. Metodologia->c. Extração de Atributos
• Medias dos pixels na imagem ().• Desvio padrão dos pixels na imagem ().• Atributos de Textura: Filtros de Gabor (8 orientações x 4 escalas = 32 resultados)
• X =
10
Media dos pixels resultantes ()Desvio padrão dos pixels resultantes ()
32 x 2 + 3 + 3 = 70 atributos
2. Metodologia->d. Redução de Dimensionalidade
11
• Análise de componentes principais (PCA)
• Dimensionalidade: 70 -> 11 componentes
• Variância: 99% representada
2. Metodologia->e. Classificação
12
• Classificador: Maquinas de Vetores de Suporte (SVM)
• Kernel: Gaussian Radial-basis-function (RBF)
• Validação cruzada: 5, 10, 15 e 20 grupos (k_folds)
• Nº de classes: 7 ([0 1 2 3 4 5 6])
𝐾 (𝑥 ,𝑥 ´ )=exp (−𝑔𝑎𝑚𝑚𝑎∗|𝑥−𝑥 ´|2 )
2. Metodologia->f. Imagem de consulta
13
• A mesma extração de atributos que as imagens de entrada.
• O classificador predisse a classe do imagem de consulta.
• Sua dimensionalidade é reduzida com o PCA feito anteriormente.
2. Metodologia->g. Recuperação de Imagens
14
• A busca é feita só nas imagens que pertencem a classe prevista.
• As imagens relevantes são as quais tem a menor distancia com a imagem
de busca (vetores de atributos).
𝑑𝑖𝑠𝑡 (𝑋 𝑖 , 𝑋 𝑗 )=𝑠𝑞𝑟𝑡 ( (𝑋 𝑖1− 𝑋 𝑗1 )2+(𝑋 𝑖 2−𝑋 𝑗 2 )2+…+ (𝑋 𝑖𝑑−𝑋 𝑗 𝑑)2)
: vetor de atributos da imagem de busca.: vetor de atributos da uma imagem que pertence a classe prevista.
Roteiro
1. Introdução
2. Metodologia
3. Resultados
4. Conclusões
15
3. Resultados->a. Base de dados
16
• Microsoft Research Cambridge Object Recognition Image Database
(MSRCORID)
3215images – 7 classes
animal buildings vegetation windows bicycles cars clouds0
100
200
300
400
500
600
700
Classe N°animal 444buildings 412vegetation 501windows 652bicycles 272cars 505clouds 429Total 3215
3. Resultados->b. Ferramenta desenvolvida
17
• Entorno Qt Creator com Qt 5.02, linguagem C++ e a libraria para
gerenciamento de imagens foi OpenCV.
3. Resultados->c. Classificação
18
• Acurácia do classificador:
5 PCA 5 10 PCA 10 15 PCA 15 20 PCA 20
87.25
90.2
88.02
91.6
87.56
90.2
87.71
90.67
3. Resultados->c. Classificação
19
• Matriz de confusão:
Predicted
0 1 2 3 4 5 6
Known
0 429 3 2 0 1 10 0
1 1 231 4 18 0 7 11
2 1 13 373 11 0 4 10
3 0 6 3 487 0 1 8
4 1 0 0 0 427 1 0
5 12 8 5 1 0 475 0
6 1 8 8 10 1 1 622
Class
Animals 0
Bicycles 1
Buildings 2
Cars 3
Clouds 4
Vegetation 5
Windows 6
3. Resultados->d. Recuperação de Imagens
20
• Resultados obtidos:
3. Resultados->d. Recuperação de Imagens
21
• Resultados obtidos:
3. Resultados->d. Recuperação de Imagens
22
• Resultados obtidos:
3. Resultados->d. Recuperação de Imagens
23
• Resultados obtidos:
3. Resultados->d. Recuperação de Imagens
24
• Resultados obtidos:
3. Resultados->d. Recuperação de Imagens
25
• Resultados obtidos:
3. Resultados->d. Recuperação de Imagens
26
• Resultados obtidos:
3. Resultados->d. Recuperação de Imagens
27
• Resultados obtidos:
3. Resultados->d. Recuperação de Imagens
28
• Precisão: (19 imagens para consulta)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 190.6
0.65
0.7
0.75
0.8
0.85
0.9
0.95
1
𝑃=𝑡𝑟𝑢𝑒𝑝𝑜𝑠𝑖𝑡𝑖𝑣𝑒𝑠
𝑡𝑜𝑡𝑎𝑙 𝑑𝑒𝑖𝑚𝑎𝑔𝑒𝑛𝑠
Roteiro
1. Introdução
2. Metodologia
3. Resultados
4. Conclusões
29
4. Conclusões
30
• A metodologia proposta para o sistema de recuperação de imagens foi
capaz de fornecer imagens coerentes com a imagem de busca.
• A acurácia do classificador SVM foi melhor sem a redução de
dimensionalidade. Isto implica que o PCA não fiz uma boa representação
dos dados. A validação cruzada foi melhor com 10 grupos.
• A precisão do sistema de recuperação de imagens foi 0.84 no caso de 19
imagens para busca.
4. Conclusões
31
• Devido a organização do código da ferramenta desenvolvida, facilmente se
incorporaram mais classificadores para o sistema.
Recuperação de Imagens baseada em conteúdo usando filtros do Gabor
Pedro M. Achanccaray Diaz
Matéria: Mineração de DadosProfa.: Karla Figueiredo
Obrigado