Introdução e Desafios em Recuperação de Imagens por Conteúdo

Introdução e Desafios emRecuperação de Imagens por Conteúdo

Prof. Dr. Rodrigo Tripodi Calumbyrtcalumby@ecomp.uefs.br

www.rtcalumby.com.br

Roteiro

● Introdução

● O que é Recuperação da Informação?● Dados vs. Informação● RI e a Web● RI Multimídia

● Recuperação de Imagens por Conteúdo● Descritores de Imagens● Procedimento e Arquitetura● Cenários e Desafios

3

Motivação

● Tecnologias ● Captura● Armazenamento● Processamento de dados

4

Motivação

● Tecnologias ● Captura● Armazenamento● Processamento de dados

5

Motivação

● Tecnologias ● Captura● Armazenamento● Processamento de dados

● Grandes bases de dados● Como recuperar?

6

Recuperação da Informação

Fonte: Baeza-Yates e Ribeiro-Neto – Modern Information Retrieval – The concepts and technology behind search. 2ed.

7

O que é Recuperação da Informação?

● Estrutura● Análise● Organização● Armazenamento● Busca● Recuperação

8

O que é Recuperação da Informação?

Fonte: Grossman and Frieder - Information Retrieval – Algorithms and Heuristics. 2ed.

9

Características das informações

● Tipo● Estrutura● Contexto● Volume● Interação

10

Tipos de dados

● Textos– Documentos inteiros– Informação contida em documentos– Metadados sobre documentos

● Recuperação multimídia– Imagens– Vídeos– Audio

11

Estrutura dos dados

12

13

Estrutura dos dados

● Estruturados

● Semiestruturados

● Não estruturado

14

Dados estruturados

● Modelo relacional● Esquema bem definido● Linguagem formal

● Representação● Manipulação

Cliente

Id Nome Endereço

Pedido

Id Data Id_Cliente

15

Dados semiestruturados

● Esquema misturado com os dados● Auto descritivo● XML

Fonte: Elmasri e Navathe. Sistemas de Bancos de Dados. 6ed.

16

Dados não estruturados

● Páginas web, livros, e-mails, etc.● HTML● Linguagem natural

17

Motivação

● Aplicações da RI● Medicina● Biologia● Sensoriamento remoto● Bibliotecas digitais● Ambientes sociais● Web

18

Recuperação de DadosX

Recuperação da Informação

19

BD x RI

● Evidências● Metadados ou Conteúdo e estatísticas

● Conhecimento do esquema ou não● Consulta

● Linguagem formal ou Linguagem livre – Condições– Palavras-chave– Linguagem natural

● Resposta ● Exata ou Aproximada

20

Contexto dos dados

● Repositório homogêneo - vertical● Ex.: Coleção de artigos médicos● Ex.: Imagens marinhas● Ex.: Contratos, e-mails e relatórios de uma empresa

● Repositório heterogêneo - horizontal● Ex.: Biblioteca digital de uma universidade● Ex.: Álbum das férias● Ex.: Páginas de um serviço de blogging

21

Volume dos dados

● Crescimento acelerado● Número de páginas● Eventos de interação social

● Necessidades de algoritmos● Indexação, Caching e Agregação● Tolerância a falhas● Distribuídos e paralelos

● Ex.: Busca de arquivos em um computador● Ex.: Busca de arquivos em um rede P2P

22ESCALA

23

24

Recuperação da Informaçãoe a Web

25

RI e a Web

● Busca na Web é RI na prática

● Impactos● Informação ligada e distribuída

– Crawling → indexação● Tamanho da coleção e volume de consultas

– Escalabilidade

26

RI e a Web

● Busca na Web é RI na prática

● Relevância● Web → meio de negócio

● Busca de preços, números de telefone, download de software

27

RI e a Web

● Desafios● Grandes quantidades● Crawling● Criação e atualização de índices● Análise do conteúdo● Análise de hiperlinks

– Texto âncora– Página de destino– Links de saída e links de retorno

28

Arquitetura de um sistema de RI

Fonte; Chap 01: Introduction, Baeza-Yates & Ribeiro-Neto, Modern Information Retrieval, 2nd Edition

29

Recuperação Multimídia

● Imagens● Vídeos● Audio

30

Recuperação Textual

31

Recuperação Textual

● Vantagens● Abrange qualquer descrição● Adaptação ao usuário

● Desvantagens● Necessidade de anotação● Padrão de anotação● Subjetividade da interpretação● Sinônimos● Polissemia

32

Exemplo

33

Exemplo

Como descrever esta consulta?

34

Exemplo

35

Exemplo

36

Exemplo

37

Recuperação baseada em Contéudo

● Similaridade do conteúdo (pixels)

● Dado um banco de imagens o usuário deseja recuperar imagens semelhantes a um determinado padrão de consulta● Cor● Forma● Textura● Relacionamento espacial

38

ExemplosConsulta:

Resultados:

38

39

ExemplosConsulta:

Resultados:

39

40

ExemplosConsulta:

Resultados:

40

41

Exemplos

Consulta:

Resultados:

41

42

Descritores de Imagens

43

Procedimento

Fonte: Eduardo Valle and Matthieu Cord. 2009. Advanced Techniques in CBIR: Local Descriptors, Visual Dictionaries and Bags of Features. In Proceedings of the 2009 Tutorials of the XXII Brazilian Symposium on Computer Graphics and Image Processing (SIBGRAPI-TUTORIALS '09). IEEE Computer Society, Washington, DC, USA, 72-78.

44

Arquitetura

45

Arquitetura

QUAIS OS DESAFIOS?

Desafios em CBIR

lighthouse at the sea

Desafios em CBIR

lighthouse at the sea

Desafios em CBIR

lighthouse at the sea

Desafios em CBIR

lighthouse at the sea

color

texture

shape

Desafios em CBIR

lighthouse at the sea

color

texture

shape

Low-level features vs. Concepts/preferences

Desafios em CBIR

lighthouse at the sea

color

texture

shape

sem

anti

c g

ap!

52

Gap Semântico

● Diferentes pessoas → percepções distintas● Propriedades de baixo nível x valor semântico

Desafios em CBIR

lighthouse at the sea

MULTIMODALITY

color

texture

shape

54

Multimodalidade

● Múltiplas fontes de evidências

● Fusão de características● Visual + Textual

● Agregação de resultados

55

Combinação de Características

56

Combinação de Características

???

57

Combinação de Características

● Aprendizado de métricas● Treinamento e teste● Seleção de características● Ajuste de pesos

● Fusão de dados de baixo nível

● Fusão de resultados● Agregação de rankings

Desafios em CBIR

lighthouse at the sea

color

texture

shape

Desafios em CBIR

lighthouse at the sea

color

texture

shape

Desafios em CBIR

lighthouse at the sea

color

texture

shape

- User subjectivity

- Difficulty on expressing needs

- Poorly defined queries

61

Realimentação de Relevância

Desafios em CBIRcolor

texture

shape

lighthouse at the sea

RELEVANCE FEEDBACK

Desafios em CBIRcolor

texture

shape

lighthouse at the sea

● Per user system optimization

● Implicit/Explicit relevance assessments

● Online adaptiveness

– Learning-to-rank

Desafios em CBIR

lighthouse at the sea

Desafios em CBIR

lighthouse at the sea

Near duplicates!

Desafios em CBIR

lighthouse at the sea

“Oscar Niemeyer Buildings” on Google Images

With the “labeled for reuse” search option enabled - As of Oct 6, 2015

“Oscar Niemeyer Buildings” on Google Images

- 24 images → 11 different buildigs out of hundreds → 46% of the ideal set

“Oscar Niemeyer Buildings” on Google Images

- 24 images → 11 different buildings out of hundreds → 46% of the ideal set

- 46% covering the same building(Oscar Niemeyer Museum in Curitiba, Paraná)

Diversity Promotion

Diversity Promotion

● Clustering

Diversity Promotion

● Clustering

73

Finalizando...

74

Desafios Gerais

● Larga escala● Interatividade● Eficácia● Eficiência● Novidade● Diversidade

75

Desafios da RI

● Múltiplos tipos de dados● Recuperação multilíngue● Dados georreferenciados● Informações em contextos

● Biologia● Medicina● Química● Agricultura● Jurídico

76

Desafios em CBIR

● Desenvolvimento de descritores● Globais, locais, etc.

● Técnicas de aprendizado de máquina● Realimentação de relevância

● Aprendizado ativo

● Sumarização visual / Diversidade● Busca social● Meios de visualização e navegação

77

Resumindo...

● Grandes quantidades de dados são geradas diariamente

● Diferentes tipos de objetos digitais

● Acesso eficaz e eficiente

● RI → Transformar a web em um repositório do conhecimento humano

● Há muito o que ser

● Estudado● Pesquisado● Desenvolvido

78

Leitura Recomendada(R. T. Calumby et al.)

● Multimodalidade e Realimentação de Relevância● Multimodal retrieval with relevance feedback based on genetic programming.

Multimedia Tools and Applications, 69(3):991–1019, 2014.

● Diversificação de Resultados● Recod @ Mediaeval 2015: Diverse social images retrieval. In Working Notes of

the MediaEval 2015 Workshop, Wurzen, Germany, September 14-15, 2015.

● Diversidade e Interatividade● Diversity-driven learning for multimodal image retrieval with relevance

feedback. In IEEE International Conference on Image Processing, pages 2197–2201, 2014.

● Aprendizado Interativo● On Interactive Learning-to-Rank for IR: Overview, Recent Advances,

Challenges, and Directions. Neurocomputing. 2016.

79

Prof. Dr. Rodrigo Tripodi Calumbyrtcalumby@ecomp.uefs.br

Visite: www.rtcalumby.com.br

Desafios em Recuperação de Imagens por Conteúdo