Processamento de Documento Multimídia

Processamento de Documento Multimídia

Ângelo Lima | Juliane Silva | Sebastião Monteiro | Wallace Costa

O que é Multimídia?

“É qualquer informação gravadaem imagem, áudio, vídeoou uma combinação destes,

abrangendo desde fotos até filmes.”

Alguns conceitos importantes...

Metadado é uma abstração do dado, capaz, por exemplo, de indicar se uma determinada base de dados existe, quais são os atributos de uma tabela e suas características, tais como: tamanho e/ou formato.

Métodos Binarização por otsu; WaterShed; Taxa de amostragem.

RI Multimídia?

RI Multimídia?

Antes de pensarmos em recuperação de arquivos multimídia,

Temos que pensar em como indexá-los.E, antes de pensarmos na indexação,

Temos que pensar em quais características indexar.

RI Multimídia?

Então, quais característicasdevemos extrair dos arquivos?

ImagemÁudio

ImagemExtração de Características

Existem 2 formas de selecionar as características de uma imagem:

Pelo seu conceito;

Pelo seu conteúdo.

ImagemExtração de Características – Por Conceito

A técnica por conceito é aquela em que as imagens e os objetos representados são identificados e descritos em termos do que eles são e do que eles representam.

É um processo executado por pessoas (profissionais documenta-listas).

ImagemExtração de Características – Por Conceito

Níveis de AnáliseEsse níveis falam quais as características da ima-gem devem ser selecio-nadas e extraídas.

Leitura do que se vê e leitura do que se interpreta.

ImagemIndexação – Por Conceito

ImagemIndexação – Por Conceito

Tendo extraído essas características das imagens, a indexação é um processo que pode ser efetuado:Pelo uso da linguagem natural;Pelo auxílio de um vocabulário controlado (tessauro).

Que é o que a gente já conhece. :)

ImagemGoogle Images

ImagemExtração de Características – Por Conteúdo

A técnica baseada em conteúdo considera os aspectos da imagem em si, tais como a cor, a forma, a textura.

Esses aspectos são mais eficazmente identificados e extraídos do arquivo por meio de programas de computadores.

ImagemExtração de Características – Por Conteúdo

As imagens têm muitos tipos de atributos que podem ser extraídos, tais como:

A combinação de atributos de cor, textura ou forma; A presença de tipos específicos de objetos; A descrição de um tipo específico de evento; A presença de personalidades, locais ou eventos identificados; Emoções subjetivas associadas à imagem.

mai

s difí

cil d

e se

r res

pond

ido

ImagemExtração de Características – Por Conteúdo

3 níveis de crescentes de complexidade, que compreende a indexação e recuperação pelos atributos:

1. Atributos primários: cor, textura e forma dos elementos da imagem.

2. Atributos derivados: identidade dos objetos mostrados.3. Atributos abstratos: significados das cenas representadas.

mai

s difí

cil d

e se

r res

pond

ido

ImagemExtração de Características – Por Conteúdo

Cor (histograma de cor): mede a distribuição estatística de cores da imagem e a quantidade de pixel existente para cada cor.

ImagemExtração de Características – Por Conteúdo

Textura (filtros de Gabor e as Transformadas de Wavelets): capturam partes da imagem com relação à mudança de direção e escala.

ImagemExtração de Características – Por Conteúdo

Forma (segmentação): recupera a estrutura física dos objetos da imagem.

ImagemIndexação – Por Conteúdo

A indexação é feita com técnicas multidimensionais (Kd, Quad-tree,...).Árvore-R

ImagemGoogle Images

ÁudioExtração de Características e Indexação

2 abordagens:O arquivo é dividido em pequenos segmentos no tempo e

um vetor é calculado para cada segmento.

Único vetor, compreendendo a informação de todo o arquivo.

ÁudioExtração de Características e Indexação

As características são calculadas por meio de métodos de análise de tempo-frequência, como a Transformada de Fourier.

Podendo recuperar ritmo, harmonia por meio de histogramas.

Medidas de Similaridade

“Grau de semelhançaentre os objetos da base

com o objeto da consulta.”

Medidas de Similaridade

Cálculos da distância Menor valor, maior semelhança; Valor = 0, então Igual.

Regras para o cálculo da distância Simetria: d(a,b) = d (b,a); Positivo: 0 ≤ d(a,b) < ∞; Desigualdade Triangular: d(a,b) ≤ d(a,c) + d(c,b).

Medidas de Similaridade

Fórmula da distância

n sendo a dimensão do espaço vetorial; p = 1 – Distância de Manhattan; p = 2 – Distância Euclidiana.

Consultas

Tipos de consultas por similaridade

Consulta por abrangência: retorna todos os objetos que abrangem um certo limite de distância da consulta.

Consulta aos k-vizinhos mais próximos: retorna o número k de objetos mais próximos da consulta.

Consultas

Exemplo de consulta

Aplicações

Reconhecimento de padrões Faces; Impressões digitais; Melodias musicais, etc.

Pesquisa multimídia Servidores de vídeos, etc.

Aplicações

Aplicações

Aplicações

Aplicações

Aplicações

Conclusão

Diversas aplicações; Campo de pesquisa promissora; Reconhecimento de pessoas (rosto, digital, etc); Reconhecimento de fala; Busca de imagens e sons; Parte de um SRI bastante complexa.