An lise Forense de Documentos Digitaisrocha/teaching/2012s2/mo447/... · 2012-11-06 · Autenticação de Imagens ‣[Avcibas et al. 2006] apresentam uma técnica baseada em Aprendizado

Prof. Dr. Anderson [email protected]

http://www.ic.unicamp.br/~rocha

Reasoning for Complex Data (RECOD) Lab.Institute of Computing, Unicamp

Av. Albert Einstein, 1251 - Cidade UniversitáriaCEP 13083-970 • Campinas/SP - Brasil

Análise Forense deDocumentos Digitais

mailto:[email protected]

mailto:[email protected]



Organização

View from the window at Le Gras – Joseph Niepce (GoogleGram)

A. Rocha, 2012 – Análise Forense de Documentos Digitais

Organização

‣ Recap.

‣ Autenticação de Imagens

‣ Thumbnails

3

‣ Como estimar um Thumbnail?

‣ Experimentos & Validação

‣ Considerações Finais

Recap.!


Recap.!

‣ O que é Computação Forense Digital?

5

É o conjunto de técnicas científicas para a preservação, coleção, validação, identificação, análise, interpretação, documentação e apresentação de evidências derivadas de meios digitais com a finalidade de facilitar e/ou permitir a reconstrução de eventos, usualmente de natureza criminal

Edward Delp – Purdue University

“

”


Recap.!

‣ O que é Análise Forense Digital?

• Campo de Pesquisas dentro da Computação Forense

• Objetivos

‣ Atribuição de origem

‣ Verificação de autenticidade

‣ Reconstrução de eventos de manipulação

6


Recap.!

‣ Com relação à Análise Forense de Documentos (AFD), já vimos (top-down)

• Métodos para atribuição (Modelo e Específico)

• Identificação de Criações Sintéticas

‣ Algumas abordagens para identificação de adulterações em documentos

7

Autenticação de Imagens



‣ O que é autenticação?

‣ Podemos fazê-lo via Watermarks?

‣ Quais as implicações (pros/cons)?

9



‣ Imagens digitais, vídeos e gravações de audio estão cada vez mais presentes como evidências em uma corte de justiça

‣ Nestes casos, a integridade das evidências é crucial

10



‣ Diversas abordagens tem sido propostas na literatura para AFD

• Detecção de Cópia/Colagem

• Inconsistências de Aquisição, Iluminação, de Estrutura etc.

‣ Métodos voltados à detecção de manipulações, atribuição de fonte e identificação de criações sintéticas

11



‣ Agora estamos interessados em um outro problema

• Queremos apontar se uma dada imagem é ou não autêntica

• Nesse cenário, a presença de qualquer modificação na imagem a leva à perda de sua autenticidade

12



‣ [Avcibas et al. 2006] apresentam uma técnica baseada em Aprendizado de Máquina e combinação de diversos descritores

• Métricas de Qualidade de Imagem (IQM)

• Métricas de Similaridade entre Planos de Bits (BSMs)

• Descritores Wavelet de Alta Ordem (HOWS)

13



‣ [Kee & Farid 2010] apresentam uma técnica baseada em propriedades relacionadas ao processo de formação e armazenamento de thumbnails de imagens JPEG

14



‣ O que é um thumbnail?

• Representação pictórica de uma imagem de maior resolução

• Tipicamente de 160x120 pixels

• Armazenado junto com a imagem

15



‣ [Kee & Farid 2010] modelam a criação de um thumbnail com uma série de operações de filtragem, ajuste de contraste e compressão

‣ Os autores apresentam uma abordagem para estimar os parâmetros de geração dos thumbnails de forma automática

16



‣ Qual o interesse nisso?

• Tais parâmetros, embora não únicos, são diferentes entre modelos diferentes de câmeras e pacotes de software de edição

• Desse forma, podem ser usados como uma assinatura para autenticação de imagens

17

Thumbnails


Thumbnails

‣ Dada uma imagem podemos criar um thumbnail desta em seis passos

1. Recorte

2. Pré-Filtragem

3. Reamostragem (Down-Sampling)

4. Pós-Filtragem

5. Ajuste de Brilho/Contraste

6. Compressão JPEG

19

f(x, y)


Thumbnails

‣ Se a resolução da imagem original tem uma razão de aspecto diferente, fazemos recorte ou preenchimento com zeros (padding) de acordo

‣ A quantidade de recorte/padding à esq, dir, acima e abaixo é dada por quatro parâmetros

‣

‣ Valor + (padding), Valor – (recorte)

20

cl, cr, ct, cb


Thumbnails

‣ Denotando por a imagem original recortada, os próximos quatro passos de processamento são dados por:

21

f̂(x, y)

t(x, y) = �⇣D{f̂(x, y) ⇤ h1(x, y)} ⇤ h2(x, y)

⌘+ ⇥

Thumbnail

Contraste

Downsampling

ImagemRecortada

Convolução

Pré-Filtro

Pós-Filtro

Brilho


Thumbnails

‣ Normalmente,

• Pré-Filtro é um filtro de passa-baixas para evitar efeitos de aliasing antes da compressão (e.g., distorções, padrão de Moiré etc.)

• Pós-Filtro é um filtro de realce (Sharpening)

22


Thumbnails

23

Reamostragem comArtefato de Moiré

© W

ikim

edia

Com

mon

s

© W

ikim

edia

Com

mon

s


Thumbnails

24

Filtro de Realce (Sharpening)

© A

. Roc

ha


Thumbnails

‣ No último passo, fazemos a compressão JPEG do thumbnail gerado

‣ Na prática, fazemos algumas suposições para simplificar o modelo

25


Thumbnails

‣ Assumimos que:

• O pré-filtro Gaussiano circular simétrico

• Pré-filtro é unitário com soma 1

• O pós-filtro tem tamanho 3x3

26

exp(�(x2 + y2)/�2)


Thumbnails

‣ Assumimos que:

• Pós-Filtro é simétrico

o que resulta no filtro (aba; bcb; aba)

• Pós-Filtro é unitário com soma 1 restrito a

27

h2(x, y) = h2(�x, y) e h2(x, y) = h2(x,�y)

c = 1� (4a+ 4b)


Thumbnails

‣ Com estas restrições, um thumbnail é especificado por 11 parâmetros de processamento

• 2 para o tamanho do thumbnail

• 4 para recorte/padding

• 1 para pré-filtro

• 2 para pós-filtro

• 2 para brilho/contraste

28


Thumbnails

‣ Adicionalmente, usamos 128 parâmetros para a compressão JPEG

• 64 (8x8) luminância

• 64 (8x8) crominância – os autores assumem que os dois canais de crominância têm a mesma tabela de quantização JPEG

29

Como estimar um Thumbnail?



‣ O primeiro passo na construção de um thumbnail, consiste em gerar um retângulo delimitador relativo à imagem em alta resolução

‣ Isso é feito a partir de operações de translação e escala anisotrópicas sobre o retângulo delimitador tal que a imagem recortada e reamostrada seja compatível com o thumbnail extraído da imagem de alta resolução

31



‣ Para os parâmetros de recorte, primeiro geramos um retângulo delimitador com a mesma razão de aspecto do thumbnail extraído

‣ Redimensionamos tal retângulo de modo que este englobe a imagem em sua maior dimensão

32



‣ A imagem de alta resolução é então cortada de acordo com este retângulo delimitador, padded e downsampled para gerar o thumbnail inicial

‣ A razão de reamostragem (D) é:

‣ N e n referem-se às dimensões da imagem e do thumbnail respectivamente

33

t̂0(x, y) = D{f̂0(x, y)}

max

✓N

x

nx

,N

y

ny

◆



‣ O thumbnail inicial sofre escala e translação anisotrópicas para fazer o match com o thumbnail real extraído da imagem de alta resolução

‣ Para o match, usamos registro de imagens

34

t(x, y) = t̂0(sxx+�x

, s

y

y +�y

)

Escala Translação



‣ Após o registro, descobrimos os parâmetros de escala e translação a serem aplicados à imagem de alta resolução

35

© K

ee &

Far

id



‣ Após a estimativa dos parâmetros de recorte e redimensionamento, precisamos estimar os parâmetros dos filtros (pré e pós) e os ajustes de brilho e contraste

‣ Função definida em termos dos filtros e não do brilho e contraste

36

E1(h1, h2) =X

x,y

ht(x, y)� �

⇣D{f̂(x, y) ⇤ h1(x, y)} ⇤ h2(x, y)

⌘� ⇥

i2



‣ Dado um par de filtros, estimamos o brilho e contraste minimizando a seguinte função

onde

37

E2(�,⇥) =X

x,y

⇥t(x, y)� (�t̂

h

(x, y) + ⇥)⇤2

t̂h(x, y) = D{f̂(x, y) � h1(x, y)} � h2(x, y)



‣ Para minimizar E1, usamos força bruta no espaço de parâmetros

‣ Em cada passo de E1, minimizamos E2 analiticamente

38



‣ Finalmente, as dimensões do thumbnail real e os 128 parâmetros de compressão são extraídos do cabeçalho JPEG diretamente

‣ Dado que o thumbnail original t foi comprimido com esses parâmetros, precisamos, também, comprimir nossas estimativas

39



‣ Especificamente,

• é comprimido antes de fazermos a estimativa dos parâmetros de escala e translação

• é comprimido antes de fazermos a estimativa de brilho e contraste

40

t̂0(·)

t̂h(·)



41

© K

ee &

Far

id

Experimentos& Validação


Experimentos & Validação

‣ 1.514 imagens não modificadas do Flickr

‣ Não modificada significa

• Classificadas como originais pelo Flickr

• Datas de criação/modificação consistentes

• Metadados não modificados/removidos

• Metadado “software” vazio

43



‣ 1.514 imagens compreendem 142 câmeras (marcas e modelos diferentes)

‣ Câmeras do mesmo modelo e fabricante, às vezes, variam o tamanho dos thumbnails bem como suas tabelas de quantização (e.g., versões diferentes de firmware)

44



‣ Essas variações afetam o cálculo dos parâmetros

‣ Dessa forma, as 1514 imagens são particionadas em 245 classes de câmeras (classes de equivalência)

• Mesmo fabricante/modelo

• Mesmas características para tabela de quantização e tamanho dos thumbnails

45



‣ Primeiro calculam-se os parâmetros para uma imagem representativa de cada classe

‣ Pré- e Pós-filtro bem como Brilho e Contraste são calculados for força-bruta

‣ Pré-filtro: [0.005, 1], 20 passos iguais

‣ Pós-filtro: [-0,5, 0,5], 11 passos iguais

‣ Brilho e contraste calculados analiticamente

46



‣ Em seguida, avalia-se o quanto esses parâmetros são consistentes para identificar/diferenciar imagens dentro de uma mesma classe e entre classes

‣ Os parâmetros de thumbnail para uma classe de câmera são dados pela média dos limites de recorte, pré- e pós-filtros e pela média dos valores de brilho/contraste de todas as imagens em uma classe

47



‣ O tamanho do thumbnail e a tabela de quantização são os mesmos para todas as imagens em uma classe (por construção)

‣ Dois modelos de thumbnail são considerados equivalentes se seus parâmetros são iguais a menos um pequeno limiar de diferença

48



49

Esquerda: Probabilidade de uma câmera estar em uma classe de equivalência de um determinado tamanho.

Direita: número de classes de equivalência de um determinado tamanho.

Linha #1: distribuições considerando todos os parâmetros do thumbnail (40.8% das câmeras tem parâmetros únicos, ou seja, tem classe de equivalência de #1)

Linha #2: distribuições considerando apenas o tamanho do thumbnail e a tabela de quantização (23.7% das câmeras tem parâmetros únicos).

© Kee & Farid



50

Esquerda: Probabilidade de uma câmera estar em uma classe de equivalência de um determinado tamanho.

Direita: CDF

Linha #1: distribuições considerando todos os parâmetros do thumbnail mais a resolução da imagem (72.2% das câmeras tem parâmetros únicos, ou seja, tem classe de equivalência de #1)

Linha #2: distribuições considerando apenas o tamanho da imagem e a tabela de quantização (40.4% das câmeras tem parâmetros únicos).

© Kee & Farid



‣ Para testar ainda mais a abordagem, os autores analisam também os thumbnails gerados pelo Adobe Photoshop CS3

‣ Algumas imagens são salvas com 13 parâmetros diferentes de compressão

‣ Os parâmetros são estimados e comparados às 245 classes que equivalência

51



‣ Nenhum dos parâmetros dos thumbnails gerados no Photoshop são compartilhados por quaisquer das 245 classes

‣ O mesmo ocorre para as tabelas de quantização da imagem e do thumbnail

‣ Assinatura bastante discriminativa

52

ConsideraçõesFinais


Considerações Finais

‣ Parâmetros relativos aos thumbnails podem ser efetivamente usados para autenticação de imagens

‣ Melhores resultados são obtidos quando combinados aos parâmetros de compressão e de tamanho da imagem original

54



‣ A efetividade da abordagem depende

• da uma boa geração da biblioteca de thumbnails e parâmetros de imagens

• grande coleção de imagens

‣ Autores estão trabalhando em um conjunto de 1.2M imagens originais

55



‣ Alguém se interessa em implementar essa abordagem para o trabalho prático?

‣ Potencial de publicação é alto

56

Referências


Referências

1. [Avcibas et al. 2006] Avcibas, I., Bayram, Sankur, B., S., Memon, N., (2006). Image manipulation detection. In Journal of Electronic Imaging (JEI), 15(4):1–17.

2. [Kee & Farid 2010] Kee, E., Farid, H., (2010). Digital Image Authentication from Thumbnails. In SPIE Symposium on Electronic Imaging (SEI), pp. 1–10, San Jose, USA.

58

View from the window at Le Gras – Joseph Niepce (GoogleGram)

Obrigado!

Documents

An lise Forense de Documentos Digitaisrocha/teaching/2012s2/mo447/... · 2012-11-06 · Autenticação de Imagens ‣[Avcibas et al. 2006] apresentam uma técnica baseada em Aprendizado