Técnicas para Identificação de Manipulações Baseadas em ...rocha/teaching/2010s2/... · Seminários –Análise Forense de Documentos Digitais, 2010 Exposing digital forgeries

Técnicas para Identificação de

Manipulações Baseadas em

Inconsistências do Processo de

Aquisição

Fernando Roberti de Siqueira – 070885

Talita Ferraz Roberti – 086877

Série de Seminários

Disciplina de Análise Forense de

Documentos Digitais

Prof. Dr. Anderson [email protected]

http://www.ic.unicamp.br/~rocha

mailto:[email protected]



Organização

Seminários – Análise Forense de Documentos Digitais, 2010 4

Organização

‣ Introdução

‣ Estado da Arte

‣ Conclusão

Introdução


Introdução

‣ Diversas imagens estão sendo adulteradas e

apresentadas como verdadeiras para incriminar

ou levar as pessoas a acreditar em uma

informação falsa.

‣ A olho nu pode ser muito difícil de determinar se

a imagem foi ou não adulterada.

‣ Algoritmos foram propostos para tentar encontrar

inconsistências em imagens adulteradas e expô-

las.

Seminários – Análise Forense de Documentos Digitais, 2010

Estado da Arte


Estado da Arte

‣ Exposing digital forgeries in color filter array

interpolated images

[Popescu & Farid. 2005]

‣ Detecting doctored images using camera

response normality and consistency

[Lin et al. 2005]


Exposing digital forgeries in CFA

‣ Uma imagem digital consiste de três canais que

contém amostras do espectro de cor, por

exemplo, vermelho, verde e azul.

‣ Na maioria das câmeras, apenas uma cor é

guardada em cada posição de pixel, as outras

duas cores devem ser estimadas de acordo com

seus pixels vizinhos para que seja possível obter

os três canais de cores da imagem.

9



‣ Os autores apresentam diversos modelos de

interpolação de cores como, por exemplo,

combinação linear de um pixel com seus

vizinhos.

10



11

‣ Os autores assumem um modelo linear simples,

onde cada pixel interpolado é correlacionado com

uma soma de diferentes pesos em uma pequena

vizinhança.

‣ Utilizou-se um algoritmo de Maximização da

Esperança (EM) para determinar as amostras

que são correlacionadas com seus vizinhos, e

como estes se relacionam.



12

© A

. P

opescu

© A

. P

ope

scu



13

‣ Nas imagens anteriores, as colunas da esquerda

mostram exemplos de fotos de câmeras que utilizam

os algoritmos de interpolação citados no artigo.

‣ As colunas do meio mostram as probabilidades

estimadas para o canal de cor verde (semelhante

para os canais vermelho e azul).

‣ As colunas da direita mostram a magnitude da

Transformada de Fourier aplicada nos mapas de

probabilidade. Os picos nas imagens correspondem

as correlações periódicas de CFA.



14

‣ Os autores também mostram como utilizar essas

características de interpolação para detectar

inconsistências nas imagens causadas por

falsificações.

© A

. P

ope

scu


Estado da Arte

‣ Exposing digital forgeries in color filter array

interpolated images

[Popescu & Farid. 2005]

‣ Detecting doctored images using camera

response normality and consistency

[Lin et al. 2005]


Detecting doctored images using

camera response

16

‣ Existem muitas maneiras de se alterar uma

imagem sendo, em alguns casos, com objetivos

maliciosos.

‣ Na maioria das vezes é difícil identificar uma

imagem adulterada.



camera response

17

‣ Imagens falsificadas podem ser detectadas em vários níveis.

• No nível mais alto, analisa-se o que está contido na

imagem usando a relação entre os objetos. Como, por

exemplo, Getúlio Vargas não estaria em uma foto com o

D. Pedro II.

• Em um nível intermediário, poderíamos identificar

inconsistências na imagem como tamanho de objetos,

cor, sombra, etc.

• No mais baixo nível, temos características locais como

nível de ruído e qualidade da junção de bordas.



camera response

18

‣ Humanos são bons com os níveis alto e

intermediário. E tem alguma habilidade com o

nível mais baixo.

‣ Computadores são ruins na análise do nível mais

alto, e possuem um bom desempenho nos níveis

intermediário e baixo.



camera response

19

‣ Os autores propõe um novo método para

detecção de imagens falsificadas por meio da

função de resposta da câmera.

‣ Selecionam-se blocos ao longo das bordas da

imagem.

‣ Se a imagem é real, então diferentes blocos

devem possuir a mesma função de resposta.

Caso contrário, a imagem pode ter sido

adulterada.


Função de Resposta da Câmera

20

‣ A função de resposta da câmera é uma função de

mapeamento da irradiância (luz incidente) em um

ponto da imagem para o valor do pixel

correspondente àquele ponto.

‣ Em câmeras com sensor de cor CCD, cada um

dos canais de cor (RGB) possui uma função de

resposta.



21

© S

. Lin



22

‣ Em (a), na figura acima, a primeira e a segunda coluna

de pixels formam uma região de radiância R1, a última

coluna da imagem tem radiância R2, e a terceira coluna

contém pixels da junção das duas regiões.

‣ Em (b), a irradiância das primeiras duas colunas

mapeiam para o ponto I1, enquanto a última coluna

mapeia para I2. A terceira coluna é uma combinação

linear de I1 e I2.

‣ Em (c), a função de resposta da câmera f, transforma o

segmento de reta de (b) em uma curva.



23

‣ Os sensores ópticos funcionam quase linearmente,

contudo os pixels resultantes não são proporcionais

à quantidade de luz incidente. Algumas das razões

para isso seriam:

• A conversão de analógico para digital pode não

ser feita linearmente.

• Possíveis pós-processamentos (correção

Gamma, balanceamento de brancos, etc.), em

câmeras que salvam a imagem em JPEG, TIFF.



24

‣ Computa-se uma aproximação para a função

inversa da resposta da câmera, g = f -1, para mapear

as cores de RGB de volta para a irradiância, de

forma que a relação linear nas bordas é recuperada

da melhor maneira possível.

‣ Para cada bloco de borda da imagem com regiões

de cor M1 e M2. A função inversa g deve mapear a

cor medida em cada ponto p do bloco, de cor Mp,

em uma linha.



25

© S

. Lin



26

‣ A função g satisfaz essa propriedade se a distância

se de g(Mp) até a linha g(M1)g(M2) é zero, formula-

se como:

‣ Onde × é um produto vetorial.



27

‣ Define-se Ω = {<M1, M2, Mp>} como o conjunto de

triplas de cor de um bloco. Para uma imagem, a

distância total é da forma:

‣ Então, tem-se como objetivo a função g que

minimiza a distância total.



28

‣ Para que Ω seja formado é necessário que:

• As áreas das duas regiões particionadas pela borda

(regiões de cores M1 e M2), devem ser as mais

próximas possíveis entre si.

• A variância das cores dentro das regiões deve ser a

menor possível.

• A diferença entre as cores médias das regiões

particionadas pela borda deve ser a maior possível.

• As cores dos pixels dentro da região de borda devem

estar entre M1 e M2.



29

‣ Estes blocos podem ser escolhidos

automaticamente ou por interferência do usuário

em alguma imagem suspeita.

‣ A seleção manual é preferida, pois a seleção

automática pode ignorar blocos em regiões de

oclusão e os resultados podem não ser os

melhores possíveis de acordo com o alto nível.



30

‣ Para realizar a minimização de D(g; Ω), utiliza-se

uma estimativa Bayesiana.

‣ Com base em um conhecimento prévio de função

de resposta de câmeras reais a partir de

Database of Response Functions (DoRF).


DoRF database

31

‣ O DoRF database é um banco de dados

organizado por Michael D. Grossberg & Shree K.

Nayar ([Grossberg & Nayar. DoRF 2003]).

‣ Trata-se de 201 funções de respostas de

câmeras de imagem e vídeo diferentes.


DoRF database

© M

. D

. G

rossberg

32


DoRF database

33

‣ Grossberg & Nayar fizeram uso do algoritmo de

PCA em cima de uma base de treinamento

nomeada como Empirical Model of Response

(EMoR), contendo 175 curvas, as outras 26 foram

deixadas para o conjunto de teste.

‣ Foram escolhidos os auto-vetores associados aos

quatro maiores auto-valores.

‣ Os primeiros três auto-valores correspondiam a

cerca de 99,5% da energia.


DoRF database

34

© M

. D

. G

rossberg



35

‣ Lin et al. utilizaram o mesmo modelo de

Grossberg & Nayar, mas selecionando os auto-

vetores associados aos cinco maiores auto-

valores, formando a matriz H.

‣ Então, representa-se a inversa da função de

resposta, g, como:

g = g0 + cH



36

‣ Onde g0 = [gR0, gG0, gB0]T é a média da inversa da

função de resposta, c = [cR, cG, cB]T é um vetor de

coeficientes que representam a função g em R3×5.

‣ Computa-se então uma estimativa maximum a

posteriori (MAP).


MAP

37

‣ Deseja-se estimar uma população não-observada θ. Se f

é uma distribuição de x então:

‣ É uma função de verossimilhança (likelihood). Assumindo

que uma distribuição a priori g sobre θ existe, tem-se, a

partir de uma aplicação direta do Teorema de Bayes:

‣ Onde argmax de f(x | θ) é a máxima função de

verossimilhança .



38

‣ Então, agora calcula-se a distribuição a priori e a função de

verossimilhança.

‣ Distribuição a priori, obtida através do DoRF database

modelada com uma mistura de modelos Gaussianos, onde

são calculadas K = 5 Gaussianas através de um algoritmo de

EM:

‣ Em que αi define um peso, µi a média e Ʃi a covariância para

a i-ésima Gaussiana.



39

‣ Função de verossimilhança, modelada como uma

exponencial, pois g deve ter um valor baixo de

distância total (Distância é baixa para elementos

com alta similaridade):

‣ Onde λ é uma constante utilizada como 104 e Z é

uma constante de normalização.



40

‣ Aplicando os parâmetros p(g) e p(Ω | g), na

estimativa MAP:

‣ Aplicando log na função, g* pode ser reescrita

como:

‣ Onde g* é a solução ótima de E(g).



41

‣ Finalmente, a minimização é calculada pelo

método de Levenberg-Marquardt.

‣ Após a convergência do algoritmo, o resultado é

refinado utilizando um algoritmo de busca guloso.

‣ Dessa maneira, tem-se calculada uma

aproximação para a inversa da função de

resposta.



camera response

42

‣ As funções de resposta, normalmente, possuem as

seguintes propriedades:

• Devem ser monotonicamente crescentes.

• Após uma suavização, deve ter no máximo um

ponto de inflexão.

• Os três canais de cor devem ser próximos entre

si.

‣ Estas propriedades também valem para as inversas

das funções de resposta.



camera response

43

‣ Então, para avaliar as funções de resposta,

define-se as seguintes funções:



camera response

44

‣ O objetivo é fazer com que os resultados das

funções acima seja mínimo.

‣ fmono penaliza as funções não-monotônicas

crescentes.

‣ ffluc aumenta para funções com mais do que um

ponto de inflexão.

‣ fdiv tenta aproximar os canais de cor entre si o

máximo possível.



camera response

45

‣ Treina-se um classificador SVM utilizando um

vetor 3D (fmono, ffluc, fdiv) da seguinte maneira:

• Positivo – Treinado com exemplos do DoRF

database.

• Negativo – As curvas coletadas pelo algoritmo

em imagens adulteradas.

‣ SVM retorna como resultado o nível de confiança

c.



camera response

46

‣ Quanto maior |c|, maior a confiança.

‣ Um c negativo indica anormalidade, enquanto c

positivo indica normalidade.


Resultados

47

‣ Nas imagens a seguir, serão mostradas

diferentes estratégias de seleção de blocos.

‣ Onde a imagem (a1) é a imagem original e (a2) é

um exemplo de seleção dos blocos.

‣ F, S e B são, respectivamente, objeto, bordas

suspeitas e fundo. E c é a resposta do

classificador SVM.


Resultados

48

© Z

. Lin


Resultados

49©

Z.

Lin


Resultados

50

‣ As imagens a seguir são um exemplo de imagens

adulteradas.

‣ A imagem (b1) é a imagem adulterada.

‣ A imagem (b2) é um exemplo de seleção de

blocos de borda.


Resultados

51

© Z

. Lin


Resultados

52©

Z.

Lin


Resultados

53

‣ Os resultados apresentados abaixo são de

imagens que foram adulteradas utilizando Lazy

Snapping.

‣ Lazy Snapping é uma ferramenta em que o

usuário seleciona o objeto a ser segmentado e o

fundo da imagem próximo ao objeto selecionado.

‣ O fundo foi facilmente detectado como normal e

as regiões de borda foram identificadas como

anormais.


Resultados

54

© Z

. Lin

© Z

. Lin


Resultados

55

© Z

. Lin

© Z

. Lin


Resultados

56

© Z

. Lin

© Z

. Lin


Limitações

57

‣ As imagens devem ter contraste alto para que o

intervalo de cores dos blocos selecionados seja

grande o suficiente.

‣ Também deve conter várias bordas cujas regiões

sejam homogêneas, para uma maior seleção de

blocos.

‣ Ainda assim, o algoritmo pode falhar se a

composição for feita com imagens de uma

mesma câmera.


Limitações

58

‣ Caso a composição da imagem tenha sido feita por

câmeras não documentadas no DoRF, a imagem

pode ser mal analisada.

‣ Deve-se balancear a distribuição dos blocos

selecionados entre objeto, fundo e bordas suspeitas.

‣ Finalmente, se a função de resposta da câmera

variar pela imagem, como acontece com algumas

câmeras (HP photosmart e câmeras utilizando

sensor CMOS), a detecção ficaria comprometida.

Conclusões


Conclusões

60

‣ Os autores apresentam uma interessante

ferramenta de detecção de inconsistências,

possivelmente causadas por adulterações, em uma

imagem através da função de resposta da câmera.

‣ O artigo porém não apresenta muitos resultados,

sendo assim difícil de concluir se o algoritmo

apresentado realmente tem resultados consistentes

em um grande número de imagens.


Conclusões

61

‣ Não são apresentados o volume de dados de

treinamento e teste, bem como o número de falso-

positivos e falso-negativos do algoritmo de

classificação.

‣ É necessária constante intervenção do usuário para

uma maior confiabilidade do algoritmo.

Referências


Referências

1.[Lin et al. 2004] S. Lin, J. Gu, S. Yamazaki, and H.-Y. Shum. (2004). Radiometric Calibration from a

Single Image. In Proceedings of CVPR , pp. 938-945.

2.[Grossberg & Nayar. 2003] M.D. Grossberg and S.K. Nayar. (2003). What Is the Space of Camera

Response Functions? In Proceedings of CVPR, pp.II: 602-609.

3.[Lin et al. 2005] Z. Lin, R. Wang, X. Tang, and H.-Y. Shum. (2005). Detecting doctored images using

camera response normality and consistency. In Intl. Conference on Computer Vision and Pattern

Recognition (CVPR), New York, USA.

4.[Popescu & Farid. 2005] Alin C. Popescu and Hany Farid. (2005) Exposing digital forgeries in color filter

array interpolated images. IEEE Transactions on Signal Processing (TSP), 53(10):3948-3959.

5.[Grossberg & Nayar. 2004] Michael D. Grossberg and Shree K. Nayar. (2004). Modeling the Space of

Camera Response Functions. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 26, no.

10.

6.[Grossberg & Nayar. DoRF 2003] Michael D. Grossberg and Shree K. Nayar. (2003). DoRF database.

http://www.cs.columbia.edu/CAVE/software/softlib/dorf.php

Obrigado!

Documents

Técnicas para Identificação de Manipulações Baseadas em ...rocha/teaching/2010s2/... · Seminários –Análise Forense de Documentos Digitais, 2010 Exposing digital forgeries