Processamento de ImagensCOS756 / COC603aula 02 - cameras digitais

Antonio OliveiraRicardo Marroquim

1 / 1

aula de hoje

camera digitais

overview

modelo de cameracapturando imagensruıdoprocessamento ...

2 / 1

formando uma imagem

modelo pinhole

f

plano daimagem

3 / 1

formando uma imagem

lentes

qual o motivo principal para usar lentes?

mais luz em menos tempo de exposicao

foco

ajusta posicao do plano de imagem

4 / 1

formando uma imagem

lentes

qual o motivo principal para usar lentes?

mais luz em menos tempo de exposicao

foco

ajusta posicao do plano de imagem

4 / 1

formando uma imagem

lentes

qual o motivo principal para usar lentes?

mais luz em menos tempo de exposicao

foco

ajusta posicao do plano de imagem

4 / 1

formando uma imagem

camera reflex

obturador

filme

prisma

visor

espelho

5 / 1

capturando intensidade de luz

sensores

CCD (charged-coupled device)

tecnologia mais madurafacil de produzir e mais compacto

CMOS (complimentary metal oxide)

mais baratomaior custo para o design

http://www.whatdigitalcamera.com/techniques/features/guides/494429/sensors-explained.html

6 / 1

capturando intensidade de luz

sensores

array de photosite

somente uma parte e sensıvel a luz (fotodiodo)ou seja, nao cobre toda celula (pode chegar a somente 30% da area)o resto e utilizado para circuitos eletronicos

tamanho de um photosite

∼5-8 microns2 para DLSR∼2 microns2 para compactpodendo ser menor ainda para celulares

7 / 1

capturando intensidade de luz

sensores

camada de micro-lentes

convergir a luz para a parte sensıvel da celula

8 / 1

capturando intensidade de luz

sensores

camada de micro-lentes

outra visao

9 / 1

capturando intensidade de luz

sensores

poco de potencial

foton bate no sensor que gera eletronsarmazena quantidade de eletrons gerada

ADC

converte do sinal analogico para digital

10 / 1

ruıdo

corrente negra (ruıdo espontaneo)

atividade dos eletrons nos sensores mesmo sem receber luz

aumenta com a temperatura

possui um fator aleatorio

tratando corrente negra

mecanismo geralmente utilizado pelas cameras

bloqueia alguns sensores e realiza a media de seus valores

subtrai dos outros pixels

um dos motivos nao se alcanca a resolucao de pixels

11 / 1

ruıdo

corrente negra (ruıdo espontaneo)

atividade dos eletrons nos sensores mesmo sem receber luz

aumenta com a temperatura

possui um fator aleatorio

tratando corrente negra

mecanismo geralmente utilizado pelas cameras

bloqueia alguns sensores e realiza a media de seus valores

subtrai dos outros pixels

um dos motivos nao se alcanca a resolucao de pixels

11 / 1

ruıdo

blooming (overflow)

poco de potencial enche e vaza para vizinhos

cameras geralmente tratam isso com circuitos “ladrao”

sinal-ruıdo

capacidade do poco

DSLR ∼ 100.000 eletronscompact ∼ 10.000 eletronscorrente negra ∼ 10 eletrons

relacao sinal-ruıdo

DSLR → 10.000:1compact → 1.000:1

olho humano

detecta um unico fotonmas sinal so e enviado ao cerebro quando passa de um limite mınimo

12 / 1

ruıdo

blooming (overflow)

poco de potencial enche e vaza para vizinhos

cameras geralmente tratam isso com circuitos “ladrao”

sinal-ruıdo

capacidade do poco

DSLR ∼ 100.000 eletronscompact ∼ 10.000 eletronscorrente negra ∼ 10 eletrons

relacao sinal-ruıdo

DSLR → 10.000:1compact → 1.000:1

olho humano

detecta um unico fotonmas sinal so e enviado ao cerebro quando passa de um limite mınimo

12 / 1

sensores

iso

em filmes, define a granularidade

digital, define o ganho

aumentando o ganho aumenta tambem o ruıdo espontaneofator ruıdo tambem depende do tamanho do sensor

sensores maiores absorvem mais luz por photositeou seja, menos ruıdo

13 / 1

sensores

comparando

Nikon D80

10.0 MP (efetivos)10.8 MP (sensor)23.6 x 15.8 mm, 3.72 cm2

Nikon Coolpix S8000

14.2 MP (efetivos)14.8 MP (sensor)6.18 x 4.55 mm, 0.28 cm2

http://www.cambridgeincolour.com/tutorials/digital-camera-sensor-size.htm

14 / 1

cores

sensores

sao monocromaticos

detectam apenas intensidade de luz

como produzir uma foto colorida?

15 / 1

cores

sensores

sao monocromaticos

detectam apenas intensidade de luz

como produzir uma foto colorida?

15 / 1

cores

3CCD

divide o raio em tres fechos (RGB) direcionados para 3 CCDs

depois combina os tres sensores para gerar um imagem RGB

16 / 1

cores

3CCD

melhor fidelidade das cores

e encontrado em algumas cameras de vıdeo

por que nao existem DSLR com 3CCD?

problemas

custo

precisa de espaco fısico

17 / 1

cores

3CCD

melhor fidelidade das cores

e encontrado em algumas cameras de vıdeo

por que nao existem DSLR com 3CCD?

problemas

custo

precisa de espaco fısico

17 / 1

cores

Foveon X3

tres camadas de sensores

silicone absorve comprimentos de ondas em diferentes profundidades

mesma filosofia dos filmes antigos

18 / 1

cores

padrao de Bayer

ainda o mais comum (quase todas cameras digitais)

cada sensor absorve um comprimento de onda

filtro com um padrao especıfico

19 / 1

cores

http://www.cambridgeincolour.com/tutorials/camera-sensors.htm

20 / 1

cores

padrao de Bayer

o que se pode observar por esta figura?

mais sensores G do que R e Bpor que?

21 / 1

cores

padrao de Bayer

o que se pode observar por esta figura?

mais sensores G do que R e Bpor que?

21 / 1

cores

demosaicing

interpolar valores dos sensores adjacentes

para cada posicao, gerar um valor RGB

exemplo simples: interpolacao bilinear

pixel vermelho

R = RG = (G1 + G2 + G3 + G4) / 4B = (B1 + B2 + B3 + B4) / 4

pixel azul de forma analogapixel verde

G = GR = (R1 + R2) / 2B = (B1 + B2) / 2

22 / 1

cores

demosaicing

interpolar valores dos sensores adjacentes

para cada posicao, gerar um valor RGB

exemplo simples: interpolacao bilinearpixel vermelho

R = RG = (G1 + G2 + G3 + G4) / 4B = (B1 + B2 + B3 + B4) / 4

pixel azul de forma analogapixel verde

G = GR = (R1 + R2) / 2B = (B1 + B2) / 2

22 / 1

cores

demosaicing

interpolar valores dos sensores adjacentes

para cada posicao, gerar um valor RGB

exemplo simples: interpolacao bilinearpixel vermelho

R = RG = (G1 + G2 + G3 + G4) / 4B = (B1 + B2 + B3 + B4) / 4

pixel azul de forma analoga

pixel verde

G = GR = (R1 + R2) / 2B = (B1 + B2) / 2

22 / 1

cores

demosaicing

interpolar valores dos sensores adjacentes

para cada posicao, gerar um valor RGB

exemplo simples: interpolacao bilinearpixel vermelho

R = RG = (G1 + G2 + G3 + G4) / 4B = (B1 + B2 + B3 + B4) / 4

pixel azul de forma analogapixel verde

G = GR = (R1 + R2) / 2B = (B1 + B2) / 2

22 / 1

cores

demosaicing

uma solucao um pouco melhor

“High-Quality Linear Interpolation for Demosaicing ofBayer-Patterned Collor Images”Henrique S. Malvar, Li-wei He, and Ross CutlerMicrosoft Research

ideia

utiliza o proprio canal do pixel quando for calcular os outros doisex. utiliza o canal R em um pixel R quando for calcular G

23 / 1

cores

Malvar et al.

ex. calculando G em um canal R

g(i , j) = gBL(i , j) + α∆R(i , j)

onde ∆R(i , j) e o gradiente de R em (i , j)

∆R(i , j) = r(i , j)− 1

4

∑r(i + m, j + n)

(m, n) = {(0, 2), (0, 2), (2, 0), (2, 0)}

24 / 1

cores

Malvar et al.

interpolando R em pixels G e B

r(i , j) = rBL(i , j) + β∆G (i , j)

r(i , j) = rBL(i , j) + γ∆B(i , j)

com valores fixos para α = 12 ;β = 5

8 ; γ = 34

25 / 1

cores

original

bilinear

Malvar et al.

26 / 1

cores

demosaicing

isso explica porque as vezes aparecem cores na imagem final que naoexistem na cena

qual algoritmo de demosaicing utiliza a sua camera digital?

difıcil saber, geralmente e um segredo das fabricantes

27 / 1

cores

demosaicing

isso explica porque as vezes aparecem cores na imagem final que naoexistem na cena

qual algoritmo de demosaicing utiliza a sua camera digital?

difıcil saber, geralmente e um segredo das fabricantes

27 / 1

cores

demosaicing

isso explica porque as vezes aparecem cores na imagem final que naoexistem na cena

qual algoritmo de demosaicing utiliza a sua camera digital?

difıcil saber, geralmente e um segredo das fabricantes

27 / 1

cores

profundidade

quantos bits para representar em formato digital

geralmente 8 bits por canal (24 bits)

algumas DSLR 12-16 bits por canal

relacionado com a definicao dos tons

dynamic range

nao e relacionado com quantidade de bits

e sim com capacidade do sensor

capacidade do poco menos nıvel de ruıdo

28 / 1

cores

profundidade

quantos bits para representar em formato digital

geralmente 8 bits por canal (24 bits)

algumas DSLR 12-16 bits por canal

relacionado com a definicao dos tons

dynamic range

nao e relacionado com quantidade de bits

e sim com capacidade do sensor

capacidade do poco menos nıvel de ruıdo

28 / 1

anti-aliasing

ideal

aliased

anti-aliased

http://www.cambridgeincolour.com/tutorials/image-interpolation.htm

29 / 1

pos-processamento

white-balance

ajuste da temperatura da cor

ufraw

JPG

compressao

30 / 1