Processamento de Imagens

Processamento de Processamento de Imagens Imagens

Marcelo Bernardes VieiraMarcelo Bernardes Vieira

http://www.impa.br/~mbvieira/IMCA

IMPA – Instituto de Matemática Pura e AplicadaIMCA – Instituto de Matemática y Ciencias Afines

Referências geraisReferências gerais

Computação Gráfica: ImagemComputação Gráfica: Imagem Jonas Gomes e Luiz VelhoJonas Gomes e Luiz Velho 2a edição – IMPA2a edição – IMPA

Digital Image ProcessingDigital Image Processing Rafael C. Gonzalez e Richard E. WoodsRafael C. Gonzalez e Richard E. Woods

CursosCursos Fourier transform to Wavelets Fourier transform to Wavelets

(Siggraph)(Siggraph)

CalendárioCalendário

29/11: 29/11: definiçãodefinição Fundamentos de corFundamentos de cor Sistemas de corSistemas de cor Imagem digitalImagem digital

30/11: 30/11: representaçãorepresentação Representação de sinaisRepresentação de sinais Teoria da amostragemTeoria da amostragem


1/12: 1/12: filtragemfiltragem Introdução aos filtros digitaisIntrodução aos filtros digitais Filtragem de imagensFiltragem de imagens

2/12: 2/12: análiseanálise Análise tempo-frequênciaAnálise tempo-frequência Transformada de waveletsTransformada de wavelets


3/12: 3/12: teoria da informaçãoteoria da informação Introdução à compressão de imagensIntrodução à compressão de imagens Elementos de teoria da informaçãoElementos de teoria da informação

6/12: 6/12: compressãocompressão Compressão livre de erroCompressão livre de erro Compressão JPEG, JPEG2000Compressão JPEG, JPEG2000


7/12: 7/12: quantizaçãoquantização 8/12: 8/12: ditheringdithering 9/12: 9/12: composição de composição de

imagensimagens 10/12: 10/12: avaliaçãoavaliação

Prof. Luiz Velho

Fundamentos de corFundamentos de cor



Estudo da corEstudo da cor

Cor é uma manifestação perceptual da luzCor é uma manifestação perceptual da luz Processo psicofísico: sensoriamento de sinais Processo psicofísico: sensoriamento de sinais

eletromagnéticos intermediado pelo sofisticado eletromagnéticos intermediado pelo sofisticado sistema visual humano.sistema visual humano.

Estudo da corEstudo da cor Física da corFísica da cor Modelos matemáticos da corModelos matemáticos da cor Representação da corRepresentação da cor Codificação da corCodificação da cor

Física da corFísica da cor

Fótons se deslocam a uma velocidade Fótons se deslocam a uma velocidade constante constante c c e a onda associada tem uma e a onda associada tem uma freqüência freqüência f.f.

Freqüência e velocidade definem o Freqüência e velocidade definem o comprimento de ondacomprimento de onda: : f = cf = c

Quando os fótons encontram a retina, Quando os fótons encontram a retina, impulsos elétricos são gerados que, impulsos elétricos são gerados que, durante seu caminho até o cérebro, são durante seu caminho até o cérebro, são traduzidos em percepção de cor.traduzidos em percepção de cor.

Física da corFísica da cor

Do ponto de vista perceptual, os Do ponto de vista perceptual, os diferentes comprimentos de diferentes comprimentos de onda estão associados a onda estão associados a diferentes cores.diferentes cores.

Espectro visível: 380 a 780 nm Espectro visível: 380 a 780 nm (10e-9m)(10e-9m)

Violeta: 380 – 440 nmVioleta: 380 – 440 nm Azul: 440 – 490 nmAzul: 440 – 490 nm Verde: 490 – 565 nmVerde: 490 – 565 nm Amarelo: 565 -590 nmAmarelo: 565 -590 nm Laranja: 590 – 630 nmLaranja: 590 – 630 nm Vermelho: 630 – 780 nmVermelho: 630 – 780 nm

Formação da corFormação da cor

Percepção de processos químicos e Percepção de processos químicos e físicos diversos. Os processos mais físicos diversos. Os processos mais importantes são importantes são aditivo, subtrativo aditivo, subtrativo e e de de pigmentação.pigmentação.

Processo aditivo:Processo aditivo:


Processo subtrativoProcesso subtrativo: a luz que : a luz que recebemos é processada por um recebemos é processada por um filtrofiltro, , material sólido transparente, ou através material sólido transparente, ou através de um de um corantecorante, que absorve , que absorve determinados comprimentos de onda e determinados comprimentos de onda e transmite outros.transmite outros.


Formação por pigmentaçãoFormação por pigmentação: : quando um raio luminoso atinge quando um raio luminoso atinge partículas chamadas partículas chamadas pigmentospigmentos, há , há um efeito de espalhamento com um efeito de espalhamento com fenômenos sucessivos e simultâneos fenômenos sucessivos e simultâneos de reflexão, transmissão e absorção de reflexão, transmissão e absorção entre os diversos pigmentos.entre os diversos pigmentos.

Modelo de representação da Modelo de representação da corcor

O modelo espacial do sinal de cor O modelo espacial do sinal de cor associa cada comprimento de onda a associa cada comprimento de onda a uma medida de energia radiante: uma medida de energia radiante: distribuição espectral.distribuição espectral.

Fontes de luzFontes de luz

Luz brancaLuz branca

Luz coloridaLuz colorida

100

400 500 600 7000

50

m

E

400 500 600 7000

50

100

m

E comprimento de onda dominante

define a matiz (hue)

Fontes de luzFontes de luz

400 500 600 700

m

E

matiz (hue)

comprimento de onda dominante

define a matiz (hue)

400 500 600 700

m

E

brilho (brightness)

intensidadedefine o brilho

(brightness)

400 500 600 700

m

E

saturação

a concentração no comprimento de onda dominante

define asaturação ou pureza

ObjetivoObjetivo

Definir matematicamente um Definir matematicamente um sistema de amostragem e sistema de amostragem e reconstrução de cor.reconstrução de cor.

Sistema físico de Sistema físico de amostragem de coramostragem de cor

Consiste de um número finito de Consiste de um número finito de sensoressensores s s11, s, s22, ..., s, ..., snn = filtros do = filtros do sinal luminoso.sinal luminoso.

Cada sensor possui uma resposta Cada sensor possui uma resposta espectral sespectral sii(()) Cor resultante: CCor resultante: Cii= = ∫∫ C( C() S) Sii(() d) d Ideal: CIdeal: Cii= = ∫∫ C( C() ) δδ(( - - ii) d) d

Define uma transf. linear: R:Define uma transf. linear: R: єє → R→ Rnn

Metamerismo: R(CMetamerismo: R(C11) = R(C) = R(C22))

Sistema de reconstrução de Sistema de reconstrução de corcor

Consiste de um número finito de Consiste de um número finito de emissoresemissores e e11, e, e22, ..., e, ..., enn..

Cada sensor gera uma cor com Cada sensor gera uma cor com distribuição espectral Pdistribuição espectral Pii(() (primária) ) (primária) forma uma base de um forma uma base de um espaço de cor.espaço de cor. Processo aditivo: CProcesso aditivo: Crr(() = ) = ΣΣ C Ckk P Pkk(() )

Define uma transf. linear: R: Define uma transf. linear: R: єє → Rn → Rn Metamerismo: R(C1) = R(C2)Metamerismo: R(C1) = R(C2)

O olho humanoO olho humano

Função de reconstrução de Função de reconstrução de corcor

As curvas de resposta espectral de As curvas de resposta espectral de um sistema físico de amostragem um sistema físico de amostragem são difíceis de se calcular.são difíceis de se calcular.

Função de reconstrução de cor:Função de reconstrução de cor: TTkk(C) = (C) = ∫∫ C( C() C) Ckk(() d) d = componente = componente

da cor associada à primária Pda cor associada à primária Pkk(() )

Representação CIE-RGBRepresentação CIE-RGB

Luz branca:

Luz de teste:

Luzes primárias:

Anteparos

11=436nm=436nm22=546nm=546nm33=700nm=700nm

Representação CIE-RGBRepresentação CIE-RGB

- 0.2

0

0.2

0.4

400 500 600 700

438

nm

546

nm

(m)

Val

ore

s d

os

tri-

esim

ulo

s

r)

r)

g)

b)

C) = r) R + gG + bB

Diagrama de cor CIE-RGBDiagrama de cor CIE-RGB

Curva de resposta espectral Curva de resposta espectral médiamédia

Dado um sistema físico de amostragem de Dado um sistema físico de amostragem de cor com sensores scor com sensores s11, s, s22, ..., s, ..., snn essa curva é: essa curva é: V(V() = ) = ΣΣ s sii S Sii(() , si são constantes.) , si são constantes. Para o olho humano essa curva é chamada de Para o olho humano essa curva é chamada de

função de função de eficiência luminosa relativaeficiência luminosa relativa

LuminânciaLuminância

É a grandeza colorimétrica que corresponde É a grandeza colorimétrica que corresponde aos termos perceptuais de brilho aos termos perceptuais de brilho (emissores) ou luminosidade (refletores)(emissores) ou luminosidade (refletores) L(L() = k ) = k ∫∫ C( C() V() V() d) d , k é constante , k é constante

A percepção de cor pelo olho humano é A percepção de cor pelo olho humano é dividida na fase de dividida na fase de captação captação ee combinação. combinação. São combinados na forma L-M, H – (L+M), L+M.São combinados na forma L-M, H – (L+M), L+M. O canal B para luminância é desprezível=> Y = O canal B para luminância é desprezível=> Y =

R+GR+G Os outros termos (crominância) são (R-G) e (B-Y)Os outros termos (crominância) são (R-G) e (B-Y)

Sistemas de corSistemas de cor



Triângulo de MaxwellTriângulo de Maxwell Chamamos de Chamamos de plano de crominânciaplano de crominância

ou ou plano de Maxwellplano de Maxwell o plano x+y+z o plano x+y+z =1. =1.

(x,y,z) são os componentes de cor de (x,y,z) são os componentes de cor de um sistema com três primáriasum sistema com três primárias

L(sL(s)) = s L())

Sólido de corSólido de cor

O conjunto de todas as cores possíveis O conjunto de todas as cores possíveis formam um cone convexo = sólido de formam um cone convexo = sólido de corcor Combinação convexa de duas distribuições Combinação convexa de duas distribuições

espectrais é uma distribuição espectralespectrais é uma distribuição espectral Cada distribuição corresponde a um único Cada distribuição corresponde a um único

ponto no espaço de corponto no espaço de cor O espaço de cor é o conjunto de retas que O espaço de cor é o conjunto de retas que

passam pela origempassam pela origem

Padrão CIE-RGBPadrão CIE-RGB

L(C) = 0,176R + 0.81G + 0.011BL(C) = 0,176R + 0.81G + 0.011B L(C(L(C()) = )) = ΣΣ a aii L(P( L(P()) ))

Padrão CIE-XYZPadrão CIE-XYZFunções de reconstrução XYZ

1) As componentes devem ser positivas2) Deve-se obter o maior numero possível de cores com coord. nulas3) Duas primárias devem ter luminância nula

Diagrama de cor CIE-XYZDiagrama de cor CIE-XYZ

Diagrama de cor CIE-XYZDiagrama de cor CIE-XYZ

Cor complementarCor complementar

Mudança entre sistemasMudança entre sistemasCIE-RGB e CIE-XYZCIE-RGB e CIE-XYZ

Sistemas uniformesSistemas uniformesNão uniformidade Sistema de cor Lab

• L = Iluminação• a = Conteúdo Vermelho/Verde• b = Conteúdo Amarelo/Azul• Distâncias euclidianas são úteis!

Dispositivos:Dispositivos:Sistema de cor do monitorSistema de cor do monitor

Sistema de cor mRGBSistema de cor mRGB

Sistema de cor CMY/CMYKSistema de cor CMY/CMYK

Sistemas de vídeo Sistemas de vídeo componentecomponente

O olho tem menor sensibilidade para O olho tem menor sensibilidade para detectar cores do que variações de detectar cores do que variações de intensidadeintensidade Utiliza-se uma banda maior para a luminância: Y Utiliza-se uma banda maior para a luminância: Y

= 0,299R + 0,587G + 0,116B= 0,299R + 0,587G + 0,116B Os componentes de crominância são Os componentes de crominância são

representados como: R-Y e B-Yrepresentados como: R-Y e B-Y Sistemas baseados em Y, R-Y, B-Y são Sistemas baseados em Y, R-Y, B-Y são

chamados de chamados de vídeo componente.vídeo componente.

Sistemas de vídeo digitalSistemas de vídeo digital

O padrão internacional para vídeo O padrão internacional para vídeo digital Y, Cr, Cb é dado pela seguinte digital Y, Cr, Cb é dado pela seguinte transformação de Y, R-Y, B-Y:transformação de Y, R-Y, B-Y: Y = 16 + 234YY = 16 + 234Y Cr = 128 + 112 (0,5/(1-0,114) * (B-Y))Cr = 128 + 112 (0,5/(1-0,114) * (B-Y)) Cb = 128 + 112 (0,5/(1-0,299) * (R-Y))Cb = 128 + 112 (0,5/(1-0,299) * (R-Y))

Usado nos padrões JPEG e MPEG.Usado nos padrões JPEG e MPEG.

Sistemas de vídeo Sistemas de vídeo compostocomposto

São sistemas de cor para transmissão de São sistemas de cor para transmissão de vídeo (NTSC, PAL, etc.).vídeo (NTSC, PAL, etc.).

Os componentes são combinados em um Os componentes são combinados em um único sinal:único sinal: O sinal de luminância pode ser utilizado em O sinal de luminância pode ser utilizado em

aparelhos preto e brancoaparelhos preto e branco As crominâncias podem ser codificada em As crominâncias podem ser codificada em

apenas 5% da banda de passagem sem apenas 5% da banda de passagem sem degradar o sinal de luminância.degradar o sinal de luminância.

Sistema YUVSistema YUV U = 0,493 (B-Y)U = 0,493 (B-Y) V = 0,877 (R-Y)V = 0,877 (R-Y)

Sistemas de vídeo Sistemas de vídeo compostocomposto

• Sistema YIQ: IQ é obtido a partir de Sistema YIQ: IQ é obtido a partir de uma rotação das coordenadas UVuma rotação das coordenadas UV• I ocupa uma banda menorI ocupa uma banda menor

Componentes de uma corComponentes de uma corModelo HSI

Modelo HSIModelo HSI

Sistemas computacionaisSistemas computacionais

Exemplo: codificação YUVExemplo: codificação YUV YUV 4:4:4 => 8 bits para cada elementoYUV 4:4:4 => 8 bits para cada elemento YUV 4:2:2 => Y1 U1 Y2 V2 Y3 U3 Y4 V4 YUV 4:2:2 => Y1 U1 Y2 V2 Y3 U3 Y4 V4

Reconstrução da sequência: Y1 U1 V1 Y2 U1 Reconstrução da sequência: Y1 U1 V1 Y2 U1 V2 ...V2 ...

Imagem digitalImagem digital



Níveis de abstração na representação de uma Níveis de abstração na representação de uma imagemimagem

DefiniçõesDefinições Discretização x reconstruçãoDiscretização x reconstrução

DiscretizaçãoDiscretização é o processo de conversão de um é o processo de conversão de um sinal contínuo em uma representação discretasinal contínuo em uma representação discreta

ReconstruçãoReconstrução consiste em se obter o sinal contínuo consiste em se obter o sinal contínuo a partir de sua representaçãoa partir de sua representação

Codificação x decodificaçãoCodificação x decodificação CodificaçãoCodificação consiste em se obter uma sequência consiste em se obter uma sequência

finita de símbolosfinita de símbolos DecodificaçãoDecodificação permite obter a representação a permite obter a representação a

partir da sequência de símbolospartir da sequência de símbolos

Modelos matemáticos de Modelos matemáticos de sinaissinais

Um sinal se manifesta pela variação de Um sinal se manifesta pela variação de alguma grandeza físicaalguma grandeza física Pode ser em função do tempo (som) ou do Pode ser em função do tempo (som) ou do

espaço (imagem). Ou dos dois (vídeo)espaço (imagem). Ou dos dois (vídeo) Estamos interessados em um Estamos interessados em um modelo modelo

funcional funcional no qual um sinal é no qual um sinal é representado por uma função representado por uma função f: U f: U СС RRmm → → RRnn

Espaço de sinais: {f: U Espaço de sinais: {f: U СС RRmm → R→ Rnbbnbb}}

Modelos funcionaisModelos funcionais

O sinal f: U O sinal f: U СС RRmm → R→ Rn n é chamado é chamado contínuo. Isso significa somente que contínuo. Isso significa somente que o domínio e o contra-domínio são um o domínio e o contra-domínio são um continuum de números. Mas não que continuum de números. Mas não que f seja contínua topologicamente.f seja contínua topologicamente.

RepresentaçãoRepresentação: discretização do : discretização do domínio ou contra-domínio de fdomínio ou contra-domínio de f

Modelos funcionaisModelos funcionais

Sinal contínuo-contínuoSinal contínuo-contínuo Sinal contínuo-discreto: contra-Sinal contínuo-discreto: contra-

domínio discretizado (domínio discretizado (quantizaçãoquantização)) Sinal discreto-contínuo: domínio Sinal discreto-contínuo: domínio

discretizado (discretizado (amostragemamostragem)) Sinal discreto-discreto: amostrado e Sinal discreto-discreto: amostrado e

quantizado = quantizado = IMAGEM DIGITALIMAGEM DIGITAL

Modelos funcionaisModelos funcionais Discretização Discretização para amostragem para amostragem

consiste em calcular f em um conjunto consiste em calcular f em um conjunto finito de pontos pfinito de pontos p11, p, p22, ...,p, ...,pKK do conjunto do conjunto U.U.

ReconstruçãoReconstrução consiste em interpolar consiste em interpolar os valores f(pos valores f(p11), f(p), f(p22), ..., f(p), ..., f(pKK) de modo a ) de modo a obter uma aproximação f’ de fobter uma aproximação f’ de f

Vamos utilizar dois modelos funcionais:Vamos utilizar dois modelos funcionais: Modelo espacialModelo espacial Modelo espectralModelo espectral

Modelo espacial de sinaisModelo espacial de sinais

O subconjunto U representa a região O subconjunto U representa a região no espaço na qual varia a grandeza no espaço na qual varia a grandeza física (Domínio do espaço ou tempo).física (Domínio do espaço ou tempo). Som estéreo: f: U Som estéreo: f: U СС RR → R→ R22 (unidimensional) (unidimensional)

U = tempoU = tempo Imagem: Imagem: f: U f: U СС RR22 → R→ Rnn

U = espaçoU = espaço RRnn é um espaço de cor (n=1 => monocromática) é um espaço de cor (n=1 => monocromática)

Vídeo: Vídeo: f: U f: U СС R x R x RR22 → R→ Rn n (inclui tempo)(inclui tempo)

Imagem em escala de cinzaImagem em escala de cinza

Modelo espectral de sinaisModelo espectral de sinais

O sinal periódico f(t) = a cos(2O sinal periódico f(t) = a cos(2πωπω00t + t + φφ) no ) no domínio do espaço pode ser representado pordomínio do espaço pode ser representado por F(F(ωω) = { a se ) = { a se ωω = = ωω00; 0 senão; 0 senão

Qualquer sinal periódico pode ser definido Qualquer sinal periódico pode ser definido pelo modelo funcional acima utilizando a série pelo modelo funcional acima utilizando a série de Fourier: f(t) = ∑ cde Fourier: f(t) = ∑ ckk e ei 2i 2ππ k ω t k ω t onde onde ωω é a é a frequência fundamental do sinal.frequência fundamental do sinal.

Domínio da frequência: transformada de Domínio da frequência: transformada de FourierFourier

Representação matricialRepresentação matricialpara imagempara imagem

Geralmente, o suporte de uma Geralmente, o suporte de uma imagem é uma região retangular imagem é uma região retangular U = [a,b] x [c,d] = {(x,y) U = [a,b] x [c,d] = {(x,y) ЄЄ RR22; ; a a ≤ x ≤ b; ≤ x ≤ b;

cc ≤ y ≤ d}≤ y ≤ d} Representação matricial consiste em Representação matricial consiste em

discretizar esse retângulo com um discretizar esse retângulo com um reticulado reticulado ΔΔ = ( = (ΔΔx, x, ΔΔy) y) ЄЄ RR22

ΔΔ={(x={(xjj,y,ykk) ) ЄЄ U; x U; xjj= j = j ΔΔx, yx, ykk= = ΔΔy, j,k y, j,k ЄЄ Z} Z}

Reticulado: representação Reticulado: representação matricialmatricial

Resolução espacialResolução espacial

Imagem digitalImagem digital É um sinal amostrado e quantizado:É um sinal amostrado e quantizado:

Coordenadas de pixelsCoordenadas de pixels ResoluçãoResolução Informação de cor de cada pixelInformação de cor de cada pixel Gamute é o conjunto de todas a cores de uma Gamute é o conjunto de todas a cores de uma

imagemimagem Monocromática com 2 cores = imagem bináriaMonocromática com 2 cores = imagem binária Monocromática com n cores = tons de cinzaMonocromática com n cores = tons de cinza

Se o espaço de cor tem dimensão k, podemos Se o espaço de cor tem dimensão k, podemos considerar cada componente de cor em considerar cada componente de cor em separado.separado.

Topologia de uma imagemTopologia de uma imagem

Norma:

4-conexa: |x| + |y|8-conexa: Max |x|, |y|

Geometria do pixelGeometria do pixel

Documents

Processamento de Imagens