40
Formação de Imagem - Aquisição www.dca.ufrn.br/~lmarcos/ courses/visao

Formação de Imagem - Aquisição lmarcos/courses/vi sao

Embed Size (px)

Citation preview

Page 1: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Formação de Imagem - Aquisição

www.dca.ufrn.br/~lmarcos/courses/visao

Page 2: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Visão adquirindo imagem

Page 3: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Adquirindo imagens digitais

• Estrutura essencial de um sistema de aquisição de imagens

• Representação de imagens digitais em um computador

• Informações práticas em amostragem espacial e ruídos devido à câmera

Page 4: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Sistema de Visão Computacional

• Câmera visualizadora– tipicamente uma câmera CCD (mxn)

• Frame grabber– placa de aquisição

• Computador (Host computer)– processador e memória para processamento

Frame Grabber

HostComputer

CCDOptics

Page 5: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Representação digital de imagem

• Matriz numérica (MxN)– E(i,j) representa o valor de cada pixel (brilho)

• i indexa a linha• j indexa a coluna

• E(i,j) é geralmente inteiro, no range [0,255]– um byte é suficiente para cada cor– usado em muitos sistemas atuais

Page 6: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Do CCD para o frame buffer

• Número de elementos em cada lado do CCD é geralmente diferente da dimensão em pixels do Frame buffer. Então:

• xim=(n/N)xCCD e yim=(m/M)yCCD

• n/N e m/M não são os únicos parâmetros responsáveis pela escala introduzida

• CCD tem mxn células geralmente com diferentes tamanhos horizontal e vertical

• Frame buffer: MxN

Page 7: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Diferentes escalas

Frame buffer (NxN)CCD (nxn)

Frame buffer (MxN)

Mesma distorção de um padrão no Frame buffer (a) é produzida por um grid nxn de elementos retangulares com razão de aspecto n/M (b) e por um grid mxn de elementros quadrados (c).

(a) (b) (c)

Page 8: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Amostragem espacial

• Amostragem espacial inicia-se no CCD

• Assume-se que a distância d entre os elementos do CCD é a mesma, por simplicidade (vertical e horizontal).

Page 9: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Teorema da amostragem (Nyquist)

• Se a imagem não contém componentes de freqüência maiores que a metade da freqüência de amostragem, então a imagem contínua pode ser representada fielmente ou completamente na imagem amostrada.

Page 10: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Amostragem espacial

• Do teorema da amostragem, sabe-se que d determina a freqüência espacial vc mais alta que pode ser capturada pelo sistema de aquisição, de acordo com a relação:

vc=1/(2d)

Page 11: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Comparação com espectro de freqüência espacial da imagem

• Teoria da difração de aberrações:– processo de imageamento pode ser expresso

em termos de uma filtragem linear passa-baixa das freqüências espaciais do sinal visual

Page 12: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Comparação com freqüência espacial da imagem

• Se a for o tamanho linear da abertura angular do sistema ótico (diâmetro da abertura circular), o comprimento de onda da luz, e f a distância focal, freqüências espaciais maiores que v´c=a/(f) não contribuem para o espectro espacial da imagem (são filtradas).

Page 13: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Sistema típico

• vc < v´c aproximadamente de uma ordem de magnitude

• Assim, desde que o padrão visto possa certamente conter freqüências espaciais maiores que vc, pode ocorrer aliasing

Page 14: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Aliasing• Se n é a quantidade de elementos no

CCD (direção horizontal), a câmera não pode ver mais que n´ linhas verticais (com n´ um pouco menor que n/2, digamos n´= n/3)

• Até que o número de linhas dentro do campo de vista permanece menor que n´, elas serão corretamente imageadas.

• Assim que este limite é atingido, se a distância da cena cresce, antes de efeitos de borra, a quantidade de linhas diminui.

Page 15: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Ocorrência de Aliasing

Page 16: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Estimando erros de aquisição

• Valores da imagem não são o esperado, pois são corrompidos durante aquisição

• Adquire várias imagens E0,...,En da mesma cena, calcula variância para cada pixel:

E(i,j) = 1/(n) k=0n-1 Ek(i,j)

(i,j) = (1/(n-1) k=0n-1(E(i,j)- Ek(i,j))2)1/2

Page 17: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Razão sinal-ruído

• Média de (i,j) na imagem estima o ruído médio de aquisição.

• Máximo (i,j), com (i;j) (0,M;0,N) dá o pior erro na imagem.

• Luz fluorescente pode influenciar o resultado.

• Ótimo teste para verificar o erro das câmeras adquiridas (presente de final de semana, veja transparência final:-).

Page 18: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Gráfico do erro numa linha

Pixel 1 Pixel 255

+ -

Page 19: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Obs: erro sinal-ruído

• Expresso em decibéis: 10 vezes o logaritmo base 10 da razão entre as duas potências (sinal e ruído).

• Ex: SNR de 100 = 10log10100=20dB

Page 20: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Auto-covariância

• Valores de pixel não são completamente independentes uns dos outros.

• Interferência (cross-talking) entre sensores adjacentes devido ao modo que são lidos e enviados ao frame-buffer

• Considere um padrão espacialmente uniforme na cena, paralelo ao plano imagem, sob luz difusa

Page 21: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Co-variância

• Seja c = 1/N2, Ni´=N-i´-1, Nj´=N-j´-1.

• Dada imagem E, para cada i´,j´=0,...,N-1:

• CEE(i´,j´)=ci=0Ni´j=0

Nj´(E(i,j)-E(i,j)) (E(i+i´,j+j

´)-E(i+i´,j+j´))• Covariância pode ser estimada como a

média da função acima em várias amostras (VÁRIAS IMAGENS)

• Outro presente pro final de semana!

Page 22: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Gráfico da covariância (média)

j’

i’

CEE

Page 23: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Parâmetros de câmera

• Reconstrução 3D ou cálculo da posição de objetos no espaço necessitam definir relações entre coordenadas de pontos 3D com as coordenadas 2D de imagens dos mesmos

• Alguns pressupostos devem ser assumidos

• Denomina-se frame a Sistema de referência

Page 24: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Pressupostos

• Frame da câmera pode ser localizado em relação a algum outro frame conhecido (frame de mundo) – R e T

• Coordenadas das imagens de pontos no frame de câmera podem ser obtidas das coordenadas de pixels (únicas disponíveis a partir da imagem)

xo

zoyo

yc

xc

zc

xwzw

ywyim

xim

Page 25: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Parâmetros internos e externos

• Parâmetros intrínsecos são os necessários para ligar as coordenadas de pixel de um ponto na imagem com as respectivas coordenadas no frame de câmera.

• Parâmetros extrínsecos são os que definem a localização e orientação do frame de câmera com relação a um frame de mundo conhecido

Page 26: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Parâmetros intrínsecos

• Caracterizam as propriedades óticas, geométricas e digitais da câmera visualizadora. Para pin-hole, 3 conjuntos:– projeção perspectiva (único parâmetro é f)– transformação entre frames de câmera e

píxels– distorção geométrica introduzida pelo sistema

ótico (de aquisição)

Page 27: Formação de Imagem - Aquisição lmarcos/courses/vi sao

De câmera para pixels

• Devemos ligar (xim,yim), em pixels, com as coordenadas (x,y) do mesmo ponto no frame de câmera

• Neglicenciando distorções e assumindo que o CCD é uma matriz retangular:

x = -(xim-ox)sx

y = -(yim-oy)sy

sendo (ox,oy) as coordenadas em pixel do centro da imagem (ponto principal) e (sx,sy) o tamanho efetivo do pixel (em milímetros) horizontal e verticalmente, respectivamente

Page 28: Formação de Imagem - Aquisição lmarcos/courses/vi sao

De câmera para pixels

Z

Y

X

xim

yim

(m-1,n-1)

(0,0)

(0,0,f)

(0,0,0)

(m-1) / 2

(n-1) / 2x = -(xim-ox)sx

y = -(yim-oy)sy

(0,0) -> (((m-1)/2)sx , (n-1)/2)sy)

(m-1,n-1) -> (-((m-1)/2)sx, -((n-1) /2)sy)

((m-1)/2,(n-1)/2) -> ((0)sx,(0)sy)

Page 29: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Com distorção

• Com introdução de distorção (RADIAL):x = xd(1+k1r2+k2r4)y = yd(1+k1r2+k2r4)

sendo (xd,yd) as coordenadas dos pontos distorcidos e r2 = xd

2+yd2. Veja que a

distorção é um deslocamento radial dos pontos na imagem. Deslocamento é zero no centro da imagem, crescendo para as bordas

Page 30: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Parâmetros intrínsecos - resumo

• f = distância focal (COMO ACHAR?)

• (ox,oy) = localização do centro da imagem, coordenadas de pixel (COMO ACHAR?)

• (sx,sy) = tamanho efetivo horizontal e vertical do pixel (COMO ACHAR?)

• (k1, k2) = coeficientes de distorção, se forem requeridos (COMO ACHAR?)

• k2 é geralmente ignorado (k1>>k2).

Page 31: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Parâmetros extrínsecos

• Frame de câmera permite escrever equações de projeção perspectiva de uma forma simples, mas o sistema de câmera é geralmente desconhecido

• Determinar a localização e orientação do frame de câmera em relação a algum frame de referência, usando apenas informação da imagem.

Page 32: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Parâmetros extrínsecos

• Qualquer conjunto de parâmetros que permitem identificar unicamente a transformação entre o frame desconhecido de câmera e um frame conhecido, normalmente denominado frame de mundo.

Page 33: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Descrevendo a transformação

• Vetor 3D de translação, T, que descreve as posições relativas das origens dos dois frames

• Uma matriz 3x3, de rotação, R, a princípio ortogonal (RtR=RRt), desejado ortonormal, que traz os eixos correspondentes dos dois frames um no outro

• Ortogonalidade reduz o número de graus de liberdade para 3

Page 34: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Notação

• A relação entre as coordenadas de um ponto P em frame de mundo (Pw) e de câmera (Pc) é dada por: Pc=R(Pw-T)

r11 r12 r13

R = r21 r22 r23

r31 r32 r33

t1

T = t2

t3

Page 35: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Rotação e translação

xo

zo

yo

yc

xc

zc

xw

zw

yw

yimxim

T

xw

yw

zw

RxRz

Ry

Page 36: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Parâmetros extrínsecos - resumo

• T = vetor de translação

• R = matriz de rotação (ou os seus parâmetros livres)

• Especificam a transformação entre o frame de câmera e o frame de mundo

Page 37: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Calibração de câmera

• Estimar os valores dos parâmetros intrínsecos e extrínsecos

• Vários métodos, incluindo distorção geométrica, radiométrica, etc.

Page 38: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Calculando o raio refletido

Page 39: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Trabalhos para casa

• 1) Verificar o erro das câmeras:– a) Calcular a média, o desvio padrão e a

variância, para 10 amostras (como tratar 3 bandas separadamente? Média das 3?);

– b) Escolher uma determinada linha da imagem e plotar um gráfico mostrando, para cada pixel, três curvas: a média, a média mais desvio padrão; a média menos desvio padrão (média das 3 bandas).

Page 40: Formação de Imagem - Aquisição lmarcos/courses/vi sao

Continuação dos trabalhos

– c) Indique outros dados da imagem (nível de cinza mínimo para cada cor, nível máximo para cada cor, mostre 2 imagens das 10 adquiridas, taxa de amostragem máxima, etc).

• 2) Auto-covariância:– a) Calcular a covariância para a média das 10

imagens amostradas pelas câmeras, numa área de 32x32 pixels, centrada no centro da imagem;

– b) Plotar o gráfico da média da covariância (bidimensional)