Formação de Imagem - Aquisição www.dca.ufrn.br/~lmarcos/courses/vi sao

  • View
    102

  • Download
    0

Embed Size (px)

Text of Formação de Imagem - Aquisição www.dca.ufrn.br/~lmarcos/courses/vi sao

  • Slide 1
  • Formao de Imagem - Aquisio www.dca.ufrn.br/~lmarcos/courses/vi sao
  • Slide 2
  • Viso adquirindo imagem
  • Slide 3
  • Adquirindo imagens digitais Estrutura essencial de um sistema de aquisio de imagens Representao de imagens digitais em um computador Informaes prticas em amostragem espacial e rudos devido cmera
  • Slide 4
  • Sistema de Viso Computacional Cmera visualizadora tipicamente uma cmera CCD (mxn) Frame grabber placa de aquisio Computador (Host computer) processador e memria para processamento Frame Grabber Host Computer CCD Optics
  • Slide 5
  • Representao digital de imagem Matriz numrica (MxN) E(i,j) representa o valor de cada pixel (brilho) i indexa a linha j indexa a coluna E(i,j) geralmente inteiro, no range [0,255] um byte suficiente para cada cor usado em muitos sistemas atuais
  • Slide 6
  • Do CCD para o frame buffer Nmero de elementos em cada lado do CCD geralmente diferente da dimenso em pixels do Frame buffer. Ento: x im =(n/N)x CCD e y im =(m/M)y CCD n/N e m/M no so os nicos parmetros responsveis pela escala introduzida CCD tem mxn clulas geralmente com diferentes tamanhos horizontal e vertical Frame buffer: MxN
  • Slide 7
  • Diferentes escalas Frame buffer (NxN) CCD (nxn) Frame buffer (MxN) Mesma distoro de um padro no Frame buffer (a) produzida por um grid nxn de elementos retangulares com razo de aspecto n/M (b) e por um grid mxn de elementros quadrados (c). (a) (b) (c)
  • Slide 8
  • Amostragem espacial Amostragem espacial inicia-se no CCD Assume-se que a distncia d entre os elementos do CCD a mesma, por simplicidade (vertical e horizontal).
  • Slide 9
  • Teorema da amostragem (Nyquist) Se a imagem no contm componentes de freqncia maiores que a metade da freqncia de amostragem, ento a imagem contnua pode ser representada fielmente ou completamente na imagem amostrada.
  • Slide 10
  • Amostragem espacial Do teorema da amostragem, sabe-se que d determina a freqncia espacial v c mais alta que pode ser capturada pelo sistema de aquisio, de acordo com a relao: v c =1/(2d)
  • Slide 11
  • Comparao com espectro de freqncia espacial da imagem Teoria da difrao de aberraes: processo de imageamento pode ser expresso em termos de uma filtragem linear passa- baixa das freqncias espaciais do sinal visual
  • Slide 12
  • Comparao com freqncia espacial da imagem Se a for o tamanho linear da abertura angular do sistema tico (dimetro da abertura circular), o comprimento de onda da luz, e f a distncia focal, freqncias espaciais maiores que v c =a/( f) no contribuem para o espectro espacial da imagem (so filtradas).
  • Slide 13
  • Sistema tpico v c < v c aproximadamente de uma ordem de magnitude Assim, desde que o padro visto possa certamente conter freqncias espaciais maiores que v c, pode ocorrer aliasing
  • Slide 14
  • Aliasing Se n a quantidade de elementos no CCD (direo horizontal), a cmera no pode ver mais que n linhas verticais (com n um pouco menor que n/2, digamos n= n/3) At que o nmero de linhas dentro do campo de vista permanece menor que n, elas sero corretamente imageadas. Assim que este limite atingido, se a distncia da cena cresce, antes de efeitos de borra, a quantidade de linhas diminui.
  • Slide 15
  • Ocorrncia de Aliasing
  • Slide 16
  • Estimando erros de aquisio Valores da imagem no so o esperado, pois so corrompidos durante aquisio Adquire vrias imagens E 0,...,E n da mesma cena, calcula varincia para cada pixel: E (i,j) = 1/(n) k=0 n-1 E k (i,j) (i,j) = ( 1/(n-1) k=0 n-1 ( E (i,j)- E k (i,j) ) 2 ) 1/2
  • Slide 17
  • Razo sinal-rudo Mdia de (i,j) na imagem estima o rudo mdio de aquisio. Mximo (i,j), com (i;j) (0,M;0,N) d o pior erro na imagem. Luz fluorescente pode influenciar o resultado. timo teste para verificar o erro das cmeras adquiridas (presente de final de semana, veja transparncia final:-).
  • Slide 18
  • Grfico do erro numa linha Pixel 1Pixel 255 + -
  • Slide 19
  • Obs: erro sinal-rudo Expresso em decibis: 10 vezes o logaritmo base 10 da razo entre as duas potncias (sinal e rudo). Ex: SNR de 100 = 10log 10 100=20dB
  • Slide 20
  • Auto-covarincia Valores de pixel no so completamente independentes uns dos outros. Interferncia (cross-talking) entre sensores adjacentes devido ao modo que so lidos e enviados ao frame-buffer Considere um padro espacialmente uniforme na cena, paralelo ao plano imagem, sob luz difusa
  • Slide 21
  • Co-varincia Seja c = 1/N 2, N i =N-i-1, N j =N-j-1. Dada imagem E, para cada i,j=0,...,N-1: C EE (i,j)=c i=0 Ni j=0 Nj ( E(i,j)- E (i,j) ) ( E(i+i,j+j)- E (i+i,j+j) ) Covarincia pode ser estimada como a mdia da funo acima em vrias amostras (VRIAS IMAGENS) Outro presente pro final de semana!
  • Slide 22
  • Grfico da covarincia (mdia) j i C EE
  • Slide 23
  • Parmetros de cmera Reconstruo 3D ou clculo da posio de objetos no espao necessitam definir relaes entre coordenadas de pontos 3D com as coordenadas 2D de imagens dos mesmos Alguns pressupostos devem ser assumidos Denomina-se frame a Sistema de referncia
  • Slide 24
  • Pressupostos Frame da cmera pode ser localizado em relao a algum outro frame conhecido (frame de mundo) R e T Coordenadas das imagens de pontos no frame de cmera podem ser obtidas das coordenadas de pixels (nicas disponveis a partir da imagem) xoxo zozo yoyo ycyc xcxc zczc xwxw zwzw ywyw y im x im
  • Slide 25
  • Parmetros internos e externos Parmetros intrnsecos so os necessrios para ligar as coordenadas de pixel de um ponto na imagem com as respectivas coordenadas no frame de cmera. Parmetros extrnsecos so os que definem a localizao e orientao do frame de cmera com relao a um frame de mundo conhecido
  • Slide 26
  • Parmetros intrnsecos Caracterizam as propriedades ticas, geomtricas e digitais da cmera visualizadora. Para pin-hole, 3 conjuntos: projeo perspectiva (nico parmetro f) transformao entre frames de cmera e pxels distoro geomtrica introduzida pelo sistema tico (de aquisio)
  • Slide 27
  • De cmera para pixels Devemos ligar (x im,y im ), em pixels, com as coordenadas (x,y) do mesmo ponto no frame de cmera Neglicenciando distores e assumindo que o CCD uma matriz retangular: x = -(x im -o x )s x y = -(y im -o y )s y sendo (o x,o y ) as coordenadas em pixel do centro da imagem (ponto principal) e (s x,s y ) o tamanho efetivo do pixel (em milmetros) horizontal e verticalmente, respectivamente
  • Slide 28
  • De cmera para pixels Z Y X x im y im (m-1,n-1) (0,0) (0,0,f) (0,0,0) (m-1) / 2 (n-1) / 2 x = -(x im -o x )s x y = -(y im -o y )s y (0,0) -> (((m-1)/2)s x, (n-1)/2)s y ) (m-1,n-1) -> (-((m-1)/2)s x, -((n-1) /2)s y ) ((m-1)/2,(n-1)/2) -> ((0)s x,(0)s y )
  • Slide 29
  • Com distoro Com introduo de distoro (RADIAL): x = x d (1+k 1 r 2 +k 2 r 4 ) y = y d (1+k 1 r 2 +k 2 r 4 ) sendo (x d,y d ) as coordenadas dos pontos distorcidos e r 2 = x d 2 +y d 2. Veja que a distoro um deslocamento radial dos pontos na imagem. Deslocamento zero no centro da imagem, crescendo para as bordas
  • Slide 30
  • Parmetros intrnsecos - resumo f = distncia focal (COMO ACHAR?) (o x,o y ) = localizao do centro da imagem, coordenadas de pixel (COMO ACHAR?) (s x,s y ) = tamanho efetivo horizontal e vertical do pixel (COMO ACHAR?) (k 1, k 2 ) = coeficientes de distoro, se forem requeridos (COMO ACHAR?) k 2 geralmente ignorado (k 1 >>k 2 ).
  • Slide 31
  • Parmetros extrnsecos Frame de cmera permite escrever equaes de projeo perspectiva de uma forma simples, mas o sistema de cmera geralmente desconhecido Determinar a localizao e orientao do frame de cmera em relao a algum frame de referncia, usando apenas informao da imagem.
  • Slide 32
  • Parmetros extrnsecos Qualquer conjunto de parmetros que permitem identificar unicamente a transformao entre o frame desconhecido de cmera e um frame conhecido, normalmente denominado frame de mundo.
  • Slide 33
  • Descrevendo a transformao Vetor 3D de translao, T, que descreve as posies relativas das origens dos dois frames Uma matriz 3x3, de rotao, R, a princpio ortogonal (R t R=RR t ), desejado ortonormal, que traz os eixos correspondentes dos dois frames um no outro Ortogonalidade reduz o nmero de graus de liberdade para 3
  • Slide 34
  • Notao A relao entre as coordenadas de um ponto P em frame de mundo (P w ) e de cmera (P c ) dada por: P c =R(P w -T) r 11 r 12 r 13 R = r 21 r 22 r 23 r 31 r 32 r 33 t 1 T = t 2 t 3
  • Slide 35
  • Rotao e translao xoxo zozo yoyo ycyc xcxc zczc xwxw zwzw ywyw y im x im T xwxw ywyw zwzw RxRx RzRz RyRy
  • Slide 36
  • Parmetros extrnsecos - resumo T = vetor de translao R = matriz de rotao (ou os seus parmetros livres) Especificam a transformao entre o frame de cmera e o frame de mundo
  • Slide 37
  • Calibrao de cmera Estimar os valores dos parmetros intrnsecos e extrnsecos Vrios mtodos, incluindo distoro geomtrica, radiomtrica, etc.
  • Slide 38
  • Calculando o raio refletido
  • Slide 39
  • Trabalhos para casa 1) Verificar o erro das cmeras: a) Calcul