Visão Computacional Calibração de Câmeras http://www.dca.ufrn.br/~lmarcos/courses/visao

  • View
    108

  • Download
    4

Embed Size (px)

Text of Visão Computacional Calibração de Câmeras http://www.dca.ufrn.br/~lmarcos/courses/visao

  • Slide 1
  • Viso Computacional Calibrao de Cmeras http://www.dca.ufrn.br/~lmarcos/courses/visao
  • Slide 2
  • Parmetros de cmera Reconstruo 3D ou clculo da posio de objetos no espao necessitam definir relaes entre coordenadas de pontos 3D com as coordenadas 2D de imagens dos mesmos Alguns pressupostos devem ser assumidos xoxo zozo yoyo ycyc xcxc zczc xwxw zwzw ywyw y im x im
  • Slide 3
  • Pressupostos Frame Sistema de referncia O frame da cmera pode ser localizado em relao a algum outro frame bem conhecido (frame de mundo) - referencial assumido Coordenadas das imagens de pontos no frame de cmera podem ser obtidas das coordenadas de pixels (nicas disponveis a partir da imagem), pelo menos x e y xoxo zozo yoyo ycyc xcxc zczc xwxw zwzw ywyw y im x im
  • Slide 4
  • Parmetros intrnsecos e extrnsecos (internos e externos) Parmetros intrnsecos so os necessrios para ligar as coordenadas de pixel de um ponto na imagem com as respectivas coordenadas no frame de cmera. Parmetros extrnsecos so os que definem a localizao e orientao do frame de cmera com relao a um frame de mundo conhecido
  • Slide 5
  • Parmetros intrnsecos Caracterizam as propriedades ticas, geomtricas e digitais da cmera visualizadora. Para pin-hole, 3 conjuntos: projeo perspectiva (nico parmetro f) transformao entre frames de cmera e pxel distoro geomtrica introduzida pelo sistema tico xoxo zozo yoyo ycyc xcxc zczc xwxw zwzw ywyw y im x im
  • Slide 6
  • De cmera para pixels Devemos ligar (x im,y im ), em pixels, com as coordenadas (x,y) do mesmo ponto no frame de cmera Neglicenciando distores e assumindo que o CCD uma matriz retangular: x = -(x im -o x )s x y = -(y im -o y )s y sendo (o x,o y ) as coordenadas em pixel do centro da imagem (ponto principal) e (s x,s y ) o tamanho efetivo do pixel (em milmetros) horizontal e verticalmente.
  • Slide 7
  • De pixels para cmera Z Y X x im y im (m-1,n-1) (0,0) (0,0,f) (0,0,0) (m-1) / 2 (n-1) / 2 x = -(x im -o x )s x y = -(y im -o y )s y (0,0) -> (((m-1)/2)s x, (n-1)/2)s y ) (m-1,n-1) -> (-((m-1)/2)s x, -((n-1) /2)s y ) ((m-1)/2,(n-1)/2) -> ((0)s x,(0)s y ) Imagem Camera
  • Slide 8
  • Com distoro Com introduo de distoro: x = x d (1+k 1 r 2 +k 2 r 4 ) y = y d (1+k 1 r 2 +k 2 r 4 ) sendo (x d,y d ) as coordenadas dos pontos distorcidos e r 2 = x d 2 +y d 2. Veja que a distoro um deslocamento radial dos pontos na imagem. Deslocamento zero no centro da imagem, crescendo para as bordas
  • Slide 9
  • Parmetros intrnsecos - resumo f = distncia focal (COMO ACHAR?) (o x,o y ) = localizao do centro da imagem, coordenadas de pixel (COMO ACHAR?) (s x,s y ) = tamanho efetivo horizontal e vertical do pixel (COMO ACHAR?) (k 1, k 2 ) = coeficientes de distoro, se forem requeridos (COMO ACHAR?) k 2 geralmente ignorado (k 1 >>k 2 ).
  • Slide 10
  • Parmetros extrnsecos O frame de cmera permite escrever equaes de projeo perspectiva de uma forma simples, mas o sistema de cmera geralmente desconhecido Determinar a localizao e orientao do frame de cmera em relao a algum frame de referncia, usando apenas informao da imagem.
  • Slide 11
  • Parmetros extrnsecos Qualquer conjunto de parmetros que permitem identificar unicamente a transformao entre o frame desconhecido de cmera e um frame conhecido, normalmente denominado frame de mundo. xoxo zozo yoyo ycyc xcxc zczc xwxw zwzw ywyw y im x im
  • Slide 12
  • Descrevendo a transformao Vetor 3D de translao, T, que descreve as posies relativas das origens dos dois frames Uma matriz 3x3, de rotao, R, a princpio ortogonal (R t R=RR t ), desejado ortonormal, que traz os eixos correspondentes dos dois frames um no outro Ortogonalidade reduz o nmero de graus de liberdade para 3
  • Slide 13
  • Rotao + translao xoxo zozo yoyo ycyc xcxc zczc xwxw zwzw ywyw y im x im T xwxw ywyw zwzw RxRx RzRz RyRy
  • Slide 14
  • Notao A relao entre as coordenadas de um ponto P em frame de mundo (P w ) e cmera (P c ) dada por: P c =R(P w -T) r 11 r 12 r 13 t 1 R = r 21 r 22 r 23 T = t 2 r 31 r 32 r 33 t 3 xoxo zozo yoyo ycyc xcxc zczc xwxw zwzw ywyw y im x im T P PcPc PwPw
  • Slide 15
  • Parmetros extrnsecos - resumo T = vetor de translao R = matriz de rotao (ou seus parmetros livres) Especificam a transformao entre o frame de cmera e o frame de mundo
  • Slide 16
  • Melhorando o modelo de cmera P c =R(P w -T) x = f (X/Z) x = -(x im -o x )s x y = f (Y/Z) y = -(y im -o y )s y -(x im -o x )s x = f [(R 1 t (P w -T))/(R 3 t (P w -T))] -(y im -o y )s y = f [(R 2 t (P w -T))/(R 3 t (P w -T))] R i, i=1,2,3 um vetor 3D formado pela i-sima coluna da matriz R. Relacionar coordenadas de mundo s de imagem, usando parmetros intrnsecos e extrnsecos
  • Slide 17
  • Reescrevendo como multiplicao de matrizes Sejam as matrizes: -f/s x 0 o x M int = 0-f/s y o y 0 0 1 r 11 r 12 r 13 -R 1 t T M ext =r 21 r 22 r 23 -R 2 t T r 31 r 32 r 33 -R 3 t T
  • Slide 18
  • Equao matricial M int depende apenas dos parmetros internos e M ext apenas dos externos. Negligenciando distoro radial e expressando P w em coordenadas homogneas: x 1 X w x 2 = M int M ext Y w x 3 Z w 1 x 1 /x 3 e x 2 /x 3 so as coord. de imagem x im e y im
  • Slide 19
  • Observao Formalmente, as relao entre um ponto 3D e sua projeo 2D na imagem pode ser entendida como uma transformao linear do espao projetivo (vetores [X w, Y w, Z w,1] t ) no plano projetivo (vetores [x C, y C, z C ] t ). Esta transformao definida a menos de um fator de escala, assim M tem apenas 11 entradas independentes.
  • Slide 20
  • Cmera Perspectiva e Fraca Perspectiva M int transforma de cmera para imagem (parmetros internos) M ext transforma de mundo para cmera (parmetros externos) Os modelos de cmera podem ser definidos a partir das equaes anteriores, bastando ajustar os parmetros de forma correta, isto , basta alterar a matriz M=M int M ext
  • Slide 21
  • Modelo de cmera perspectiva Assumindo, por simplicidade, que o x =o y = 0 e que s x =s y = 1, M pode ser re-escrita como: -fr 11 -fr 12 -fr 13 fR 1 t T M =-fr 21 -fr 22 -fr 23 fR 2 t T r 31 r 32 r 33 R 3 t T Sem restries, M descreve o modelo perspectivo completo, sendo chamada de matriz de projeo
  • Slide 22
  • Modelo com perspectiva fraca Observe que imagem p de P dada por: X w fR 1 t (T-P) p = M Y w = fR 2 t (T-P) Z w R 3 t (P-T) 1 Mas | R 3 t (P-T) | a distncia de P ao centro de projeo ao longo do eixo tico.
  • Slide 23
  • Modelo com perspectiva fraca Ento, a equao que aproxima a perspectiva fraca pode ser escrita como: | [ R 3 t (P i -P) ] / [ R 3 t (P-T) ] |
  • Mtodo direto (livro do Trucco) Considere um ponto P no mundo (3D) definido pelas suas coordenadas (X w,Y w,Z w ) Supomos o frame de mundo conhecido Sejam (X c,Y c,Z c ) as coordenadas de cmera do ponto P (com Z c >0, para ser visvel); Origem do frame de cmera o centro de projeo e o seu eixo Z o eixo tico. Posio e orientao do frame de cmera so desconhecidas, ou seja, procura-se parmetros extrnsecos: T (3x1) e R (3x3)
  • Slide 48
  • Mtodo direto (X c,Y c,Z c ) t = R(X w,Y w,Z w ) t + T Em forma de componentes: X c = r 11 X w +r 12 Y w +r 13 Z w +T x Y c = r 21 X w +r 22 Y w +r 23 Z w +T y Z c = r 31 X w +r 32 Y w +r 33 Z w +T z Negligenciando distores radiais: x im = -(f/s x )(X c /Z c ) + o x y im = -(f/s y )(Y c /Z c ) + o y
  • Slide 49
  • Mtodo direto Sem confuso, seja x = x im e y = y im As equaes anteriores dependem dos 5 parmetros internos, no independentes entre si: f, s x, s y, o x e o y. Seja f x = f /s x e = s y /s x, novos parmetros independentes entre si: f x,, o x e o y f x a distncia focal em pixels horizontal a razo de aspecto, ou a deformao introduzida pelo sistema de aquisio
  • Slide 50
  • Mtodo direto Estamos procurando Parmetros intrnsecos: o x (origem em x); o y (origem em y); f x = f /s x (comprimento em unidades do tamanho de pixel horizontal) = s y /s x (razo de aspecto) K 1 = coeficiente de distoro radial Parmetros extrnsecos: R e T
  • Slide 51
  • Mtodo direto Substituindo equaes (X c,Y c,Z c ) t nas de projeo: x-o x =-f x [(r 11 X w +r 12 Y w +r 13 Z w +T x )/(r 31 X w +r 32 Y w +r 33 Z w +T z )] y-o y =-f y [(r 21 X w +r 22 Y w +r 23 Z w +T y )/(r 31 X w +r 32 Y w +r 33 Z w +T z )] Mtodo reverte-se em: dado um certo nmero de pontos conhecidos e suas imagens, tentar determinar os parmetros acima Articulado em duas partes: (1) assumir o x e o y conhecidos, determinar o restante (2) encontrar as coordenadas do centro da imagem X c = r 11 X w +r 12 Y w +r 13 Z w +T x Y c = r 21 X w +r 22 Y w +r 23 Z w +T y Z c = r 31 X w +r 32 Y w +r 33 Z w +T z Obs: x = -(f/s x )(Xc/Zc) + ox y = -(f/s y )(Yc/Zc) + oy Obs:
  • Slide 52
  • Assunes Assume-se que o centro da imagem conhecido: (x,y) = (x-o x, y-o y ) Centro da imagem a origem do frame de referncia Achar pontos correspondentes suficientes no mundo e na imagem
  • Slide 53
  • Mtodo direto (1) 1) Assuma o x e o y conhecidos, negligencia distoro, estima f x,, R e T a partir de coordenadas de pontos de mundo (X iw,Y iw, Z iw ) e de imagem (x i, y i ). As equaes anteriores tem mesmo denominador, ento cada par de pontos d uma equao da forma: x i f y (r 21 X iw +r 22 Y iw +r 23 Z iw +T y ) = y i f x (r 11 X iw +r 12 Y iw +r 13 Z iw +T x ) ou x i (r 21 X iw +r 22 Y iw