Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
Edicao tridimensional de fotografias arquitetonicas
Beatriz Silva Villa Alvarez
Orientador: Paulo Cezar Pinto Carvalho
Co-orientador: Marcelo Gattass
29 de junho de 2001
Resumo
Este trabalho propoe um sistema simples e interativo que possibilita alterar a fotografia de
uma cena tridimensional envolvendo elementos arquitetonicos, de modo que o usuario pos-
sa avaliar os efeitos esteticos e o impacto que as modificacoes no ambiente real poderao
causar em outras pessoas. O metodo utilizado se baseia na existencia, em fotos ar-
quitetonicas, de tres direcoes principais de interesse, mutuamente ortogonais. A identifi-
cacao de pontos de fuga destas direcoes permite calibrar a camera utilizada nas fotos e
inserir novos elementos na cena.
Abstract
This work propose a simple and interactive system that enable changing a photography
of a tridimensional scene, envolving architectural elements......
Sumario
Lista de Figuras iii
Lista de Notacoes iv
1 Introducao 1
1.1 Motivacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Apresentacao do trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Descricao do problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 Trabalhos Relacionados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.5 Organizacao do trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2 Tecnicas do metodo 7
2.1 Calibracao de camera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.1.1 Modelo de camera . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2 Metodo de calibracao utilizado . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 Obtencao da posicao da camera . . . . . . . . . . . . . . . . . . . . . . . . 11
i
2.4 Equacoes de projecao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3 Aplicacoes do metodo 18
3.1 Aplicacoes implementadas . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.1.1 Edicao em um plano principal . . . . . . . . . . . . . . . . . . . . . 19
3.2 Correcao da perspectiva . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.3 Outras aplicacoes possıveis . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.4 Tecnologia utilizada na implementacao . . . . . . . . . . . . . . . . . . . . 23
4 Resultados e Conclusoes 25
Glossario 28
ii
Lista de Figuras
1.1 (a,b) Fotografias originais, (c) outdoor aplicado na lateral da casa . . . . . 4
2.1 Modelo pin-hole de camera . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2 (a) Projecao paralela e (b) Projecao perspectiva . . . . . . . . . . . . . . . 9
2.3 Linhas guias para direcoes e posicao do centro otico C . . . . . . . . . . . 11
2.4 Localizacao do centro otico . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.5 Ortocentro do triangulo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.6 Translacao da origem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.7 Sistemas de coordenadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.1 Etapas do processo de edicao de um plano principal . . . . . . . . . . . . . 20
3.2 Processo de calculo da nova camera . . . . . . . . . . . . . . . . . . . . . . 22
3.3 Imagens originais e reprojetadas com inclinacao vertical . . . . . . . . . . . 23
4.1 (a) Imagem original ; (b) imagem transformada, considerando que todos
os elementos estao no mesmo plano . . . . . . . . . . . . . . . . . . . . . . 27
iii
Lista de Notacoes
F ponto de fuga (uf , vf ) generico
Fx ponto de fuga (ux, vx) da direcao X
Fy ponto de fuga (uy, vy) da direcao Y
Fz ponto de fuga (uz, vz) da direcao Z
X direcao principal X
Y direcao principal Y
Z direcao principal Z
Sm sistema de coordenadas do mundo formado pelos eixos
X, Y e ZSi sistema de coordenadas da imagem formado pelos eixos
u, v e wSc sistema de coordenadas da camera formado pelos eixos
U , V e WC centro otico da camera (uc, vc, wc), em coordenadas de
pixel no sistema Si
Cp centro projetivo (up, vp), em coordenadas de pixel no sis-
tema Si
e1 ponto extremo (u1, v1) do par de linha guia da direcao X,
Y ouZe2 ponto extremo (u2, v2) do par de linha guia da direcao X,
Y ouZe3 ponto extremo (u3, v3) do par de linha guia da direcao X,
Y ouZ
iv
e4 ponto extremo (u4, v4) do par de linha guia da direcao X,
Y ouZ~s segmento de reta correspondente a uma linha guia
~t segmento de reta correspondente a uma linha guia-------------→CFx vetor que une o centro otico C ao ponto de fuga Fx
-------------→CFy vetor que une o centro otico C ao ponto de fuga Fy
-------------→CFz vetor que une o centro otico C ao ponto de fuga Fz
|-------------→CFx| vetor unitario (Xu, Xv , Xw)
|-------------→CFy| vetor unitario (Yu, Yv , Yw)
|-------------→CFz| vetor unitario (Zu, Zv , Zw)
O ortocentro do triangulo
L1 lado do triangulo que une os pontos de fuga Fx e Fy
L2 lado do triangulo que une os pontos de fuga Fy e Fz
L3 lado do triangulo que une os pontos de fuga Fx e Fz
p1 ponto extremo do quadrilatero p1q1p2q2 a ser editado
q1 ponto extremo do quadrilatero p1q1p2q2 a ser editado
p2 ponto extremo do quadrilatero p1q1p2q2 a ser editado
q2 ponto extremo do quadrilatero p1q1p2q2 a ser editado
P1 ponto extremo do retangulo P1Q1P2Q2 no espaco
Q1 ponto extremo do retangulo P1Q1P2Q2 no espaco
P2 ponto extremo do retangulo P1Q1P2Q2 no espaco
Q2 ponto extremo do retangulo P1Q1P2Q2 no espaco
T′
transformacao projetiva bidimensional
α,β e eixos de coordenadas da nova camera relacionada a apli-
cacao de correcao de perspectiva
v
Capıtulo 1
Introducao
1.1 Motivacao
Antes mesmo da tecnologia digital surgir, a fotografia ja vinha sendo utilizada em
publicidade, arquitetura e artes graficas em geral. Com o advento da informatica, as
fotografias ganharam o formato digital, e sua utilizacao contribui para agilizar a dinamica
dos trabalhos destes profissionais, resultando num trabalho de arte magnıfico e criativo.
Ou seja, ajudou a ampliar os limites da criatividade, pois as pessoas se sentem mais livres
para arriscar suas ideias testando diferentes caminhos, uma vez que os resultados podem
ser vistos de imediato.
Com tantas facilidades que a era digital proporcionou a estes profissionais, sua uti-
lizacao, agora, esta ainda mais ampla. Mas e natural que surjam outras necessidades
que estimulem a descoberta de tecnicas para a criacao de novas ferramentas. Existem no
mercado softwares de diversos nıveis e recursos, indo dos mais simples e amigaveis ate os
altamente profissionais que necessitam um bom treinamento ou muitas horas de estudo
para sua plena utilizacao. Softwares que possibilitam imitar, complementar ou modificar
a realidade.
1
Atualmente, os sistemas de edicao de imagens podem ser desenvolvidos em micro-
computadores pois ja superou-se o problema de armazenamento dos dados e eficiencia
no processamento destes dados, tornando-os accessıveis a um maior numero de usuarios.
Nestes sistemas, utiliza-se processamento de imagens para acrescentar informacoes que
serao sobrepostas a imagem real, gerando melhorias espectrais ou espaciais na mesma.
Um exemplo e a manipulacao de imagens que envolve mudancas em suas caracterısticas,
como uma simples alteracao da cor de fundo de uma foto ou a remocao de algum indivıduo
ou elemento indesejado, ate aquelas altamente complexas envolvendo radicais mudancas
sobre a tomada original, ajudando-a a transforma-la em um trabalho artıstico. A maior
parte das imagens digitais envolvem previa manipulacao, nem que seja uma equalizacao
das cores em relacao a foto original, devido ao processo de digitalizacao da mesma. Outro
exemplo e a composicao de imagens que consiste em montar em uma unica composicao di-
versas imagens, graficos, textos e outros elementos. Ela pode ser considerada como o topo
da imagem digital, considerando-se a complexidade dos trabalhos e tecnicas envolvidas.
Contudo, e necessario desenvolver ferramentas computacionais capazes de transcender
a limitacao bidimensional destes sistemas inerentes a superfıcie plana de uma fotografia,
que digitalizada esta projetada, tambem em outra superfıcie plana que e a tela de um
monitor de video. Muitos dos trabalhos de artistas graficos consiste na criacao de logo-
marcas, anuncios, placas de sinalizacao,etc. Na maioria das vezes, estes trabalhos sao
exibidos em superfıcies planas. Mais cedo ou mais tarde, surgiria a necessidade de in-
gressar no mundo tridimensional ( e nao restringir as criacoes). Estas criacoes precisam
ser inseridas dentro de um contexto (supostamente) real. Qual publicitario nao teve a
necessidade de aplicar anuncios ou logos em cima a imagem de um onibus ou caminhao?
Ou inserir posters ou outdoors na fachada de um predio? Assim como arquitetos, os
criadores de logomarcas e de embalagens precisam apresentar seus trabalhos com a pers-
pectiva que se assemelhe ao produto final. Este tipo de apresentacao ajuda os clientes a
entender como os designs serao na vida real. Antes que seja feito um investimento alto, os
criadores tambem precisam ter certeza que suas simulacoes fotograficas (composicoes de
2
imagens) parecam o mais real possıvel. Muitos clientes sentem dificuldade em visualizar
como um anuncio plano ficara inserido num contexto tridimensioanl, podendo, por isso,
rejeitar uma campanha publicitaria de sucesso.( Por nao conseguir avaliar o impacto que
pode causar nas pessoas).
1.2 Apresentacao do trabalho
Nesta presente dissertacao apresentamos um sistema simples e interativo, capaz de
alterar uma fotografia de uma cena tridimensional, que envolve elementos arquitetonicos,
inserindo novos objetos em determinados planos desta cena. O proposito e disponibilizar
uma ferramenta para composicao de imagem que consiga extrair alguma representacao
geometrica da cena tridimensional, de modo que a sobreposicao em planos da fotografia
original seja feita automaticamente.
O sistema visa atender profissionais da area de arquitetura, fotografia, publicidade
e artes visuais, quando suas principais necessidades envolvem a alteracao de cenarios
reais. Por exemplo, arquitetos podem inserir novos objetos tridimensionais em fachadas de
predios e casas para avaliar o resultado de uma reforma ou restauracao antes de dispender
tempo e dinheiro com a execucao real, enquanto publicitarios podem ter uma visualizacao
previa de suas campanhas em mıdias de outdoor e testar seu impacto visual (vide Figura
1.1). Artistas graficos tambem podem aprimorar suas pinturas em paredes, atualmente
muito comuns nos grandes centros, testando virtualmente o resultado estetico e fazendo
um estudo de cores e tamanho de seus grafismos, antes de se tornarem reais. Ou seja, o
mesmo processo pode ter utilizacoes praticas diferentes para cada usuario.
3
Figura 1.1: (a,b) Fotografias originais, (c) outdoor aplicado na lateral da casa
1.3 Descricao do problema
Na composicao de imagens fotograficas, e comum o usuario querer inserir novas im-
agens em determinados planos da fotografia de origem, ou obter uma nova vista da ce-
na utilizando uma projecao que preserve proporcoes paralelas a um determinado plano.
Muitas vezes, estas tarefas sao executadas a sentimento, com o usuario deformando a
imagem, por tentativa e erro, ate obter o efeito desejado. Este processo, no entanto, e
arduo, tedioso e nem sempre fornece bons resultados, mesmo para usuarios experientes e
habilidosos. Alem do que, acarreta desperdıcio de um tempo precioso dentro de prazos
geralmente corridos. Por exemplo, aplicar varias transformacoes em uma imagem de alta
resolucao, que resultara na saıda, em plotter, de um poster de 5 metros, demanda um
tempo significativo, mesmo que executados em computadores velozes. A ideia e dar mais
precisao a este tipo de operacao, utilizando apenas uma transformacao, e de modo que,
nao seja mais, executada repetidas vezes ate conseguir o resultado desejado.
Para que haja uma solucao que nao esteja ligada ao a sentimento do usuario, necessita-
se recuperar informacoes do cenario tridimensional projetado na fotografia. O problema
de obter informacao tridimensional a partir de fotografias tem recebido bastante atencao
na literatura, mas quase sempre com objetivos diferentes dos aqui propostos. Um grande
numero de trabalhos [Che95, MB95, YHA97] aborda o problema de visualizacao utilizan-
do tecnicas de image based rendering, onde o objetivo e obter novas vistas de uma cena a
4
partir de um conjunto de imagens. Outros trabalhos abordam a reconstrucao tridimen-
sional da cena, utilizando visao estereo [OFZ98] ou adotando modelos matematicos para
os objetos la presentes [PEDM96]. Na secao 1.4 veremos em alguns detalhes as diferencas
entres estes trabalhos relacionados.
1.4 Trabalhos Relacionados
FALAR DO PROBLEMA DE VISUALIZACAO A PARTIR DE IMAGENS......E
FALAR DO PROBLEMA DE RECONSTRUCAO DO MODELO A PARTIR DE IM-
AGENS......
• [Che95]
• [MB95]
• [YHA97]
• [OFZ98]
• [PEDM96]
Ao contrario destas abordagens, o metodo aqui apresentado nao pretende obter uma
reconstrucao completa da cena. Em compensacao, utiliza como dado de entrada uma unica
fotografia, sobre a qual nao se supoe conhecida nenhuma informacao metrica previa, seja
sobre a cena (como coordenadas de pontos de referencia ou medidas de elementos) ou
sobre o posicionamento da camera.
O presente trabalho tem varios pontos em comum com [P3D99], que fornece um am-
biente para extracao de informacao tridimensional a partir de uma unica foto. A enfase
la, no entanto, esta na modelagem parcial de objetos tridimensionais da cena. Nosso
objetivo, em contraste, e fornecer ferramentas para que o usuario possa editar de forma
5
geometricamente correta, e nao apenas a sentimento, planos na fotografia de origem, in-
serindo novos objetos nestes planos com uma perspectiva apropriada. O metodo tambem
permite que o usuario possa extrair uma textura da fotografia de entrada com correcao
automatica de perspectiva e simular uma lente fotografica capaz de corrigir a distorcao
angular provocada pela projecao perspectiva. Deve-se notar que esta projecao nem sempre
pode ser obtida com uma lente fotografica real.
1.5 Organizacao do trabalho
O capıtulo 2 deste trabalho descreve alguns conceitos e tecnicas utilizadas no metodo
proposto que sao comuns as aplicacoes apresentadas ao longo da dissertacao.
O capıtulo 3 apresenta as diferentes aplicacoes desenvolvidas para a edicao tridimen-
sional de fotografias arquitetonicas. Finalmente, o capıtulo 4 mostra testes realizados das
diferentes aplicacoes implementadas, e conclui o trabalho, fazendo uma revisao e analise
do que foi apresentado e sugerindo novos caminhos para trabalhos futuros.
6
Capıtulo 2
Tecnicas do metodo
Este capıtulo inicialmente mostra ...... Emseguida trata .... O capıtulo termina citando......
2.1 Calibracao de camera
Uma das condicoes para construcao de representacoes geometricas, a partir de fo-
tografias, e conhecer ou conseguir identificar os parametros– divididos em intrınsecos e
extrınsecos – da camera que capturou a respectiva imagem. Com isso, obtem-se uma
transformacao que, dado um ponto no espaco, encontra seu ponto correspondente na ima-
gem. Este problema e denominado calibracao de camera e um estudo mais detalhado
pode ser encontrado em [Fau93, TT91].
Os parametros intrınsecos sao aqueles que definem a geometria interna da camera
e suas caracterısticas oticas (distancia focal, centro projetivo, constante de distorcao da
lente, fator de escala em x ). Enquanto que os parametros extrınsecos, ou de orientacao
exterior, representam a posicao da origem do referencial imagem e sua orientacao em
relacao ao referencial objeto (do mundo real). Podemos dizer que sao a posicao e ori-
7
entacao 3D da camera em relacao a um determinado sistema de coordenadas; ou seja,
a relacao espacial entre a camera e o mundo. Os parametros extrınsecos fazem a trans-
formacao entre o sistema de coordenadas do mundo para o sistema de coordenadas da
camera e sao portanto 3 translacoes e 3 rotacoes.
Nesta presente dissertacao, estaremos preocupados em encontrar, dentre estes parametros
citados, a orientacao e posicao virtual da camera no espaco 3D. O calculo destes parametros
serao vistos em detalhes na secao 2.3.
2.1.1 Modelo de camera
E necessario estabelecer o modelo de camera que sera utilizado no metodo proposto.
Por sua estreita relacao com a geometria projetiva, consideramos o modelo simples pin-
hole de camera, que nao considera a existencia de lentes: a imagem de um objeto 3D e
obtida atraves de sua projecao perspectiva em uma superfıcie plana 2D atraves do centro
otico da camera (pin-hole).
Figura 2.1: Modelo pin-hole de camera
8
Projecao perspectiva
Para melhor entendimento do metodo proposto e necessario que o leitor esteja fami-
liarizado com o conceito de projecao perspectiva. A projecao perspectiva e a projecao
paralelas sao classes das projecoes geometricas planares, e a distincao entre estas classes
esta na relacao do centro de projecao ao plano de projecao. Enquanto na projecao paralela
o centro de projecao esta a uma distancia infinita e com os raios de projecao paralelos
ao plano de projecao, na projecao perspectiva, o centro de projecao esta explıcitamente
especificado; ou seja a distancia e finita, e os raios de projecao que emanam do centro
de projecao, passando por cada ponto do objeto e interceptando o plano de projecao
[SKFH97].
Figura 2.2: (a) Projecao paralela e (b) Projecao perspectiva
O efeito visual de uma projecao perspectiva e similar a um sistema fotografico e ao
sistema visual humano. Preserva os elementos lineares mas nao preserva a relacao de
paralelismo. A projecao paralela de um conjunto de linhas paralelas que nao estejam
paralelas ao plano de projecao convergem para um ponto de fuga. Em 3D, as linhas
paralelas encontram-se no infinito, entao o ponto de fuga pode ser pensado como a projecao
de um ponto no infinito. Existe, claro, uma infinidade de pontos de fuga, um para cada
infinidade de direcoes nos quais uma linha pode ser orientada. Como veremos na secao
2.2, estaremos interessados em encontrar os pontos de fuga do conjunto de linhas que
estao paralelos a tres direcoes principais.
9
2.2 Metodo de calibracao utilizado
Diversos metodos de calibracao de camera sao baseados na existencia de pontos de
referencia na imagem, cujas coordenadas no mundo real sejam conhecidas [PCPCG98,
Tsa86]. Outros [PEDM96] empregam informacoes metricas conhecidas, tais como medi-
das de elementos arquitetonicos como janelas ou portas. DEVO ESCREVER UM POUCO
SOBRE ESTES TRABALHOS? CITAR O QUE ELES FAZEM COM ESTAS INFOR-
MACOES?
Neste trabalho supomos que nenhuma informacao deste tipo esta disponıvel. Isto e
importante, por exemplo, em situacoes envolvendo fotos antigas, para as quais e impossıvel
recuperar tais informacoes.
O metodo de calibracao usado neste trabalho, que e o mesmo de [P3D99], recorre
exclusivamente a informacoes relativas a direcoes. Mais exatamente, aos pontos de fuga
relativos a tres direcoes mutuamente ortogonais (FAZER FIGURA). Como mostramos a
seguir, tais pontos de fuga determinam a posicao da projecao do centro-otico da camera
e o angulo de abertura da camera. No entanto, na ausencia de informacoes metricas
complementares, e impossıvel resgatar a distancia focal da camera. Em consequencia,
objetos podem ser inseridos na cena com as proporcoes corretas, mas sem controle absoluto
de seu tamanho. Por exemplo, na Figura 1, o tamanho do outdoor pode apenas ser
especificado em relacao a elementos da cena, como o pe direito da edificacao.
A necessidade de que seja possıvel identificar pontos de fuga de tres direcoes orto-
gonais torna este metodo especialmente aplicavel para fotografias arquitetonicas, onde
usualmente existem tres direcoes principais facilmente identificaveis. Admitimos tambem
que os elementos a serem inseridos na imagem, ou dos quais se pretenda obter informacao
a partir da imagem, estejam alinhados com estas direcoes.
10
2.3 Obtencao da posicao da camera
Esta secao mostra como obter a posicao da camera em relacao a imagem a partir de
tres pontos de fuga Fx, Fy e Fz relativos a tres direcoes ortogonais X, Y e Z. Em fotos
arquitetonicas, a escolha destas direcoes e natural, correspondendo as direcoes principais
de altura, largura e profundidade das edificacoes. Os pontos de fuga sao os pontos de
intersecao, com o plano de projecao, de retas paralelas a estas tres direcoes passando pelo
centro otico C. Logo, determinam um triedro tri-retangulo de vertice no centro otico C.
Esta condicao permite recuperar a posicao do centro otico C relativamentea imagem.
Na verdade, o usuario nao especifica diretamente os pontos de fuga Fx, Fy e Fz : ele
indica, para cada uma das direcoes principais, duas retas na imagem que sejam projecoes
de retas da cena que tenham esta direcao. O ponto de fuga correspondente e obtido
atraves da intersecao destas retas. Para que o usuario indique as retas correspondente a
cada direcao, o sistema oferece uma interface com tres pares de linhas guias para serem
posicionadas nestas retas da imagem, como ilustra a Figura 2.3.
Figura 2.3: Linhas guias para direcoes e posicao do centro otico C
Suponhamos que para cada par de linhas guias, temos os pontos extremos e1 = (u1, v1),
e2 = (u2, v2), e3 = (u3, v3) e e4 = (u4, v4). Para calcular o ponto de fuga F destes dois
11
segmentos de reta ~s e ~t onde :
~s = (e1 − e2) = (u1 − u2, v1 − v2)
~t = (e3 − e4) = (u3 − u4, v3 − v4)(2.1)
utilizamos a propriedade de que o ponto de fuga F ∈ a reta ~s se e somente se F , e1 e
e2 forem colineares, logo:
∆ = 0 ⇒
∣∣∣∣∣∣∣uf − u2 vf − v2
u1 − u2 v1 − v2
∣∣∣∣∣∣∣(uf − u2) (v1 − v2 ) − (vf − v2) (u1 − u2) = 0
(v1 − v2 )uf + (u1 − u2)vf + (u1v2 · u2v1) = 0
a1uf + b1vf + c1 = 0
(2.2)
e o ponto de fuga F ∈ a reta ~t se e somente se F , e3 e e4 forem colineares, logo:
∆ = 0 ⇒
∣∣∣∣∣∣∣uf − u4 vf − v4
u3 − u4 v3 − v4
∣∣∣∣∣∣∣(uf − u4) (v3 − v4 ) − (vf − v4) (u3 − u4) = 0
(v3 − v4 )uf + (u3 − u4)vf + (u3v4 · u4v3) = 0
a2uf + b2vf + c2 = 0
(2.3)
Isolando uf e vf das equacoes 2.2 e 2.3, temos:
uf =(−c1 − b1vf )
a1
vf =(−c2 − a2uf )
b2
(2.4)
Na equacao 2.4, substituindo vf e uf temos:
uf =(b1c2 − b2c1)
(a1b2 − a2 b1)vf =
(a2c1 − a1c2)
(a1b2 − a2 b1)(2.5)
Para recuperar a posicao do centro otico C, com o conhecimento dos pontos de fuga
Fx, Fy e Fz, e possıvel resolver um sistema de equacoes que expressa a ortogonalidade de
12
Figura 2.4: Localizacao do centro otico
−−→CFx,
−−→CFy e
−−→CFz ou usar o fato de que C projeta-se no ortocentro do triangulo de vertice
Fx, Fy e Fz, como ilustra a Figura 2.4.
−−→CFx = (uc − uu, vc − vu, wc − wu)−−→CFy = (uc − uv, vc − vv, wc − wv)−−→CFz = (uc − uw, vc − vw, wc − ww)
onde wu, wv e ww = 0
(2.6)
Como−−→CFx,
−−→CFy e
−−→CFz sao direcoes mutuamente ortogonais, entao o produto escalar
de CFy com CFx e igual a 0 (2.7):
(uc − uv)(uc − uu) + (vc − vv)(vc − vu) + w2c = 0 (2.7)
o produto escalar de CFy com CFZ tambem e igual a 0 (2.8):
(uc − uv)(uc − uw) + (vc − vv)(vc − vw) + w2c = 0 (2.8)
e o produto escalar de CFx com CFz tambem e igual a 0 (2.9):
(uc − uu)(uc − uw) + (uc − vu)(vc − vw) + w2c = 0 (2.9)
O ortocentro (equacoes 2.10 e 2.11) de um triangulo e formado pelas 3 retas L1, L2 e L3
que ligam os 3 pontos de fuga encontrados na imagem (figura 2.5). Segundo [TT91], um
13
sistema similar para calibracao de camera e apresentado, porem com um paralelepıpedo
cujas dimensoes sao conhecidas.
(L1 )2 = (L2 )2 + (L3 )2 − 2(L2L3) cos α1
(L2 )2 = (L1 )2 + (L3 )2 − 2(L1L3) cos α2
(L3 )2 = (L1 )2 + (L2 )2 − 2(L1L2) cos α3
(2.10)
O =Fx
tgα2 tgα3
+Fy
tgα1 tgα3
+Fz
tgα1 tgα2
(2.11)
Figura 2.5: Ortocentro do triangulo
Como o ortocentro do triangulo coincide com a projecao do centro otico C; ou seja,
com o centro projetivo Cp, com coordenadas (uc, vc), para encontrar wc basta resolver a
equacao 2.12:
FxFz = w2c + OF 2
x + z2c + OF 2
y
w2c =
FxFz + OF 2x − OF 2
y
2
(2.12)
A posicao (uc, vc, wc) do centro otico C e expressa no sistema de coordenadas da
imagem Si, que tem origem no seu canto inferior esquerdo, dois eixos u e v alinhados com
as bordas da imagem e um terceiro eixo w ortogonal a elas. As coordenadas neste sistema
sao expressas em pixels. Como dito anteriormente, nao e possıvel obter a distancia focal
real, a menos que se conheca as dimensoes de um pixel. E importante ressaltar, tambem,
14
que a projecao do centro otico nao coincide, necessariamente, com o centro da imagem
(Figura 2.3), uma vez que e possıvel que a imagem utilizada represente apenas uma porcao
da fotografia original.
2.4 Equacoes de projecao
As equacoes de projecao da camera associam a cada ponto do espaco a sua projecao
perspectiva na imagem e , segundo [TT91], representam a orientacao exterior da imagem.
A posicao de um ponto P no espaco e descrita atraves de suas coordenadas no sistema
de coordenadas do mundo Sm, que tem origem no centro otico C da camera e eixos
alinhados com as direcoes principais X, Y e Z. Note que os eixos deste sistema passam,
respectivamente, pelos pontos Fx, Fy e Fz . Como a distancia focal real nao e conhecida,
as coordenadas neste sistema tambem sao expressas em pixels. Para expressa-las em
medidas convencionais de distancia seria necessario, uma vez mais, conhecer as dimensoes
de um pixel.
As equacoes de projecao, portanto, levam um ponto (X, Y, Z) do mundo em sua pro-
jecao (u, v) na imagem. Esta transformacao do espaco objeto para o espaco imagem pode
ser realizada em dois passos. Primeiramente, para escrever estas equacoes, e conveniente
considerar um sistema de coordenadas intermediario, que compensa as diferencas angu-
lares: o sistema da camera Sc, com origem no centro otico C e eixos U , V e W paralelos
aos eixos do sistema de coordenadas da imagem Si. A Figura 2.7 ilustra estes sistemas
de coordenadas e a transformacao espacial. Dado um ponto (X,Y, Z) do mundo, suas
coordenadas no sistema da camera sao dadas por (POSSO DIZER QUE E DADA PELA
MATRIZ DE ROTACAO?):
15
U
V
W
=
Xu Yu Zu
Xv Yv Zv
Xw Yw Zw
X
Y
Z
(2.13)
onde (Xu, Xv, Xw), (Yu, Yv, Yw) e (Zu, Zv, Zw) sao os vetores unitarios correspondentes a
~CFx, ~CFy e ~CFz, respectivamente.
FAZER IMAGEM DOS EIXOS ROTACIONADOS.
Uma vez obtidas estas coordenadas de camera, e imediato obter sua projecao (u, v) ,
que, em coordenadas homogeneas, e dada por:
wc
W= u
U= v
V
t u
t v
t
=
wc 0 uc
0 wc vc
0 0 1
U
V
W
(2.14)
onde uc e vc representam a translacao da origem no centro otico C para a origem no
canto inferior esquerdo da imagem, e wc refere-se a distancia focal dada em pixels.
Assim, a equacao de projecao da camera e expressa por:tu
tv
t
=
wc 0 uc
0 wc vc
0 0 1
Xu Yu Zu
Xv Yv Zv
Xw Yw Zw
X
Y
Z
(2.15)
FALTA UM PARAGRAFO PARA TERMINAR O CAPITULO.
16
Figura 2.6: Translacao da origem
Figura 2.7: Sistemas de coordenadas
17
Capıtulo 3
Aplicacoes do metodo
Neste capıtulo sao apresentadas as aplicacoesdesenvolvidas utilizando o metodo..... Em segui-da serao mostrados alguns resultados obtidoscom testes feitos para cada aplicacao e umaanalise desses resultados.
3.1 Aplicacoes implementadas
Com base no metodo descrito no capıtulo 3, foram implementadas duas aplicacoes
com objetivos diferentes. Na secao 3.1.1, veremos em detalhes como e feita a insercao de
novas imagens em planos distintos da fotografia de origem, paralelos as direcoes principais,
enquanto que na secao 3.2, mostraremos como obter uma nova vista da cena utilizando
uma projecao que preserve proporcoes paralelas a um determinado plano.
18
3.1.1 Edicao em um plano principal
Uma vez obtida a posicao da camera e as equacoes de projecao, e possıvel editar
porcoes da imagem que correspondam a projecoes de figuras (elementos) contidas em
planos paralelos a dois dos eixos principais. Na exposicao a seguir, consideramos planos
paralelos aos eixos X e Y , sendo o tratamento analogo para os demais casos. Dado um
plano escolhido XY , Y Z ouXZ, verificamos qual das duas direcoes deste plano e a mais
vertical e qual e a mais horizontal.
Admitimos que a porcao da imagem a ser editada e a projecao de um retangulo
com lados paralelos aos eixos X e Y , especificada atraves da escolha de dois pontos
diagonalmente opostos p1 e p2, correspondentes as projecoes de dois vertices P1 e P2 do
retangulo. Ha uma infinidade de pontos do espaco que se projetam sobre p1 e sobre p2,
correspondentes as diversas profundidades Z em que o retangulo pode se situar FIGURA.
Como o nosso objetivo e apenas manter as proporcoes das dimensoes e nao recuperar
seus valores absolutos, esta profundidade pode ser arbitrada. Fixamos, assim, Z = 1
e podemos, entao, recuperar a posicao de P1 e P2 e, em consequencia, dos outros dois
vertices Q1 e Q2 do retangulo e de suas projecoes q1 e q2.
Encontramos as dimensoes horizontal e vertical do retangulo, pelas projecoes do vetor−−→P1P2 nas direcoes X e Y , respectivamente, dadas por:
~X∣∣∣ ~X∣∣∣ • −−→P1P2 = hor~Y∣∣∣~Y ∣∣∣ • −−→P1P2 = ver (3.1)
O calculo dos outros dois vertices do retangulo Q1 e Q2, e dado por:
Q1 = P1 +
~X∣∣∣ ~X∣∣∣ • −−→P1P2
Q2 = P2 +
~Y∣∣∣~Y ∣∣∣ • −−→P1P2
(3.2)
Estabelecemos, deste modo, uma correspondencia entre um retangulo do espaco P1Q1P2Q2
19
e sua projecao – o quadrilatero p1q1p2q2 –, atraves da transformacao projetiva bidi-
mensional T′, que e a projecao perspectiva [Wol90] executada pela camera restrita ao
plano Z = 1. Esta correspondencia permite recuperar uma imagem nao deformada do
quadrilatero p1q1p2q2, obtida atraves de um warping dado pela inversa de T′. Sobre esta
imagem nao-deformada podem ser aplicados novos elementos (letreiros ou fotografias, por
exemplo). Estes elementos podem ser inseridos de volta na imagem original atraves do
warping inverso ao aplicado no passo anterior. Todo o processo descrito esta ilustrado na
Figura 3.1.
Figura 3.1: Etapas do processo de edicao de um plano principal
Em muitos casos, pode ser de interesse executar apenas parte do processo acima.
Isto ocorre quando se deseja apenas extrair informacoes da cena, em vez de inserir novos
elementos. A imagem nao-deformada exibe corretamente as proporcoes entre os elementos
presentes no plano de edicao e preserva angulos entre estes elementos. Assim, pode ser
empregada para obter relacoes entre as dimensoes dos elementos (por exemplo, portas
20
ou janelas) ou para extrair texturas la presentes, que podem entao ser utilizadas na
construcao de modelos virtuais da cena.
3.2 Correcao da perspectiva
Embora as imagens produzidas atraves de projecao perspectiva sejam geometricamen-
te corretas, elas nem sempre sao as representacoes ideais do objeto de interesse. Em
particular, angulos nao sao preservados, a menos que tenham lados paralelos ao plano
de projecao. Por exemplo, quando se produz uma fotografia de um edifıcio cuja altura e
grande em relacao a sua distancia ao centro otico da camera (ou seja, em situacoes em que
ha pouca profundidade de campo), e preciso inclinar a maquina fotografica, na tentativa
de enquadrar a maior parte possıvel deste objeto. Isto faz com que a direcao vertical
nao seja paralela ao plano da foto, o que introduz um ponto de fuga correspondente a
esta direcao. Ou seja, o observador tem a impressao de que as arestas verticais do predio
se encontram. Embora isto seja perfeitamente natural, arquitetos muitas vezes preferem
imagens em que a direcao vertical seja paralela a foto, de modo a evitar este efeito. Uma
solucao e empregar lentes especiais capazes de produzir fotos com as caracterısticas de-
sejadas [Nik01]. Nosso sistema oferece uma alternativa, permitindo eliminar o ponto de
fuga correspondente a direcao vertical.
O que fazemos e reprojetar a fotografia original em um novo plano, paralelo a direcao
vertical Y e situado a mesma distancia da camera do plano de projecao original. Alem
disto, escolhemos os eixos de coordenadas neste novo plano de modo que Y se projete
segundo o eixo vertical nesta nova foto. Isto equivale a introduzir uma nova camera, com
o mesmo centro otico, a mesma distancia focal, e novos eixos de coordenadas α, β e γ.
Estes novos eixos sao escolhidos de modo que β tenha a direcao de Y e γ tenha direcao
tao proxima de W quanto possıvel, o que ocorre tomando-se γ como a projecao de W no
plano ortogonal a Y , conforme a Figura 3.2. Assim, vetores ~α, ~β e ~γ correspondentes a
21
estes novos eixos podem ser obtidos a partir dos vetores unitarios ~Y e ~W (respectivamente
vertical e ortogonal ao plano de projecao original) por meio das equacoes abaixo:
~β = ~Y
~γ = ~W − ( ~W · ~Y )~Y
~α = ~β × ~γ
(3.3)
Figura 3.2: Processo de calculo da nova camera
Finalmente, para obter a foto reprojetada, basta considerar que cada ponto (u, v)
da imagem e da forma (u, v, wc), transforma-lo para o sistema de coordenadas da nova
camera, e aplicar a nova projecao perspectiva. Assim, um ponto (u, v) da foto original e
transformado no ponto cujas cooordenadas homogeneas (tu′, tv′, t) sao dadas por:
tu′
tv′
t′
=
wc 0 0
0 wc 0
0 0 1
αu αv αw
βu βv βw
γu γv γw
u
v
wc
(3.4)
onde (αu, αv, αw), (βu, βv, βw) e (γu, γv, γw) sao os vetores unitarios correspondentes aos
vetores α, β e γ obtidos na equacao (3.3).
A equacao 3.4 determina uma transformacao espacial de warping que permite gerar
a nova imagem. O mapeamento planar e representado por duas superfıcies, onde cada
ponto 2D da imagem original se relaciona com o ponto 2D correspondente na imagem
transformada.
22
Na Figura 3.3 podemos visualizar as imagens originais e os resultados das fotografias
reprojetadas geradas pelo sistema. Pode-se observar o efeito desejado: as linhas cor-
respondentes a direcao vertical nas edificacoes tornam-se paralelas e verticais na foto
reprojetada.
Figura 3.3: Imagens originais e reprojetadas com inclinacao vertical
3.3 Outras aplicacoes possıveis
3.4 Tecnologia utilizada na implementacao
A linguagem de programacao utilizada na implementacao foi a linguagem C, por ap-
resentar boas caracterısticas de extensibilidade e performance. O compilador utilizado foi
23
o Microsoft Visual C/C++ 6.0(Windows 2000 e Windows NT).
Para o sistema de janela e interface, decidimos pela utilizacao da biblioteca: IUP/C
[Lev96] pela portabilidade, permitindo que um programa possa ser executado sem modi-
ficacoes em diferentes sistemas operacionais: Windows95/98, WindowsNT, Windows2000
e Unix (AIX, IRIX, Linux, SunOS e Solaris). Alem do que, oferece uma variedade de
funcoes para criacao de dialogos. A biblioteca grafica escolhida foi o CanvasDraw CD
[dTGT] pela sua simplicidade, por ser independente de plataforma, por estar disponıvel
para diversos compiladores e sistemas operacionais. Esta biblioteca contem funcoes para
suportar aplicacoes tanto de textos quanto de imagens e nos oferece recursos suficientes
para o desenvolvimento da ferramenta. Para abrir e gravar as imagens de trabalho uti-
lizamos a biblioteca IM [dTGT0] que e uma biblioteca de acesso a arquivos de imagem
raster.
24
Capıtulo 4
Resultados e Conclusoes
Testes :
• fotos de predios para colocar outdoor diversificando as lentes fotograficas
– Rio Design Center e outras edificacoes na Barra
– predios na Zona Sul onde ja existam outdoors (ex. Humaita)
• fotos de casas antigas que funcionam como centro culturar para colocar banners de
exposicoes, etc.
– Laura Alvin
– Museu da Republica
– ..
• fotos de casas antigas para recuperar informacoes ou restaurar suas fachadas
– Santa Teresa
– ..
25
Este trabalho apresentou um sistema para a edicao tridimensional de fotografias
arquitetonicas. O metodo e de uso simples pelos profissionais a quem se destina,
por requerer informacoes intuitivas e faceis de serem identificadas nas cenas de in-
teresse. O metodo dispensa informacoes previas sobre as cenas, podendo, portanto,
ser utilizado em quaisquer fotografias (inclusive historicas) para extrair informacoes
ou inserir novos elementos virtuais.
Uma limitacao do metodo aqui apresentado e que ele assume que a regiao edita-
da esta contida em um unico plano paralelo a dois eixos principais. Quando esta
hipotese nao e satisfeita, a imagem extraıda contem elementos que nao se apresen-
tam em suas verdadeiras proporcoes. A Figura 4.1 ilustra este fato. Ao extrair
da foto a regiao correspondente a area assinalada, os elementos da sacada tambem
sao extraıdos e aparecem deformados (na verdade, tudo se passa como se a sacada
estivesse desenhada sobre a parede da casa, ao inves de ser um elemento tridimen-
sional). Para atacar este problema, e necessario estender a superfıcie de edicao,
passando a considerar superfıcies formadas por retangulos paralelos aos eixos prin-
cipais.
Uma outra extensao natural consiste em considerar planos paralelos a apenas um
dos eixos. Este e o caso, por exemplo, de telhados, de rampas ou de paredes nao
alinhadas com as direcoes principais.
26
Figura 4.1: (a) Imagem original ; (b) imagem transformada, considerando que todos os
elementos estao no mesmo plano
27
Glossario
Centro projetivo
e o ponto onde o eixo otico do sistema de lentes cruza o plano da
imagem.
Constante de distorcao otica
representa a distorcao causada pela imperfeicao da forma geometrica
das lentes da camera.Distancia focal
e a distancia entreo o ponto nodal interior da camera e o plano da
imagem. Nao podemos considerar a distancia focal impressa nas lentes
das maquinas fotograficas pois e um parametro baseado no modelo de
camera thick-lens. Embora este parametro nos diferentes modelos de
camera – pin-hole e thick-lens – gerem efeitos similares na imagem, eles
possuem diferentes medidas.
Eixo otico
e alinha que atravessa o centro otico e intercepta perpendicularmente o
plano da imagem.
Fator de escala em x
e oriundo da diferenca de elementos sensores na camera e o numero
de pixels amostrados pelo hardware de digitalizacao da imagem. E o
fator de conversao da unidade-pixel na imagem armazenada no frame-
buffer para a unidade do sensor da camera; ou seja, uma escala de
valores armazenados para valores reais. (DUVIDA: tem relacao com a
resolucao e o tamanho do pixel?).
28
Referencias Bibliograficas
[Che95] Shenchang Eric Chen. QuickTime VR - an image-based approach to
virtual environment navigation. In Robert Cook, editor, Conference
Proceedings SIGGRAPH 95, Annual Conference, pages 29–38, Annu-
al Conference Series, Los Angeles, California, August 95. ACM SIG-
GRAPH, Addison Wesley.
[dTGT] Grupo de Tecnologia Grafica TecGraf. Canvas draw CD.
http://www.tecgraf.puc-rio.br/cd, ??
[dTGT0] Grupo de Tecnologia Grafica TecGraf. IM. http://www.tecgraf.puc-
rio.br/im, ?0.
[Fau93] Olivier Faugeras. Three-Dimensional Computer Vision: A Geometric
ViewPoint. MIT Press, Cambridge, Massachusetts, 1993.
[Lev96] Carlos Levy. IUP. http://www.tecgraf.puc-rio.br/iup/, 1996.
[MB95] Leonard McMillan and Gary Bishop. Plenoptic modeling: An image-
based rendering system. In Robert Cook, editor, Conference Proceed-
ings (SIGGRAPH ’95), pages 39–46, Annual Conference Series, Los
Angeles, California, 06-11 August 1995. ACM SIGGRAPH, Addison
Wesley.
[Nik01] Lense nikon 28mm f/3.5 PC-nikkor perspective control technology.
http://www.nikon.com, 2001.
29
[OFZ98] Stephane Laveau Gabriella Csurka Cyril Zeller Cyrille Gauclin Olivi-
er Faugeras, Luc Robert and Imad Zoghlami. 3d reconstruction of
urban scenes from image sequences. Computer Vision and Image Un-
derstanding, Vol. 69 No.3(Article No. IV970665.):292–309, March 1998.
[P3D99] Photo 3d. http://www.photo3D.com, 1999.
[PCPCG98] Flavio Szenberg Paulo Cezar Pinto Carvalho and Marcelo Gattass.
Image-based modeling using a two-step camera calibration method. In
Proceedings of International Symposium on Computer Graphics, Image
Processing and Vision, pages 388–395, 1998.
[PEDM96] Camillo J. Taylor Paul E. Debevec and Jitendra Malik. Modeling
and rendering architecture from photographs: A hybrid geometry-and
image-based approach. In Holly Rushmeier, editor, Conference Pro-
ceedings (SIGGRAPH ’ 96), pages 11–20, Annual Conference Series,
New Orleans, Louisiana, 04-09 August 1996. ACM SIGGRAPH, Ad-
dison Wesley.
[SKFH97] Andries Van Dam Steven K. Feiner, James D. Foley and John F. Hugh-
es. Computer Graphics: Principles and Practice Second Edition in.
Addison-Wesley Publishing Company, Inc., USA, 1997.
[Tsa86] Roger Y. Tsai. An efficient and accurate camera calibration technique
for 3d machine vision. Miami Beach, FL, 22-26 June 1986. IEEE Com-
puter Society Conference on Computer Vision and Pattern Recogni-
tion.
[TT91] Antonio Tommaselli and Clesio Luıs Tozzi. Tutorial:calibracao de
cameras usando feicoes geometricas. In IV Simposio Brasileiro de Com-
putacao Grafica e Processamento de Imagens, Centro de Convencoes
Reboucas, Sao Paulo, 14-17 Julho 1991. SIBGRAPI’91.
30
[Wol90] George Wolberg. Digital Image Warping. IEEE Computer Society
Press, 10662 Los Vaqueros Circle P.O. box 3014, Los Alamitos, CA
90720-1264, 1990.
[YHA97] Ken-Ichi Anjyo Youichi Horry and Kiyoshi Arai. Tour into the picture:
Using a spidery mesh interface to make animation from a single image.
In Conference Proceedings SIGGRAPH’97, pages 225–232., 1997.
31