Reconstrução de formasReconstrução de formasSolução geométrica baseada na Solução geométrica baseada na

escavação do espaço e em superfícies escavação do espaço e em superfícies reflectorasreflectoras

Nuno MartinsNuno MartinsCoimbraCoimbra

Novembro de 2001Novembro de 2001

Nuno Martins

IntroduçãoIntrodução

A obtenção de informação tridimensional a partir de imagens é um processo com grande potencial de aplicação em diferentes domínios de actividade produtiva.

Assim, o grupo onde me incluo tem como objectivo o desenvolvimento de várias técnicas para a obtenção dessa informação.

Nuno Martins

IntroduçãoIntrodução

É variada a informação tridimensional que se pode recolher das imagens. Além disso, existem diferentes maneiras de representar essas informações.

Assim, esta apresentação irá tratar o problema da recuperação de formas e usará a representação volumétrica.

Nuno Martins

IntroduçãoIntrodução

Na representação volumétrica a forma é dada por um conjunto discreto de primitivas básicas, conhecidas como voxels ou 3D pixels.

Cada voxel representa um pequeno volume cúbico do espaço tridimensional da cena, e contém as características correspondentes às suas propriedades físicas.

Nuno Martins

IntroduçãoIntrodução

Durante esta apresentação irá ser descrito um modo alternativo ao método de recuperação de formas conhecido como escavação do espaço, ou, em inglês, space carving.

Essa alternativa será denominada como método geométrico da escavação do espaço.

Nuno Martins

Organização da Organização da apresentaçãoapresentação

Esta apresentação divide-se em: Método da escavação do espaço; Diferenças entre o métodos; O processo de reconstrução de

formas: Calibração do sistema de aquisição; Método geométrico da escavação do

espaço.

Nuno Martins

Método da escavação do Método da escavação do espaçoespaço

O método da escavação do espaço surgiu de um estudo feito por Kiriakos N. Kutulakos e Steven M. Seitz.

Neste estudo provou-se que o método da escavação do espaço converge para a imagem do invólucro 3D (referido como photo hull ou visual hull, em inglês) e que este pode ser calculado directamente das imagens.

Nuno Martins

Método da escavação do Método da escavação do espaçoespaço

O método da escavação do espaço constrói a cena tridimensional a partir de um conjunto de imagens calibradas.

Esta aproximação é parecida à de um escultor a criar uma estátua: retirando material aos poucos, os quais não fazem parte do resultado final.

Nuno Martins

Método da escavação do Método da escavação do espaçoespaço

Para começar, é inicializado um volume composto por um conjunto discreto de voxels, o qual envolve toda a cena tridimensional que se quer reconstruir.

O algoritmo vai removendo, ou escavando, voxels do volume quando esses voxels não forem consistentes com as imagens usadas.

Nuno Martins

Método da escavação do Método da escavação do espaçoespaço

Para modelos de luz que podem ser calculados localmente: Um volume é consistente com um conjunto

de imagens se todos os seus pontos forem consistentes com esse conjunto de imagens.

Um ponto é consistente com um conjunto de imagens se a côr da sua projecção nas imagens puder resultar da radiação do ponto 3D.

Nuno Martins

Método da escavação do Método da escavação do espaçoespaço

Quando são usados modelos mais complexos, um volume tridimensional é consistente quanto à forma e quanto à radiação com um ponto na imagem se a côr do ponto da imagem puder resultar da forma do volume sob o modelo de luz corrente.

Nuno Martins

Método da escavação do Método da escavação do espaçoespaço

Assim, é definido neste método um critério de verificação da consistência.

O objectivo deste critério é decidir se existe um valor de radiação que possa ser atribuído a um ponto no espaço de forma a ele ser considerado consistente com as imagens de entrada.

Nuno Martins

Método da escavação do Método da escavação do espaçoespaço

Resumindo, na fase de escavação faz-se: O cálculo do critério de consistência

para voxel (começando pelos exteriores e avançando para dentro).

Se o voxel for consistente, é lhe atribuído o valor de radiação.

Caso contrário não fará parte da superfície que se está a reconstruir.

Nuno Martins

Método da escavação do Método da escavação do espaçoespaço

A consistência é verificada projectando o voxel em cada imagem que o vê e comparando as cores das projecções nas imagens.

O método termina quando não for possível eliminar mais nenhum voxel do volume.

Nuno Martins

Método da escavação do Método da escavação do espaçoespaço

O que resta do volume é a forma da superfície que se desejava recuperar, referida como imagem do invólucro (photo hull).

Kutulakos e Seitz provaram que a forma resultante é consistente com todas as imagens usadas no processo.

Nuno Martins

Método da escavação do Método da escavação do espaçoespaço

Algoritmo Inicializar o volume que contém a área de

interesse através de um conjunto de voxels;

Para todos os voxels V na superfície do volume: encontrar todas as imagens onde V seja visível; decidir se V é consistente com essas imagens; escavar V, se não for encontrada consistência;

Repetir o passo anterior até não ser possível retirar mais voxels.

Nuno Martins

Diferenças entre os métodosDiferenças entre os métodos

A não utilização do conhecimento sobre a luz.

A utilização da geometria epipolar.

Nuno Martins

O processo de reconstrução O processo de reconstrução de formasde formas

Tal como o método da escavação do espaço, o método geométrico da escavação do espaço necessita de um qualquer processo de calibração.

A geometria de um sistema de aquisição, formado por espelhos e câmaras pode facilitar a calibração.

Nuno Martins

Calibração do sistema de Calibração do sistema de aquisiçãoaquisição

Para uma melhor explanação, divide-se o processo de calibração nos seguintes pontos: O funcionamento dos espelhos; As vantagens da utilização dos espelhos Os espelhos no processo de calibração Cálculo das transformações projectivas Cálculo dos centros ópticos

Nuno Martins

É equivalente ver a imagem de um espelho ou a imagem captada pela câmara.

O funcionamento dos O funcionamento dos espelhosespelhos

Nuno Martins

Os espelhos planares regem-se pelo seguinte princípio de reflexão:

O funcionamento dos O funcionamento dos espelhosespelhos

Nuno Martins

Multiplicação do número de câmaras, mantendo idênticos os seus parâmetros. Facilita a calibração.

Imagens captadas com a intervenção dos espelhos têm histogramas de intensidade iguais.

As vantagens na utilização As vantagens na utilização dos espelhosdos espelhos

Nuno Martins

Alargamento do campo de visão das câmaras. Minimiza o custo e aumenta as capacidades.

Maior flexibilidade dos sistemas de aquisição de imagens. Os espelhos facilitam o escalonamento do sistema e proporcionam um melhor controlo sobre o problema da oclusão.

As vantagens na utilização As vantagens na utilização dos espelhosdos espelhos

Nuno Martins

Segundo Sammer, a geometria epipolar entre duas imagens captadas com a ajuda dos espelhos é descrita geometricamente por

Os espelhos no processo de Os espelhos no processo de calibraçãocalibração

Nuno Martins

E se fosse usado mais do que as imagens reflectidas no espelho?

O que se pode tirar do estudo de Sammer se for considerada a imagem que não é reflectida pelos espelhos?

Os espelhos no processo de Os espelhos no processo de calibraçãocalibração

Nuno Martins

Os espelhos no processo de Os espelhos no processo de calibraçãocalibração

Nuno Martins

Pode criar-se um mecanismo que facilita a correspondência entre as imagens

Os espelhos no processo de Os espelhos no processo de calibraçãocalibração

Nuno Martins

Podem ser estimadas transformações projectivas entre as imagens e planos tridimensionais (espelhos).

Podem ser obtidos os centros ópticos da câmara real e das câmaras virtuais.

Os espelhos no processo de Os espelhos no processo de calibraçãocalibração

Nuno Martins

Define-se a origem para o sistema de coordenadas 3D

Define-se que o espelho esquerdo é o plano XZ

eXZe

e

e

e

e

e

pTZ

X

kZ

X

tttt

tttt

tttt

y

x

k 1

34333231

24232221

14131211

11

0

1

Cálculo das transformações Cálculo das transformações projectivasprojectivas

Nuno Martins

Como o espelho direito é um plano,

e então

dYZd

d

d

d

d

d

d

d

d

pTZ

Y

kZ

Y

tttt

tttt

tttt

Z

Y

Y

tttt

tttt

tttt

y

x

k 1

34333231

24232221

14131211

34333231

24232221

14131211

11

tan

tan

tan

1

tan

1

sin

tansin

cos

d

dd

d

d

YD

YX

DY

DX

Cálculo das transformações Cálculo das transformações projectivasprojectivas

Nuno Martins

Obter os epipolos por construção: Definir as rectas epipolares

projecções conhecidas do ponto 3D

ponto genérico Criação de um sistema com, pelo menos,

duas equações iguais à descrita acima Obter a solução do sistema

0)( qppr Tba

imagem da epipoloeq

ba pp ,

q

Cálculo dos centros ópticosCálculo dos centros ópticos

r

Nuno Martins

(a) (b) (c)

(d)

N.º Pontos/ Caso Epipolo esquerdo Epipolo direito

2/ (a) (-6974.3, -871.3) (1910.2, -801.0)4/ (b) (-2225.0, -98.8) (1801.6, -707.3)8/ (c) (-2959.7, -224.6) (1629.0, -616.2)

Zhang 8/ (d) (-878.6, -591.2) (186.2, -525.3)

Cálculo dos centros ópticosCálculo dos centros ópticos

Nuno Martins

A triangulação é o cálculo da intersecção das rectas 3D que passam pelos respectivos centros ópticos e pelas projecções de um único ponto 3D nos planos imagem.

Cálculo dos centros ópticosCálculo dos centros ópticos

Nuno Martins

Com base na triangulação, os centros ópticos são obtidos através de:

2,1 , de entescorrespond 3D Pontos

2,1j , 3D Ponto

2,1 , 3D Raios

0 and 2,1, ,

iPP

P

iPPr

jiPP

PPPrPC

ij

j

i

ji

jijij

Cálculo dos centros ópticosCálculo dos centros ópticos

Nuno Martins

Os pontos 3D, , são obtidos através da utilização das transformações projectivas nas projecções nas imagens, .

iP

ip

Cálculo dos centros ópticosCálculo dos centros ópticos

Nuno Martins

No cálculo do centro óptico real, utiliza-se um dos epipolos, juntamente com os centros ópticos virtuais.

Este processo é trivial na ausência de ruído. Com ruído, os raios de luz geralmente não se encontram. É necessário encontrar a melhor aproximação para o ponto de intersecção.

Cálculo dos centros ópticosCálculo dos centros ópticos

Nuno Martins

Método geométrico da Método geométrico da escavação do espaçoescavação do espaço

O processo de extracção do mapa 3D começa com a separação das imagens relativas a cada um dos centros ópticos, pois elas foram adquiridas de uma só vez.

Nuno Martins

Método geométrico da Método geométrico da escavação do espaçoescavação do espaço

Posteriormente é considerado um volume V, que tem o formato de um cubo, que envolve a cena tridimensional que se pretende reconstruir.

De seguida, executa-se o algoritmo de método geométrico da escavação do espaço.

Nuno Martins

Método geométrico da Método geométrico da escavação do espaçoescavação do espaço

Algoritmo Dividir o volume inicial em voxels Para cada par de câmaras

Para cada voxel, vi, do volume Verificar se ambas as câmaras vêm vi

Remover vi se apenas uma câmara o vê

Repetir passo anterior até não poderem ser retirados mais voxels

Nuno Martins

Método geométrico da Método geométrico da escavação do espaçoescavação do espaço

Algoritmo Verificar se ambas as câmaras vêm vi

Projectar o voxel nas imagens respectivas de cada câmara de forma a saber as suas fronteiras e limitar a procura na imagem

Usar a correlação cruzada, as homografias e a matriz fundamental para ter certezas sobre a correspondência das projecções do voxel

Só se todos os pontos da projecção do voxel tiverem correspondentes é que são vistos por ambas as câmaras

Nuno Martins

Método geométrico da Método geométrico da escavação do espaçoescavação do espaço

A correlação deve ser feita entre as imagens tendo em conta a distorção afim que advém do processo de correspondência.

A estimação da homografia e da matriz fundamental é simplificada devido à geometria dos espelhos e câmara.

Nuno Martins

Método geométrico da Método geométrico da escavação do espaçoescavação do espaço

De outra forma, a remoção de voxels é feita até ao ponto de intersecção das duas rectas 3D que assentam nos centros ópticos das câmaras e nas projecções das imagens.

Concluído o processo de remoção, os voxels que restaram podem ser mostrados utilizando uma qualquer biblioteca gráfica (OpenGL).

Nuno Martins

Método geométrico da Método geométrico da escavação do espaçoescavação do espaço

Quanto maior for a divisão do volume inicial em voxels melhor será a qualidade da reconstrução.

No entanto o processo é mais demorado e necessita de mais recursos computacionais.

Nuno Martins

É necessário utilizarem-se mais imagens para uma reconstrução plena e perfeita.

Isto faz com que deva ser estudada a introdução de mais espelhos.

O processo de calibração do sistema tem excelentes resultados na obtenção da informação necessária ao método.

Conclusões e trabalho futuroConclusões e trabalho futuro

Nuno Martins

Deve, também, ser desenvolvida uma técnica para automaticamente aumentar o número de pontos necessários à fase da calibração, de forma a reduzir os erros e aumentar a robustez.

Deve ser tratada a questão da textura da forma tridimensional resultante.

Conclusões e trabalho futuroConclusões e trabalho futuro