73
Estimação de orientação de câmera em ambientes antrópicos a partir de edgels Nicolau L. Werneck Orientadora: Profa. Dra. Anna Helena Reali Costa Laboratório de Técnicas Inteligentes, LTI — PCS — Poli Universidade de São Paulo 17 de Agosto de 2012

Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Embed Size (px)

DESCRIPTION

Slides from my doctorate thesis defense at EPUSP, Aug. 2012.

Citation preview

Page 1: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Estimação de orientação de câmera emambientes antrópicos a partir de edgels

Nicolau L. Werneck

Orientadora: Profa. Dra. Anna Helena Reali CostaLaboratório de Técnicas Inteligentes, LTI — PCS — Poli

Universidade de São Paulo

17 de Agosto de 2012

Page 2: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Roteiro

1 Introdução2 Descrição do funcionamento do Corisco3 Experimentos4 Conclusão

1 / 40

Page 3: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Ambiente antrópicoUm ambiente antrópico é composto por retas, que sãoparalelas às direções de um referencial natural.

A orientação encontrada é uma rotação tridimensionalentre o referencial natural e o referencial da câmera.

2 / 40

Page 4: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Edgels e retasEdgels são pontos amostrados sobre curvas ou retas.

Edgels são utilizados para diversas tarefas.

3 / 40

Page 5: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Introdução

Foi proposto um método de visão monocular,denominado Corisco, capaz de estimar a orientação deuma câmera em relação a um ambiente antrópico.

Evolução de métodos existentes baseados em edgels(Coughlan and Yuille [2003]).

Exemplos de aplicações:Guiamento de um robô móvel.Estimativas iniciais para visão multi-ocular.

4 / 40

Page 6: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Introdução

Foi proposto um método de visão monocular,denominado Corisco, capaz de estimar a orientação deuma câmera em relação a um ambiente antrópico.

Evolução de métodos existentes baseados em edgels(Coughlan and Yuille [2003]).

Exemplos de aplicações:Guiamento de um robô móvel.Estimativas iniciais para visão multi-ocular.

4 / 40

Page 7: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Introdução

Foi proposto um método de visão monocular,denominado Corisco, capaz de estimar a orientação deuma câmera em relação a um ambiente antrópico.

Evolução de métodos existentes baseados em edgels(Coughlan and Yuille [2003]).

Exemplos de aplicações:Guiamento de um robô móvel.Estimativas iniciais para visão multi-ocular.

4 / 40

Page 8: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Contribuições

O Corisco possui as seguintes peculiaridades:Suporte a qualquer modelo de câmera possível.Comprometimento entre velocidade e precisão.Não assume nada sobre a solução.Dispensa operações de alto custo computacional(sin, atan, exp, log). Utiliza a função x−1/2.

5 / 40

Page 9: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Visão em alto nívelEntradas: Imagem, parâmetros intrínsecos e de controle.Saída: Orientação Ψ (rotação tridimensional).

6 / 40

Page 10: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

GeometriaA direção v de uma reta sobre o ponto p depende de Ψ.

(Ψ,p)→ v

http://youtu.be/PbUyvdnBIzs

7 / 40

Page 11: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Objetivo

Nossa perguntaQual seria a melhor forma de estimar a orientação decâmera em tempo real em um ambiente antrópico apartir de uma única imagem distorcida?

8 / 40

Page 12: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Objetivo

Nossa perguntaQual seria a melhor forma de estimar a orientação decâmera em tempo real em um ambiente antrópico apartir de uma única imagem distorcida?

8 / 40

Page 13: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Edgels versus retas

A orientação pode ser encontrada por retas (Caprile andTorre [1990], Cipolla et al. [1999], Rother [2002]).

Mais intuitivos.Alcançam boas precisões.

No entanto:Restrição à projeção perspectiva.Complexidade da extração de retas.

Edgels permitem lidar com distorções e são mais fáceisde extrair e de sub-amostrar.

9 / 40

Page 14: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Detalhamento do Corisco

10 / 40

Page 15: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Detalhamento do Corisco

10 / 40

Page 16: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Detalhamento do Corisco

10 / 40

Page 17: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Detalhamento do Corisco

10 / 40

Page 18: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Diagrama de blocos

11 / 40

Page 19: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Diagrama de blocos

11 / 40

Page 20: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Diagrama de blocos

11 / 40

Page 21: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Extração de edgels

12 / 40

Page 22: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Extração de edgelsSimilar à detecção de bordas de Canny.Bordas são máximos locais na direção do gradiente.

0 100 200 300 400 500 600

0

100

200

300

400

Imagem

0 100 200 300 400 500 600

0

100

200

300

400

Derivada em x

0 100 200 300 400 500 600

0

100

200

300

400

Derivada em y

0 100 200 300 400 500 600

0

100

200

300

400

Intensidade do gradiente

12 / 40

Page 23: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Extração de edgels

Varredura da imagem sobre um conjunto de linhas ecolunas que formam uma máscara em forma de grade.

Cada borda encontrada produz um edgel. Sua direçãodeve ser aproximadamente ortogonal à da linha varrida.

0 100 200 300 400 500 600

0

100

200

300

400

Grade de amostragem

0 100 200 300 400 500 600

0

100

200

300

400

Edgels extraídos

13 / 40

Page 24: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Modelos de câmera

14 / 40

Page 25: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Modelos de câmera

14 / 40

Page 26: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Modelos de câmera

Mapeamento bijetivo entre os pontos da imagem edireções ao redor do ponto focal da câmera.

q p

14 / 40

Page 27: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Exemplos de modelos de câmeraGrande angular, olho-de-peixe, equiretangular.

15 / 40

Page 28: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Equações de modelos de câmera

Perspectiva Equiretangular (lat-lon)px = (qx/qz)f +cx

py = (qy/qz)f +cypx = f tan−1(qz ,qx )py = f sin−1 (qy/|q|)

Harris (distorção radial) Polar Equidistante (olho-de-peixe)

g(x) = 1√1−2κx2

px = p′xg(|p′|) +cx

py = p′yg(|p′|) +cy

ϕ = cos−1 (qz/|q|)px = ϕ

qx√qx 2+qy 2

f +cx

py = ϕqy√

qx 2+qy 2f +cy

16 / 40

Page 29: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Projeção de um edgelUm ponto qn de uma reta na direção rk é projetado empn, produzindo um edgel com direção

vnk ∝ Jnrk (v← (Ψ,p))

A matriz Jacobiana da projeção Jn depende de pn. Adireção ortogonal a vn é denominada un.

17 / 40

Page 30: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Projeção de um edgelUm ponto qn de uma reta na direção rk é projetado empn, produzindo um edgel com direção

vnk ∝ Jnrk (v← (Ψ,p))

A matriz Jacobiana da projeção Jn depende de pn. Adireção ortogonal a vn é denominada un.

17 / 40

Page 31: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Normal de um edgel

Direção de um plano definido pelo ponto focal e por umedgel, ou uma reta correspondente no ambiente.

nk = uxkJx

k +uykJ

yk

18 / 40

Page 32: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Função objetivo

19 / 40

Page 33: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Função objetivo

19 / 40

Page 34: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Função objetivo

A função objetivo é o cerne do método.Independe da técnica de extração.Determina o resultado.Conduz a escolha do algoritmo de otimização.

A expressão tem a forma de uma soma de erros obtidosde cada observação.

yn = xn− x̂n(Ψ)

F (Ψ) = ∑n

(yn)2

19 / 40

Page 35: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Matriz de rotaçãoO cálculo das predições começa com o cálculo dasdireções do referencial natural rk em função de Ψ.

O Corisco trabalha com quaternions.

Ψ = (Ψa,Ψb,Ψc ,Ψd) |Ψ|= 1

Para uma orientação Ψ qualquer temos

R(Ψ) =[rx ry rz

]T=[

Ψa2 + Ψb2−Ψc2−Ψd 2 2ΨbΨc +2ΨaΨd 2ΨbΨd −2ΨaΨc

2ΨbΨc −2ΨaΨd Ψa2−Ψb2 + Ψc2−Ψd 2 2Ψc Ψd +2ΨaΨb

2ΨbΨd +2ΨaΨc 2Ψc Ψd −2ΨaΨb Ψa2−Ψb2−Ψc2 + Ψd 2

]

20 / 40

Page 36: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Resíduo de um edgelDados os rk , calculam-se as direções preditas vnkutilizando Jk .

Ψ→ rk → vnk

vnk ∝ Jnrk

O resíduo é obtido entre:vn (ou un) medidos da imagem.vnk preditas a partir de Ψ e pn.

Métodos anteriores: Corisco:∠v = arctan(vx ,vy ) unvnk∠vn−∠vnk

21 / 40

Page 37: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Técnicas de estimaçãoComparação de técnicas já utilizadas com edgels:

MAP EM M-estimaçãoModelos Probabilístico Probabilístico ρ(x)

Classes 4 4 3Classificação × Iterativa Direta

0.2 0.1 0.0 0.1 0.20.0

0.2

0.4

0.6

0.8

1.0

1.2

Funções de Tukey, e quadrática

22 / 40

Page 38: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Expressão da função objetivoEstimador MAP (Coughlan and Yuille [2003]):

F (Ψ) =−∑nlog(

∑k

p(cn = k)p(∠vn|Ψ,pn,cn = k)

)

Estimador EM (Schindler and Dellaert [2004]):

F (Ψ) =−∑n

∑k

p(cn = k) log (p(∠vn|Ψ,pn,cn = k))

F (Ψ) = ∑n

∑k

p(cn = k)(∠vn−∠vnk)2

Corisco:F (Ψ) = ∑

nmin

kρ(unvnk)

23 / 40

Page 39: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Expressão da função objetivoEstimador MAP (Coughlan and Yuille [2003]):

F (Ψ) =−∑nlog(

∑k

p(cn = k)p(∠vn|Ψ,pn,cn = k)

)

Estimador EM (Schindler and Dellaert [2004]):

F (Ψ) =−∑n

∑k

p(cn = k) log (p(∠vn|Ψ,pn,cn = k))

F (Ψ) = ∑n

∑k

p(cn = k)(∠vn−∠vnk)2

Corisco:F (Ψ) = ∑

nmin

kρ(unvnk)

23 / 40

F (Ψ) =−∑n

∑k

p(cn = k) log (p(∠vn|Ψ,pn,cn = k))

Page 40: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Expressão da função objetivoEstimador MAP (Coughlan and Yuille [2003]):

F (Ψ) =−∑nlog(

∑k

p(cn = k)p(∠vn|Ψ,pn,cn = k)

)

Estimador EM (Schindler and Dellaert [2004]):

F (Ψ) =−∑n

∑k

p(cn = k) log (p(∠vn|Ψ,pn,cn = k))

F (Ψ) = ∑n

∑k

p(cn = k)(∠vn−∠vnk)2

Corisco:F (Ψ) = ∑

nmin

kρ(unvnk)

23 / 40

F (Ψ) = ∑n

∑k

p(cn = k)(∠vn−∠vnk)2

Page 41: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Expressão da função objetivoEstimador MAP (Coughlan and Yuille [2003]):

F (Ψ) =−∑nlog(

∑k

p(cn = k)p(∠vn|Ψ,pn,cn = k)

)

Estimador EM (Schindler and Dellaert [2004]):

F (Ψ) =−∑n

∑k

p(cn = k) log (p(∠vn|Ψ,pn,cn = k))

F (Ψ) = ∑n

∑k

p(cn = k)(∠vn−∠vnk)2

Corisco:F (Ψ) = ∑

nmin

kρ(unvnk)

23 / 40

Corisco:F (Ψ) = ∑

nmin

kρ(unvnk)

Page 42: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Otimização

24 / 40

Page 43: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Otimização

24 / 40

Page 44: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Otimização

Primeiro passo: RANSAC, busca estocástica guiadapelos dados. Inerentemente ineficiente e impreciso.

→Ψ inicial

Segundo passo: FilterSQP, otimização contínua, maiseficiente e precisa do que o RANSAC.

→Ψ final

24 / 40

Page 45: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Otimização

Primeiro passo: RANSAC, busca estocástica guiadapelos dados. Inerentemente ineficiente e impreciso.

→Ψ inicial

Segundo passo: FilterSQP, otimização contínua, maiseficiente e precisa do que o RANSAC.

→Ψ final

24 / 40

Page 46: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Otimização

Primeiro passo: RANSAC, busca estocástica guiadapelos dados. Inerentemente ineficiente e impreciso.

→Ψ inicial

Segundo passo: FilterSQP, otimização contínua, maiseficiente e precisa do que o RANSAC.

→Ψ final

24 / 40

Page 47: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

RANSAC

Triplas de observações são selecionadas ao acaso. Decada tripla calcula-se um Ψ hipotético, utilizando nk .

O Ψ de menor F (Ψ) é retido como estimativa inicial.

25 / 40

Page 48: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

FilterSQPMinimizar F (Ψ) sobre as 4D e restrito a |Ψ|= 1.

Programa não-linear → SQP: Sequential QuadraticProgramming

O FilterSQP (Fletcher and Leyffer [2002]) dispensafunções de penalidade.

26 / 40

Page 49: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

DerivadaNo Corisco as derivadas em Ψ são calculadas através defórmulas fechadas.

∂F∂ Ψa (Ψ) = ∑

nkKnk ρ

′(unvnk)

(ux

n∂vx

nk∂ Ψa + uy

n∂vy

nk∂ Ψa

)

As derivadas das direções rk são triviais:

∂ rx∂ Ψa = 2(Ψa,Ψd ,−Ψc)

∂ rx∂ Ψb = 2(Ψb,Ψc ,Ψd)

· · ·

27 / 40

Page 50: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Experimentos

Foram realizados 3 experimentos que permitem avaliar odesempenho do Corisco.

Cada experimento utilizou um conjunto de imagens, e ummétodo diferente para obter orientações de referência.

O erro observado é o deslocamento em graus da“rotação residual” entre cada estimativa e referência.

O Corisco foi executado variando-seo tamanho da grade,e o número de iterações do RANSAC.

28 / 40

Page 51: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

YorkUrbanDB

Imagens: 101 imagens de ambientes antrópicos.

Modelo: Perspectiva.

Referência: Método semi-automático baseado em retas.

Comparação: Métodos testados por Denis et al. [2008].

Parâmetros do modelo, orientações de referência eestatísticas de desempenho fornecidos pelos autores.

29 / 40

Page 52: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

YorkUrbanDB

30 / 40

Page 53: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

YorkUrbanDB

0 2 4 6 8 10Erro [graus]

1

2

4

8

16

32

64

128

Larg

ura

da g

rade [

pix

els

]

Distribuição do erro

10 100Tempo [segundos]

Duração do processo

TotalRANSAC

Avaliação de desempenho do Corisco - Erro de Tukey, 10000 iterações do RANSAC

31 / 40

Page 54: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

YorkUrbanDB

0 2 4 6 8 10Erro [graus]

1

2

4

8

16

32

64

128

Larg

ura

da g

rade [

pix

els

]

Distribuição do erro

1 10Tempo [segundos]

Duração do processo

TotalRANSAC

Avaliação de desempenho do Corisco - Erro de Tukey, 1000 iterações do RANSAC

31 / 40

Page 55: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

YorkUrbanDB

0 2 4 6 8 10Erro [graus]

1

2

4

8

16

32

64

128

Larg

ura

da g

rade [

pix

els

]

Distribuição do erro

0.1 1 10Tempo [segundos]

Duração do processo

TotalRANSAC

Avaliação de desempenho do Corisco - Erro de Tukey, 200 iterações do RANSAC

31 / 40

Page 56: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

YorkUrbanDB

32 / 40

Método Tempo ErroMédia σ 1/4 Mediana 3/4

EM Newton 27+? 4,00◦ 1,00◦ 1,15◦ 2,61◦ 4,10◦MAP Quasi-Newton 6+? 4,00◦ 1,00◦ 1,32◦ 2,39◦ 4,07◦EM Quasi-Newton 1+? 9,00◦ 1,00◦ 4,04◦ 6,21◦ 10,33◦Corisco i = 104 g = 1 50,38 1,68◦ 3,21◦ 0,73◦ 1,27◦ 1,73◦Corisco i = 104 g = 4 16,18 1,81◦ 3,24◦ 0,73◦ 1,11◦ 1,90◦Corisco i = 104 g = 32 6,54 2,36◦ 3,76◦ 0,88◦ 1,48◦ 2,14◦Corisco i = 103 g = 1 9,71 2,12◦ 3,00◦ 0,82◦ 1,52◦ 2,40◦Corisco i = 103 g = 4 2,95 2,27◦ 3,42◦ 0,87◦ 1,46◦ 2,38◦Corisco i = 103 g = 32 0,93 2,89◦ 4,05◦ 1,15◦ 1,86◦ 2,76◦Corisco i = 200 g = 1 6,69 3,47◦ 4,53◦ 0,88◦ 1,65◦ 4,49◦Corisco i = 200 g = 4 1,84 4,24◦ 5,79◦ 1,12◦ 2,06◦ 5,18◦Corisco i = 200 g = 32 0,45 4,24◦ 4,70◦ 1,50◦ 2,75◦ 5,20◦

Page 57: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

YorkUrbanDB

32 / 40

Método Tempo ErroMédia σ 1/4 Mediana 3/4

EM Newton 27+? 4,00◦ 1,00◦ 1,15◦ 2,61◦ 4,10◦MAP Quasi-Newton 6+? 4,00◦ 1,00◦ 1,32◦ 2,39◦ 4,07◦EM Quasi-Newton 1+? 9,00◦ 1,00◦ 4,04◦ 6,21◦ 10,33◦Corisco i = 104 g = 1 50,38 1,68◦ 3,21◦ 0,73◦ 1,27◦ 1,73◦Corisco i = 104 g = 4 16,18 1,81◦ 3,24◦ 0,73◦ 1,11◦ 1,90◦Corisco i = 104 g = 32 6,54 2,36◦ 3,76◦ 0,88◦ 1,48◦ 2,14◦Corisco i = 103 g = 1 9,71 2,12◦ 3,00◦ 0,82◦ 1,52◦ 2,40◦Corisco i = 103 g = 4 2,95 2,27◦ 3,42◦ 0,87◦ 1,46◦ 2,38◦Corisco i = 103 g = 32 0,93 2,89◦ 4,05◦ 1,15◦ 1,86◦ 2,76◦Corisco i = 200 g = 1 6,69 3,47◦ 4,53◦ 0,88◦ 1,65◦ 4,49◦Corisco i = 200 g = 4 1,84 4,24◦ 5,79◦ 1,12◦ 2,06◦ 5,18◦Corisco i = 200 g = 32 0,45 4,24◦ 4,70◦ 1,50◦ 2,75◦ 5,20◦

Page 58: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

YorkUrbanDB

32 / 40

Método Tempo ErroMédia σ 1/4 Mediana 3/4

EM Newton 27+? 4,00◦ 1,00◦ 1,15◦ 2,61◦ 4,10◦MAP Quasi-Newton 6+? 4,00◦ 1,00◦ 1,32◦ 2,39◦ 4,07◦EM Quasi-Newton 1+? 9,00◦ 1,00◦ 4,04◦ 6,21◦ 10,33◦Corisco i = 104 g = 1 50,38 1,68◦ 3,21◦ 0,73◦ 1,27◦ 1,73◦Corisco i = 104 g = 4 16,18 1,81◦ 3,24◦ 0,73◦ 1,11◦ 1,90◦Corisco i = 104 g = 32 6,54 2,36◦ 3,76◦ 0,88◦ 1,48◦ 2,14◦Corisco i = 103 g = 1 9,71 2,12◦ 3,00◦ 0,82◦ 1,52◦ 2,40◦Corisco i = 103 g = 4 2,95 2,27◦ 3,42◦ 0,87◦ 1,46◦ 2,38◦Corisco i = 103 g = 32 0,93 2,89◦ 4,05◦ 1,15◦ 1,86◦ 2,76◦Corisco i = 200 g = 1 6,69 3,47◦ 4,53◦ 0,88◦ 1,65◦ 4,49◦Corisco i = 200 g = 4 1,84 4,24◦ 5,79◦ 1,12◦ 2,06◦ 5,18◦Corisco i = 200 g = 32 0,45 4,24◦ 4,70◦ 1,50◦ 2,75◦ 5,20◦

Page 59: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

YorkUrbanDB

32 / 40

Método Tempo ErroMédia σ 1/4 Mediana 3/4

EM Newton 27+? 4,00◦ 1,00◦ 1,15◦ 2,61◦ 4,10◦MAP Quasi-Newton 6+? 4,00◦ 1,00◦ 1,32◦ 2,39◦ 4,07◦EM Quasi-Newton 1+? 9,00◦ 1,00◦ 4,04◦ 6,21◦ 10,33◦Corisco i = 104 g = 1 50,38 1,68◦ 3,21◦ 0,73◦ 1,27◦ 1,73◦Corisco i = 104 g = 4 16,18 1,81◦ 3,24◦ 0,73◦ 1,11◦ 1,90◦Corisco i = 104 g = 32 6,54 2,36◦ 3,76◦ 0,88◦ 1,48◦ 2,14◦Corisco i = 103 g = 1 9,71 2,12◦ 3,00◦ 0,82◦ 1,52◦ 2,40◦Corisco i = 103 g = 4 2,95 2,27◦ 3,42◦ 0,87◦ 1,46◦ 2,38◦Corisco i = 103 g = 32 0,93 2,89◦ 4,05◦ 1,15◦ 1,86◦ 2,76◦Corisco i = 200 g = 1 6,69 3,47◦ 4,53◦ 0,88◦ 1,65◦ 4,49◦Corisco i = 200 g = 4 1,84 4,24◦ 5,79◦ 1,12◦ 2,06◦ 5,18◦Corisco i = 200 g = 32 0,45 4,24◦ 4,70◦ 1,50◦ 2,75◦ 5,20◦

Page 60: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

ApaSt

Imagens: 24+24 imagens de edifícios.

Modelo: Perspectiva com distorção radial (Harris).

Referência: Bundler.

33 / 40

Page 61: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

ApaStO Bundler (Snavely et al. [2006]) foi utilizado para obteras orientações de referência e os parâmetros intrínsecos.

Método multi-ocular baseado em pontos.

34 / 40

Page 62: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

ApaSt

0 2 4 6 8 10Erro [graus]

1

2

4

8

16

32

64

128

Larg

ura

da g

rade

[pix

els]

Distribuição do erro

10 100Tempo [segundos]

Duração do processo

TotalRANSAC

Avaliação de desempenho do Corisco - Base ApaSt, 10000 iterações do RANSAC

35 / 40

Page 63: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

ApaSt

0 2 4 6 8 10Erro [graus]

1

2

4

8

16

32

64

128

Larg

ura

da g

rade

[pix

els]

Distribuição do erro

1 10Tempo [segundos]

Duração do processo

TotalRANSAC

Avaliação de desempenho do Corisco - Base ApaSt, 1000 iterações do RANSAC

35 / 40

Page 64: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

StreetViewImagens: 250 imagens de um ambiente urbano.

Modelo: Projeção equiretangular.

Referência: Sensores físicos (IMU).

36 / 40

Page 65: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

StreetViewErro ' 1◦, tempo ' 17s.

0 50 100 150 200 2500.9970

0.9975

0.9980

0.9985

0.9990

0.9995

1.0000

0 50 100 150 200 2500.03

0.02

0.01

0.00

0.01

0.02

0.03

0 50 100 150 200 2500.03

0.02

0.01

0.00

0.01

0.02

0.03

0 50 100 150 200 2500.03

0.02

0.01

0.00

0.01

0.02

0.03

Parâmetros estimados e referência ajustada

Estimativa Referência

37 / 40

Page 66: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Conclusão

O Corisco constitui um método com grande potencialpara aplicação imediata.

Implementação relativamente simples.Grande robustez (distorções, RANSAC).Bom desempenho.

Demonstrou-se as vantagens do uso da máscara emforma de grade, e da M-estimação.

Também foi demonstrado como utilizar o FilterSQP paratrabalhar naturalmente com quaternions.

38 / 40

Page 67: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Trabalhos futuros

Controle automático dos parâmetros.Reconstrução multi-ocular e monocular.Utilizar filtros direcionais para medir o erro angular.Utilizar a máscara de grade em outros problemas.Estimar orientação e calibração, e extrair curvas emum processo unificado. (MRF?)

39 / 40

Page 68: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Fim

Obrigado!

FinanciamentoObrigado à Capes, CNPq e USP pelo suporte financeiro.

40 / 40

Page 69: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Publicações

Speeding up probabilistic inference of cameraorientation by function approximation and gridmasking, Werneck and Costa [2011]Mapping with monocular vision in two dimensions,Werneck and Costa [2010]Medição de distância e altura de bordas horizontaiscom visão monocular linear para robôs móveis,Werneck et al. [2009]

1 / 5

Page 70: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Referências BibliográficasB. Caprile and V. Torre. Using vanishing points for camera calibration.International Journal of Computer Vision, 4(2):127–139, March 1990.ISSN 0920-5691. doi: 10.1007/BF00127813. URLhttp://www.springerlink.com/content/k75077108473tm15/.

R Cipolla, T Drummond, and D Robertson. Camera calibration fromvanishing points in images of architectural scenes. In Proc. of theBritish Machine Vision Conference, volume 2, pages 382–391, 1999.

James M. Coughlan and A. L. Yuille. Manhattan world: orientation andoutlier detection by Bayesian inference. Neural Computation, 15(5):1063—-1088, March 2003. URL http://www.mitpressjournals.org/doi/abs/10.1162/089976603765202668.

Patrick Denis, James H Elder, and Francisco J Estrada. Efficientedge-based methods for estimating Manhattan frames in urban imagery.In Proceedings of the 10th European Conference on Computer Vision,pages 197–210. Springer-Verlag, 2008. doi:10.1007/978-3-540-88688-4\_15.

Roger Fletcher and Sven Leyffer. Nonlinear programming without a penaltyfunction. Mathematical Programming, 91(2):239–269, January 2002.ISSN 0025-5610. doi: 10.1007/s101070100244. URLhttp://www.springerlink.com/content/qqj37x00y79ygdl8/.

2 / 5

Page 71: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Carsten Rother. A new approach to vanishing point detection inarchitectural environments. Image and Vision Computing, 20(9-10):647–655, 2002. doi: 10.1016/S0262-8856(02)00054-9. URLhttp://dx.doi.org/10.1016/S0262-8856(02)00054-9.

G. Schindler and F. Dellaert. Atlanta world: an expectation maximizationframework for simultaneous low-level edge grouping and cameracalibration in complex man-made environments. In Proceedings of the2004 IEEE Computer Society Conference on Computer Vision andPattern Recognition, 2004. CVPR 2004., pages 203–209. IEEE, 2004.ISBN 0-7695-2158-4. doi: 10.1109/CVPR.2004.1315033. URL http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=1315033.

Noah Snavely, Steven M. Seitz, and Richard Szeliski. Photo tourism:exploring photo collections in 3D. In ACM Transactions on Graphics(Proceedings of SIGGRAPH 2006), pages 835–846, 2006. URLhttp://dl.acm.org/citation.cfm?id=1141964.

Nicolau Leal Werneck and Anna Helena Reali Costa. Mapping withmonocular vision in two dimensions. International Journal of NaturalComputing Research, 1(4), 2010.

3 / 5

Page 72: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Nicolau Leal Werneck and Anna Helena Reali Costa. Speeding upprobabilistic inference of camera orientation by function approximationand grid masking. In Gladimir Baranoski and Vaclav Skala, editors,WSCG 2011 Communication Papers, pages 127–134, Plzen, CzechRepublic, 2011. UNION Agency. URLhttp://nwerneck.sdf.org/almoxarifado/nic-wscg2011.pdf.

Nicolau Leal Werneck, Flávio Sales Truzzi, and Anna Helena Reali Costa.Medição de distância e altura de bordas horizontais com visãomonocular linear para robôs móveis. In Anais do V Workshop de VisãoComputacional, São Paulo, 2009. URL http://www.lti.pcs.usp.br/~nwerneck/almoxarifado/59760_WerneckTruzziCosta.pdf.

4 / 5

Page 73: Estimação de orientação de câmera em ambientes antrópicos a partir de edgels

Teste de calibração

Estimação da distância focal com a mesma F (Ψ).

600 700 800 900 1000 1100 1200Distância focal

0

500

1000

1500

2000

Funçã

o o

bje

tivo (

transl

adada)

N8 - todas imagens

600 700 800 900 1000 1100 1200Distância focal

0

20

40

60

80

100

120

140

160

Funçã

o o

bje

tivo (

transl

adada)

N8 - imagens individuais

600 700 800 900 1000 1100 1200Distância focal

0

500

1000

1500

2000

Funçã

o o

bje

tivo (

transl

adada)

a230 - todas imagens

600 700 800 900 1000 1100 1200Distância focal

0

20

40

60

80

100

120

140

160

Funçã

o o

bje

tivo (

transl

adada)

a230 - imagens individuais

Calibração baseada no Corisco - Função objetivo variando com a distância focal

Referência (Bundler) Estimado (Corisco)Referência (Bundler) Estimado (Corisco)Referência (Bundler) Estimado (Corisco)Referência (Bundler) Estimado (Corisco)

5 / 5