View
212
Download
0
Category
Preview:
Citation preview
Experiências no Seguimento de ObjectosRígidos e não Rígidos em
Visão por Computador
Autores:
João M. R. S. TavaresA. Jorge Padilha
Primeiro Ciclo de Seminários InternosDepartamento de Ciência e Tecnologia
Universidade Fernando Pessoa
Maio 1999
J. Tavares, A. Padilha Exp. no Seguimento de Objectos Rígidos e não Rígidos em V. C. 2
Etapas da Apresentação:
� Breve apresentação de João Tavares;
� Apresentação do trabalho desenvolvido durante a dissertação de Mestrado;
� Apresentação de outros trabalhos realizados durante o Doutoramento.
J. Tavares, A. Padilha Exp. no Seguimento de Objectos Rígidos e não Rígidos em V. C. 3
Breve Apresentação de J. Tavares:
� Licenciado em Eng.ª Mecânica pela FEUP, com a opção de projecto de máquinas, em 1992.
� Bolseiro de Mestrado da JNICT, programa Ciência, de 1992 a 1994.
� Mestre em Eng.ª Electrotécnica e de Computadores pela FEUP, com o perfil de Informática Industrial, em 1995. Dissertação: Obtenção de Estrutura Tridimensional a Partir de Movimento de Câmara, Orientador: Prof. A. Jorge Padilha.
� Investigador no INEB - Instituto de Engenharia Biomédica, Grupo ARSIS - Arquitecturas e Sistemas, desde 1995.
J. Tavares, A. Padilha Exp. no Seguimento de Objectos Rígidos e não Rígidos em V. C. 4
Breve Apresentação de J. Tavares:
� Bolseiro de Doutoramento da JNICT, programa PRAXIS XXI, de 1994 a 1998.
� Aluno de Doutoramento em Eng.ª Electrotécnica e de Computadores na FEUP desde 1994 (data da conclusão 2000). Dissertação: Análise de Movimento de Corpos Deformáveis usando Visão Computacional, Orientador: Prof. A. Jorge Padilha.
� Responsável, ao abrigo do Programa PRAXIS, pelas aulas práticas das disciplinas de Informática I e II do 1º ano do Curso de Eng.ª Metalúrgica e de Materiais da FEUP, em 1995/96, 96/97.
J. Tavares, A. Padilha Exp. no Seguimento de Objectos Rígidos e não Rígidos em V. C. 5
Breve Apresentação de J. Tavares:
� Responsável, ao abrigo do Programa PRAXIS, pelas aulas práticas das disciplinas de Computação e Programação I e II do 1º ano do Curso de Eng.ª Metalúrgica e de Materiais da FEUP, em 1997/98.
� Docente das Disciplinas Sistemas Informáticos I e II do Curso de Ciências da Comunicação na UFP, em 1998/99.
Obtenção de Estrutura Tridimensional a Partir de Movimento de Câmara
João Manuel R. S. Tavares, A. Jorge Padilha
FEUP - Faculdade de Engenharia da Universidade do Porto
INEB - Instituto de Engenharia Biomédica
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 2
I - Introdução
� Objectivos:
Apresentar uma abordagem global com a qual é possível obter informação tridimensional de uma dada cena, ou objecto, a partir do movimento de uma câmara.
� Pressupostos:
1) O ambiente em questão é tipicamente industrial, podendo, assim, considerar-se a cena ou o objecto como constituídos por segmentos de recta.
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 3
I - Introdução
2) O movimento da câmara é perfeitamente conhecido; isto é, são dados a sua posição e orientação relativamente a um referencial mundo.
3) Não é possível medir as velocidades e as acelerações dos parâmetros considerados para as entidades.
4) A abordagem global a adoptar deve ser o mais eficiente possível e adaptável a diferentes tipos de cenas, ou objectos, e movimentos da câmara.
5) Pretende-se apenas as coordenadas 3D dos pontos terminais de cada entidade e uma aproximação da profundidade dos restantes.
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 4
� Passos da abordagem global:
1) Calibração da câmara e respectivo hardware;
2) Determinação das entidades (segmentos de recta) a considerar em cada imagem da sequência;
3) Simplificação das entidades presentes em cada imagem;
4) Seguimento 2D das entidades consideradas ao longo da sequência de imagens;
5) Obtenção de informação tridimensional dos pontos que constituem cada entidade.
I - Introdução
Determinação e simplificação das entidades
Mundo 3D
Seguimento de linhas eaproximação poligonal
Fusão de entidades próximase de direcções similares
Detecção de edges
Imagem k+1
Seguimento
Emparelhamento
Modelo 2D
Determinação dascoordenadas 3D das
entidades
"Mundo 3D"
Parametrizaçãodas entidades
......
Hardware deaquisição de imagem
Calibração
Hardware deaquisição de imagem
Imagem k
Seguimento de linhas eaproximação poligonal
Detecção de edges
Fusão de entidades próximase de direcções similares
Parametrizaçãodas entidades
Fig. 1 - Abordagem global.
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 6
II - Calibração da Câmara utilizada e respectivo Hardware
� Calibração de uma câmara:
Entende-se por calibração de uma câmara a determinação da relação matemática que, para a respectiva câmara, transforma pontos 3D em pontos 2D (Fig. 2).
Mundo 3D Imagem 2D
Modelo dacâmara
Parâmetros intrínsecos eextrínsecos da câmara
Xu
Yu
xw
zw
yw
Fig. 2 - Calibração de uma câmara.
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 7
� Procedimentos envolvidos na calibração:
1) Determinação das coordenadas 2D na memóriaframe dos pontos de calibração;
2) Agrupamento das coordenadas 3D mundo e 2D na memória frame dos pontos de calibração;
3) Calibração da câmara e do respectivo hardware.
II - Calibração da Câmara utilizada e respectivo Hardware
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 8
� Abordagem utilizada para a determinação das coordenadas na memória frame dos pontos de calibração:
Fig. 3 - Imagem de calibração. Fig. 4 - Detecção das amplitudes dasorlas de intensidade (Deriche).
Fig. 5 - Detecção das direcções dasorlas de intensidade (Deriche).
II - Calibração da Câmara utilizada e respectivo Hardware
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 9
Fig. 6 - Determinação dos lados das figuras geométricas segundo uma
das direcções principais.
Fig. 7 - Determinação dos lados das figuras geométricas segundo a
outra direcção principal.
Fig. 8 - Pontos de calibração: intersecção das rectas obtidas por regressão linear dos pontos que
constituem os lados.
II - Calibração da Câmara utilizada e respectivo Hardware
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 10
� Processo utilizado para a calibração:O processo de calibração global é constituído por três etapas:
1) Determinação do factor de incerteza horizontal (Lenze Tsai);
2) Determinação das coordenadas do centro da imagem na memória frame (Lenz e Tsai);
3) Determinação dos restantes parâmetros de calibração: matriz de rotação 3D, vector de translação 3D, distância focal efectiva e factor de distorção radial (Tsai para pontos coplanares).
II - Calibração da Câmara utilizada e respectivo Hardware
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 11
Etapa I - Determinação do factor deincerteza horizontal.
Etapa II - Determinação das coordenadas correctas do centroda imagem na memória frame.
Etapa III - Determinação da matriz de rotação 3D, do vector de translação 3D, da distância focal efectiva e do
coeficiente de distorção radial da lente.
Um único processo.
Hardware deaquisição de
imagem
Hardware deaquisição de
imagem
Fig. 9 - Etapas do método global de calibração.
II - Calibração da Câmara utilizada e respectivo Hardware
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 12
III - Determinação das Entidades
�Etapas do método adoptado:
1) Sujeitar cada imagem da sequência a um detector de orlas de intensidade (como, por exemplo, o detector deDeriche) de forma a classificar cada pixel em termos de amplitude e de direcção;
2) Executar um seguimento, baseado na direcção e em dois níveis de amplitude (um para detecção e outro para agregação - histerese), das várias linhas presentes em cada imagem de orlas;
3) Executar uma aproximação poligonal, utilizando o algoritmo de faixas dinâmicas, de cada linha seguida.
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 13
Fig. 10 - Definição de uma faixa de aproximação.
Fig. 11 - Rotação da faixa de aproximação de forma a incluir o ponto d.
III - Determinação das Entidades
� Algoritmo de faixas dinâmicas (Leung e Yang):
Fig. 12 - A rotação da faixa de aproximação de forma a incluir o ponto d não é possível.
Fig. 13 - Definição de uma nova faixa de aproximação.
b cd e
D
Dao
Linha fronteira
Linha fronteira
Linha critica
dcb
e
ao
o ab
c
d e
o ab
c
d e
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 14
Fig. 14 - Imagem de teste. Fig. 15 - Imagem obtida com faixa de aproximação estreita.
Fig. 16 - ... com faixa de aproximação mais larga (4x).
Fig. 17 - Soma das imagens dasFigs. 14 e 16.
III - Determinação das Entidades
� Exemplos de resultados:
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 15
� Pressuposto:
Entidades que no plano imagem se apresentam próximas e com direcções similares têm uma grande probabilidade de pertencerem a uma mesma entidade 3D; exemplos: duas arestas 3D que podem ser consideradas como uma única entidade; arestas 3D que, por qualquer motivo, aparecem fragmentadas na imagem.
� Vantagem em fundir entidades próximas e de direcções similares:
O seguimento ao longo da sequência torna-se mais fácil e menos dispendioso em termos de recursos computacionais.
IV - Simplificação das Entidades Determinadas
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 16
� Objectivos do método a adoptar para a fusão:
1) Boa orientação do segmento de recta resultante;
2) Bom posicionamento do segmento de recta resultante;
3) A orientação e o posicionamento do segmento resultante deve ser influenciada pela importância relativa dos segmentos de recta a fundir (isto é, pela relação entre os comprimentos);
4) Utilização geral, isto é, independente da disposição relativa dos segmentos a fundir.
IV - Simplificação das Entidades Determinadas
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 17
c
d
b
aFig. 18 - Segmentos (“barras”) a fundir
têm densidade de massa constante.
c
d
b
aFig. 19 - Sistema de massa equivalente (massas
concentradas nos extremos dos segmentos).
G
c
d
b
a
Fig. 20 - Determinação do centro de massa (G).
G
c
d
b
a
Fig. 21 - Determinação do eixo de inércia.
� O método de fusão adoptado (uma analogia mecânica):
IV - Simplificação das Entidades Determinadas
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 18
Fig. 22 - Definição dos extremos do segmento resultante.
Fig. 23 - Critérios de fusão e de verificação da disposição relativa intrínsecos ao
próprio método.
⇒ Equivalente à regressão linear dos pontos que constituem os segmentos a fundir.
IV - Simplificação das Entidades Determinadas
G
c
d
b
a
G
c
d
b
a
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 19
�Exemplos de resultados:
Fig. 24 - Imagem constituída pelos segmentos a fundir.
Fig. 25 - Imagem obtida utilizando critérios de fusão exigentes.
Fig. 26 - ... critérios de fusão menos exigentes.
Fig. 27 - Soma das imagens dasFigs. 24 e 26.
IV - Simplificação das Entidades Determinadas
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 20
V - Seguimento das Entidades ao Longo da Sequência de Imagens
� Etapas da abordagem utilizada para o seguimento:
1) Parametrização das entidades consideradas em cada imagem;
2) Previsão dos valores dos parâmetros de cada entidade na imagem seguinte, considerando o seu historial;
3) Emparelhamento das entidades entre duas imagens sucessivas;
4) Actualização e gestão de um modelo 2D de entidades.
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 21
V - Seguimento das Entidades ao Longo da Sequência de Imagens
� Parametrização utilizada para as entidades:
As coordenadas do ponto médio, a direcção e o comprimento.
•Vantagens:
1) Os parâmetros não são correlacionados, o que permite a utilização de três filtros de Kalman independentes e de pequena dimensão;
2) Não são afectados pela posição das entidades em cada imagem.
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 22
� Abordagem utilizada para o seguimento
1) Utilização de três filtros de Kalman independentes: um para cada parâmetro;
2) Utilização de modelos cinemáticos de aceleração localmente constante;
3) Aceleração modelada como um processo Gauss-Markovde primeira ordem;
4) Inserção de ruído Gaussiano na modelação do sistema;
V - Seguimento das Entidades ao Longo da Sequência de Imagens
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 23
5) Como medida de emparelhamento são utilizadas distâncias normalizadas de Mahalanobis ou restrições geométricas (diferenças da posição do ponto médio, da direcção e do comprimento);
6) Utilização de um modelo 2D de entidades, continuamente actualizado.
V - Seguimento das Entidades ao Longo da Sequência de Imagens
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 24
Entidades na imagemK, parametrizadas
Emparelhamento utilizando distânciasnormalizadas de Mahalanobis
ou restrições geométricas.
... ...Entidades na imagemK+1, parametrizadas
Filtro deKalman para ocomprimento
Filtro deKalman para a
direcção
Filtro deKalman para a
posição doponto médio
Fig. 28 - Abordagem adoptada para o seguimento das entidades ao longo de uma sequência.
V - Seguimento das Entidades ao Longo da Sequência de Imagens
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 25
VI - Obtenção de Informação Tridimensional
� Abordagem adoptada:
1) Resolução do sistema de projecção estéreo para obter as coordenadas 3D dos pontos extremos de cada entidade emparelhada em duas imagens distintas;
2) Determinação de uma aproximação da profundidade dos restantes pontos da respectiva entidade, utilizando interpolação linear das profundidades dos seus pontos extremos.
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 26
Imagem k Imagem k+1
a
bb
a´
VI - Obtenção de Informação Tridimensional
� Problema:A possibilidade de uma entidade ser visível de diferente modo nas duas imagens a considerar, Fig. 29.
� Solução adoptada:Determinação da verdadeira localização dos extremos do segmento de recta visível na imagem k+1 sobre o segmento visível na imagem k e ao qual foi devidamente emparelhado:
Fig. 29 - b e b’ correspondem, na realidade,a pontos 3D distintos.
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 27
1)Utilização das linhas epipolares, Fig. 30.
•Problema:
Alguma das linhas epipolares pode ser paralela (ou quase) ao segmento visível na imagem k, Fig. 31.
Fig. 30 - Utilização das linhasepipolares e1 e e2 .
Fig. 31 - A utilização da linha epipolar e2
não é adequada para a determinação da verdadeira localização do ponto b .
a´
b
Imagem k Imagem k+1
e2
e1
b
a
b
a´
Imagem k Imagem k+1
e1
e2
a
b
VI - Obtenção de Informação Tridimensional
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 28
2) Análise das posições dos pontos extremos dos segmentos emparelhados na imagem k, Fig. 32.
VI - Obtenção de Informação Tridimensional
Fig. 32 - Representação da imagem do segmento de recta da imagem k+1 na imagem k.
b
a´b
a´
Imagem k Imagem k+1a
b
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 29
VII - Alguns Resultados Experimentais�Na calibração
Fig. 33 - Posições relativas e referencias utilizados.
Fig. 34 - Imagem obtida pela câmara.
5°xw
zw
zc
xc
yw
30°
yc
zc
Centro óptico
Centro do planode calibração
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 30
Fig. 35 - Pontos de calibraçãodeterminados.
Fig. 36 - Soma das imagens das Figs. 34 e 35.
Fig. 37 - Zona seleccionada da imagem da Fig. 36,
ampliada.
VII - Alguns Resultados Experimentais
� Determinação dos pontos de calibração no plano imagem:
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 31
� Algumas observações aos resultados obtidos na calibração:
1) Apesar das más condições existentes para o setup prático, os resultados obtidos apresentam uma qualidade aceitável. Tal qualidade pode ser comprovada pelos ângulos da rotação 3D do sistema mundo para o sistema câmara: segundo o eixo xx, obteve-se -32.877º quando o ângulo real era cerca de -30.0º; segundo o eixo yy, obteve-se -0.136º quando o real era cerca de 0.0º; e segundo o eixo zz, obteve-se 4.635º quando o real era cerca de 5.0º.
2) Não foi possível a determinação das coordenadas correctas do centro da imagem na memória frame. (Erros nas coordenadas 3D dos pontos de calibração e baixo valor da distorção radial da lente.)
VII - Alguns Resultados Experimentais
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 32
Fig. 38 - 2ª Imagem da sequência. Fig. 39 - Entidades detectadas.
VII - Alguns Resultados Experimentais
� Determinação das entidades:1) Obtenção de uma sequência de 8 imagens;2) Detecção de orlas de intensidade (Deriche);3) Seguimento de linhas e aproximação poligonal;4) Fusão de segmentos próximos e de direcções similares.
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 33
VII - Alguns Resultados Experimentais
Fig. 40 - Entidades a seguir. Fig. 41 - Deslocamento de todas as entidades ao longo da
sequência.
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 34
Fig. 42 - Entidades detectadas na 1ª imagem da sequência e suas
referências.
VII - Alguns Resultados Experimentaisimagem 1ª 2ª 3ª 4ª
Ref TEm TEm TEm TEm1 I KRG KM KM2 I F F F3 I F F F4 I KRG KM KM5 I F F F6 I F KRG KM7 I KRG KM KM
imagem 5ª 6ª 7ª 8ªRef TEm TEm TEm TEm
1 KM KM KM KM2 F KM KM KM3 KRG KRG KRG KRG4 KRG KM KM KM5 KRG KM KM KM6 KRG KM KM KM7 KRG KM KM KMLegenda:
Ref - Referência, TEm - Tipo de emparelhamento:I - Inicialização, KM - Filtros de Kalman e distâncias de Mahalanobis, KRG - Filtros de Kalman e restrições geométricas, F - falhado.
Tab.
I -
O p
roce
sso
de s
egui
men
to.
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 35
Apesar das desfavoráveis condições existentes para o setup prático, os resultados obtidos podem ser considerados como razoáveis.
� Obtenção da profundidade das entidades emparelhadas:
Fig. 43 - Profundidade das entidades emparelhadas na 8ª imagem.
VII - Alguns Resultados Experimentais
⇒Os resultados obtidos no seguimento são bastante satisfatórios, o que comprova o valor da abordagem apresentada.
⇒
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 36
VIII - Conclusões e Perspectivas de Desenvolvimento Futuro
� Conclusões:1) Foi apresentada uma abordagem global para a obtenção de informação tridimensional de uma cena ou objecto a partir do movimento de uma câmara;2) A referida abordagem é constituída pelas etapas:calibração da câmara e respectivo hardware; determinação das entidades; simplificação das entidades; seguimento das entidades ao longo da sequência; obtenção das coordenadas 3D das entidades emparelhadas;3) Alguns resultados experimentais obtidos também foram apresentados; dos mesmos, é possível verificar-se a boa qualidade obtida pela referida abordagem.
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 37
4) A abordagem global apresentada revelou-se como bastante flexível, robusta e capaz de responder adequadamente aos objectivos inicialmente traçados.
� Perspectivas de desenvolvimento:1) Determinar o factor horizontal de incerteza de um outro modo, pois o método empregue é de difícil utilização para as condições práticas normalmente existentes;
VIII - Conclusões e Perspectivas de Desenvolvimento
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 38
2) Determinar o centro da imagem na memória frame de outro modo, pois o método utilizado não é adequado para baixos valores de distorção radial da lente;
3) Para situações nas quais se pretende um modelo da cena 3D ou de um objecto, pode-se enriquecer a abordagem utilizada para o seguimento e consequente obtenção de coordenadas 3D, Fig. 44.
VIII - Conclusões e Perspectivas de Desenvolvimento
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 39
Filtros de KalmanFiltros de Kalman
Verificação
Modelo 3D
PrevisãoActualização
Obtenção decoordenadas 3D
Emparelhamento dasentidades e medição
Entidades na imagemK parametrizadas...
Modelo 2D
...
PrevisãoActualização
Fig. 44 - Uma abordagem possível para enriquecer o seguimento das várias entidades e consequente obtenção de informação tridimensional.
VIII - Conclusões e Perspectivas de Desenvolvimento
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 40
Bibliografia:� Análise de Movimento em Sequências de Imagens - Miguel F. P. Velhote CorreiaDissertação submetida ao Departamento de Engenharia Electrotécnica e de Computadores da Faculdade de Engenharia da Universidade do Porto para satisfação parcial dos requisitos do Mestrado em Engenharia Electrotécnica e de Computadores - Fevereiro de 1995
� Measurement and Integration of 3-D Structures by Tracking Edge Lines - James L.Crowley, Pactrick Stelmaszyk, Thomas Skordas, Pierre PugetInternational Journal of Computer Vision 8:1, 29-52 (1992)
� Tracking line segments - Rachid Deriche, Olivier FaugerasImage and Vision Computing - vol. 8 no 4 (November 1990)
� Techniques for Calibration of the Scale Factor and Image Center for High Accuracy 3-D Machine Vision Metrology - Reimar K. Lenz, Roger Y. TsaiIeee Transactions On Pattern Analysis And Machine Intelligence, Vol. 10, No. 5, September 1988 -713/720
� Dynamic Strip Algorithm in Curve Fitting - Maylor K. Leung, Yee-Hong YangComputer Vision, Graphics, and Image Processing 51 146 (1990) - 146/165
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 41
Bibliografia:� Stochastic Models, Estimation, and Control - Peter S. MaybeckVolume IMathematics In Science and Engineering - Volume 141Academic Press -1979
� Aquisição e Processamento de Informação Tridimensional - Jorge Alves da SilvaDissertação de Doutoramento apresentada à Faculdade de Engenharia da Universidade do Porto, Departamento de Engenharia Electrotécnica e de Computadores - 1994
� Algumas Ferramentas para Visão Tridimensional por Computador - João Manuel R. S. TavaresPublicação inserida na dissertação submetida ao Departamento de Engenharia Electrotécnica e de Computadores em 1995, para satisfação parcial dos requisitos do Mestrado em Engenharia Electrotécnica e de Computadores.Faculdade de Engenharia da Universidade do Porto - 1995
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 42
Bibliografia:
� Obtenção de Estrutura Tridimensional a Partir de Movimento de Câmara - João Manuel R. S. TavaresDissertação submetida ao Departamento de Engenharia Electrotécnica e de Computadores em 1995, para satisfação parcial dos requisitos do Mestrado em Engenharia Electrotécnica e de Computadores.Faculdade de Engenharia da Universidade do Porto - 1995
� A new approach for merging edge line segments - João Manuel Tavares, A. Jorge PadilhaArtigo para o RecPad’95 - 7th Portuguese Conference on Pattern RecognitionAveiro, Portugal - 23/24 de Março de 1995
� Matching lines in image sequences with geometric constraints - João Manuel Tavares, A. Jorge Padilha Artigo para o RecPad’95 - 7th Portuguese Conference on Pattern RecognitionAveiro, Portugal - 23/24 de Março de 1995
� A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses - Roger Y. TsaiIeee Journal Of Robotics And Automation, Vol. RA-3, NO. 4, August 1987 - 323/344
J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 43
Agradecimentos
À Junta Nacional de Investigação Científica e Tecnológica pela Bolsa de Mestrado atribuída ao primeiro autor, ao abrigo do Programa Ciência com a Ref. BM/3258/92 - RM, com a qual foi possível desenvolver o trabalho apresentado.
Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em
Visão por Computador
João Manuel R. S. Tavares, A. Jorge Padilha
FEUP - Faculdade de Engenharia da Universidade do Porto
INEB - Instituto de Engenharia Biomédica
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 2
I - Introdução
O âmbito do doutoramento insere-se no domínio do seguimento e análise do movimento de corpos deformáveis 2D/3D usando Visão Computacional.
Nesta apresentação é realizada uma breve introdução ao estado da arte, descritas algumas fases do trabalho já realizadas, apresentados alguns exemplos de resultados experimentais obtidos, exposta a aplicação principal que se pretende satisfazer, e, por fim, tecidas algumas conclusões e discutidas algumas perspectivas de trabalho futuro.
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 3
Algumas das técnicas utilizadas por vários investigadores no domínio da análise/seguimento de corpos deformáveis 2D/3D em visão por computador são:
• Utilização de modelos deformáveis protótipos (Templates, ...);
• Análise de componentes principais;
• Utilização de filtragem de Kalman (mais utilizada para o seguimento de objectos rígidos, utilizada em conjunto com outras técnicas para o seguimento de objectos não rígidos);
II - Breve Introdução ao Estado da Arte
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 4
• Contornos (Snakes), superfícies e modelos activos;
• Utilização da análise modal;
• Utilização do método dos elementos finitos;
• Utilização do método dos elementos finitos + análise modal;
• …
(A vermelho as técnicas consideradas como potencialmente mais interessantes para a aplicação alvo.)
II - Breve Introdução ao Estado da Arte
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 5
III - A aplicação CMIS
Durante o doutoramento está a ser desenvolvida, em Visual C++ para plataforma Windows 95/NT, uma aplicação para análise e processamento de imagens: O CMIS.
A esta aplicação não são só acrescentados os algoritmos desenvolvidos no âmbito especifico do doutoramento mas também algoritmos mais gerais e comuns.
O CMIS está a ser dirigido potencialmente para a área da imagem médica sendo o embrião do SIMED.
Actualmente o CMIS é/foi o sistema base para o desenvolvimento de trabalhos de fim de curso, de investigação (mestrados/doutoramentos) de alguns alunos/investigadores na área da Visão por Computador da FEUP/INEB.
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 6
III - A aplicação CMIS
CMIS: emparelhamento de dois contornos não rígidos:
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 7
III - A aplicação CMISCM
IS:
Anál
ise
de r
egiõ
es.
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 8
IV - Contornos Activos (Snakes)Contornos activos ou “snakes” são constituídos por um conjunto de pontos, uniformemente distribuídos, com determinadas propriedades mecânicas, que através de forças de atracão e de repulsão vão convergindo (iterativamente) desde uma posição inicial, definida pelo utilizador ou colocada automaticamente naimagem, até uma posição final adequada para segmentar o objecto desejado.
Def
iniç
ão in
icia
l.
Obj
ecto
a s
egm
enta
r.
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 9
IV - Contornos Activos (Snakes)Definição dos parâmetros para a Snake (modelo de Kass):
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 10
IV - Contornos Activos (Snakes)
Posição final da Snake:
Alguns parâmetros do objecto segmentado:
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 11
V - Análise ModalCom a Análise Modal pretende-se determinar os emparelhamentos entre pontos de dois objectos através da análise dos deslocamentos de cada ponto no respectivo espaço modal: Pontos com deslocamentos semelhantes são considerados como potencialmente candidatos ao emparelhamento.
Até ao momento esta técnica foi por nós implementada através de duas abordagens distintas:
• determinação dos vectores/valores próprios de uma matriz de proximidade definida para cada objecto (método de Shapiro);
• determinação dos vectores/valores próprios dos modelos de elementos finitos construídos para cada objecto.
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 12
V - Análise Modal
� Exemplos de resultados obtidos (pelo método de Shapiro):Contorno t Contorno t+1 Contornos t e t+1
Emparelhamento obtidos com os contornos amostrados
…após a aplicação da transformação rígida determinada (pelo método de Horner baseado
em quaternions unitários) ao contorno t.
J. Tavares. A. PadilhaSeguim
ento e Análise do Movim
ento de Objectos R
ígidos e Não R
ígidos em V. C
.13
V -A
nálise Modal
Contorno t
Contorno t+1
Contornos t e t+1
Emparelhamentos obtidos
…após aplicação da transf. rígida
…após aplicação da transf. rígida incluindo
o escalonamento
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 14
VI - Método dos Elementos Finitos
� O Método dos Elementos Finitos considera o sistema global como equivalente a um agrupamento de elementos finitos no qual cada um destes é uma estrutura contínua mais simples. Impondo que em certos pontos comuns a vários elementos, designados por nodos ounós, os deslocamentos sejam compatíveis e as forças internas em equilibro o sistema global, resultante do agrupamento, reage como uma única entidade e de forma similar ao sistema real.
� A vantagem do método é que a equação de movimento para o sistema global pode ser obtida pelo agrupamento das equações determinadas individualmente para cada elemento finito utilizado na modelização. O movimento em qualquer ponto no interior de cada um destes elementos é obtido por intermédio de interpolação sendo, geralmente, as funções de interpolação polinómios de grau reduzido e iguais para elementos do mesmo tipo.
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 15
VII - Método dos Elementos Finitos + Análise Modal
A técnica da utilização da Análise Modal com o Método dos Elementos Finitos consiste em:
• Construir um modelo de elementos finitos para cada um dos objectos a emparelhar;
• Determinar os modos de vibração de cada um dos modelos (a partir das matrizes de massa e de rigidez);
• Determinar as correspondências pela análise dos deslocamentos dos nodos de cada modelo no respectivo espaço modal.
Com a utilização de modelos físicos torna-se possível determinar a energia de deformação necessária para deformar um objecto num outro e estimar os deslocamentos dos nodos não emparelhados com sucesso (utilizando o método dos mínimos quadrados de forma a minimizar a energia de deformação).
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 16
[M]{U}+ +[K]{U} ={R}determinação das matrizes de massa
e de rigidez para o modelo finito
Determinação dos modos própriosConstrução do modelo físico
Entrada: dados considerados como nodos de um elemento finito
[K]{φ}i = ωi2[M]{φ}i
resolução do problema devalores/vectores próprios generalizado
[M]{U}+ +[K]{U}={R}determinação das matrizes de massa
e de rigidez para o modelo finito
[K]{φ}i = ωi2[M]{φ}i
resolução do problema devalores/vectores próprios generalizado
Saída: correspondênciaentre dados
Emparelhar os modos {φ}inão rigidos de baixa ordem
de ambas as formas
Utilizar os modos {φ}iemparelhados como sistema
de coordenadas
VII - Método dos Elementos Finitos + Análise Modal
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 17
VII - Método dos Elementos Finitos + Análise Modal
� Exemplos de Resultados (utilizando o elemento finito de Sclaroff):
Valor da energia de deformação: 17.6
Contorno t Contorno t+1 Contornos t e t+1 Emparelhamento obtidos com os contorno amostrados
…após a aplicação da transformação rígida
…após a determinação dos deslocamentos nodais estimados
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 18
VII - Método dos Elementos Finitos + Análise Modal
� Exemplos de Resultados (utilizando o elemento finito de Sclaroff):
Valor da energia de deformação: 1.4
Contorno t Contorno t+1
Contornos t e t+1
Emparelhamento obtidos com os contorno amostrados
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 19
VII - A aplicação principal� Pretende-se utilizar uma metodologia adequada para a análise de sequências de imagens 2D/3D (3D considerando a intensidade como a terceira coordenada: modelização XYI) de pedobarografia.
Exemplo de imagens de pedobarografia (negadas):
J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 20
VIII - Conclusões e Perspectivas de Desenvolvimentos Futuros
� Com esta apresentação foi realizada uma breve introdução ao âmbito do doutoramento, descrição de algumas das suas fases e verificação de alguns resultados já obtidos.
� Actualmente esta-se a aplicar a metodologia usada com sucesso no seguimento em imagens 2D de sequências de pedobarografia em imagens 3D das mesmas sequências. Para a terceira coordenada é utilizado o nível de intensidade utilizando--se assim a relação pressão/intensidade e construindo-se modelos de superfície XYI.
� O inicio da escrita da dissertação está agendado para o Verão do corrente ano.
Recommended