Uma abordagem livre de modelo para rastreamento de objetos ... · anterior, somada ao deslocamento do centróide, dado por vk−1, e a altera¸cão da distância entre o ponto

RODRIGO ANDRADE DE BEM

UMA ABORDAGEM LIVRE DE MODELO

PARA RASTREAMENTO DE OBJETOS EM

SEQUENCIAS DE IMAGENS

Sao Paulo2007

http://www.lti.pcs.usp.br/~debem





Dissertacao apresentada a Escola Politecnica

da Universidade de Sao Paulo para obtencao

do Tıtulo de Mestre em Engenharia Eletrica.

Sao Paulo2007






Dissertacao apresentada a Escola Politecnica

da Universidade de Sao Paulo para obtencao

do Tıtulo de Mestre em Engenharia Eletrica.

Area de concentracao:Sistemas Digitais

Orientadora: Professora Livre-Docente

Anna Helena Reali Costa

Sao Paulo2007


http://www.pcs.usp.br/~anna

http://www.pcs.usp.br/~anna

Este exemplar foi revisado e alterado em relacao a versao original, sob responsa-

bilidade unica do autor e com a anuencia de seu orientador.

Sao Paulo, 04 de maio de 2007.

Assinatura do autor

Assinatura do orientador

FICHA CATALOGRAFICA

Bem, Rodrigo Andrade deUma abordagem livre de modelo para rastreamento de objetos em sequencias

de imagens/ R.A. de Bem. – ed.rev. – Sao Paulo, 2007. 86 p.

Dissertacao (Mestrado) — Escola Politecnica da Universi-dade de Sao Paulo. Departamento de Engenharia de Computacaoe Sistemas Digitais.

1. Visao computacional. 2. Inteligencia artificial. 3. Pro-cessamento digital de imagens. I. Universidade de Sao Paulo. Es-cola Politecnica. Departamento de Engenharia de Computacaoe Sistemas Digitais II.t.

http://www.pcs.usp.br




DEDICATORIA

A Carol.

AGRADECIMENTOS

Parece que dois anos passam rapido, quase em um piscar de olhos, especialmente quando

estamos nos divertindo, o tempo voa! Ja nos momentos de dificuldade, o tempo insiste em

passar mais devagar, e um simples dia parece ter muito mais de vinte e quatro horas. Aqui,

quero agradecer aos que fizeram o meu tempo passar rapido nestes dois anos do mestrado,

mas tambem aos que estiveram presentes nos momentos em que o tempo nao passava.

Agradeco primeiramente a Deus por ter me sustentado em todos os aspectos, e por ter

me ensinado muito nestes dois anos.

A professora Anna Helena Reali Costa, minha orientadora, pela dedicacao e por constan-

temente instigar o desenvolvimento do trabalho e o meu desenvolvimento pessoal.

Aos amigos que me auxiliaram ao longo do trabalho, dando sugestoes, dispondo seu tempo

para escutar minhas duvidas e discutindo questoes tecnicas, Antonio Selvatici, Evaldo Araujo,

Roberto Barra, Valdinei Freire, Valdir Grassi e Valguima Odakura. Aos amigos Evaldo Araujo

e Joao Vital pela ajuda na correcao do texto, e ao amigo Milton Schivani pelo auxılio na

preparacao de dados para os experimentos.

Agradeco especialmente a Carol, minha namorada, pelo amor, carinho, compreensao,

paciencia e apoio em todos os momentos, desde quando decidi fazer o mestrado em Sao

Paulo, ate o final do curso. Por esses e muito outros motivos, este trabalho e dedicado a ela.

Aos meus pais, Raul e Anelita, aos meus irmaos, Eduardo e Daniela, meus avos, Raul,

Emy e Maria, e aos meus demais familiares, pelo amor e suporte durante todo tempo e em

todos os sentidos. Agradeco especialmente a minha tia Vanilde e sua famılia, pela dedicacao,

carinho e por ter me recebido tao bem em Sao Paulo.

A todos os demais amigos do LTI e da Poli, por todas as conversas, churrascos e outros

bons momentos que compartilhamos. Em especial aos amigos Andre Iasi, Diana Adamatti,

Lucas De Marchi, Luciano Coutinho.

Aos amigos com os quais morei durante um ”bom”tempo, Andre Lopes, Evaldo Araujo,

Vicente de Barros e Joao Vital, pela amizade, companheirismo e ajuda sempre que precisei.

Este trabalho foi realizado com bolsa de Mestrado no Paıs, concedida pelo Conselho Naci-

onal de Desenvolvimento Cientıfico e Tecnologico - CNPq - processo numero 132185/2005-9.

RESUMO

Este trabalho propoe uma abordagem para o rastreamento de objetos observados em sequenciasde imagens. O objetivo principal e o desenvolvimento de uma metodologia eficiente, capaz derealizar o rastreamento de um ou mais alvos heterogeneos, usando pouca informacao a priorisobre os mesmos. Para alcancar este objetivo e proposta a descricao dos alvos livre de ummodelo explıcito de forma, atraves de uma representacao baseada em contornos, a qual e inte-ressante pois tem a capacidade de adaptar-se dinamicamente a alvos com formas heterogeneasde modo eficaz. Alem disso, e usado um modelo de movimento unico e simples, considerandosomente translacao e mudanca de escala quadro a quadro. Este modelo possibilita o tra-tamento de movimentos suaves e previamente desconhecidos dos alvos. O rastreamento decada alvo e executado com a combinacao de dois Filtros de Kalman: um para estimacaodo movimento e outro para estimacao do contorno. O modelo de observacao e baseado emlinhas de medida 1D fixadas ao longo do contorno estimado e tem baixo custo computacio-nal. Experimentos foram conduzidos para avaliar a eficacia e eficiencia da proposta, utilizandosequencias de imagens controladas e reais. Os resultados mostram que a abordagem propostae capaz de rastrear alvos distintos (figuras geometricas, pessoas e robos moveis), executandodiferentes movimentos considerando a posicao de observacao da camera. Embora haja umarelacao crıtica entre a variacao quadro a quadro do movimento e da forma dos alvos, e o nıvelde ruıdo nas imagens, a abordagem e adequada nos casos em que informacoes detalhadas arespeito do movimento e da forma dos alvos nao sao disponıveis.

Palavras-chave: Rastreamento visual. Visao computacional. Processamento digital de ima-gens.

ABSTRACT

This work proposes an approach to track objects observed in sequences of images. The mainobjective is the development of an efficient methodology, capable of performing the trackingof one or more heterogeneous targets by using a small amount of a priori information aboutthem. To accomplish this objective we propose a description of the targets free of an explicitshape model. This description is a contour-based representation, which is interesting becauseit is capable of adapting dynamically to targets that have heterogeneous shapes in an effectiveway. Besides this, a unique and simple movement model is used, considering only translationand scaling frame by frame. This model allows treating smooth and previously unknown tar-gets movements. The tracking of each target is executed by the combination of two KalmanFilters: one used to estimate movement and another one to estimate contour. The observationmodel is based on 1D measurement lines fixed along the estimated contour and requires lowcomputational power. Experiments were performed to evaluate the efficacy and the efficiencyof the proposal, using controlled and real image sequences. Results show that the proposedapproach is capable of tracking distinct targets (geometric figures, human bodies and mobilerobots), which execute different movements regarding the observation position of the camera.Despite the critical tradeoff between the frame by frame variation of the targets movementsand shapes and the level of noise in the images, the approach showed to be adequate forthose cases of application where detailed information about target movement and shape arenot available.

Keywords: Visual tracking. Computer vision. Digital image processing.

LISTA DE FIGURAS

2.1 Taxonomia apresentada por Hu et al. (2004) que define as categorias de abor-

dagens para o rastreamento visual de acordo com a representacao utilizada.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.2 Proposta de adaptacao da taxonomia apresentada por Hu et al. (2004) feita

com base na classificacao das abordagens sugerida por Gavrila (1999). . . . . 10

3.1 Cenario basico: o sensor optico produz uma observacao do ambiente dentro de

seu campo de visao, no qual o alvo de interesse descreve a trajetoria indicada. 14

3.2 Cenario com alvos heterogeneos: dois alvos com formas distintas descrevem

trajetorias no ambiente enquanto observacoes sao realizadas pelo sensor optico. 15

4.1 (a) Imagem original. (b) Resultado da subtracao de fundo e limiarizacao e o

polıgono convexo envolvente. (c) Resultado da deteccao de bordas e o polıgono

convexo envolvente. (d) Polıgono convexo com 21 vertices. . . . . . . . . . . 31

4.2 Dezesseis pontos, representados por quadrados, amostrados uniformemente ao

longo do polıgono convexo. . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

4.3 Funcao B-spline cubica (linha pontilhada), definida por seus pontos de controle

(arteriscos), que aproxima o polıgono convexo (linha contınua). . . . . . . . . 34

4.4 Aproximacoes feitas a um polıgono convexo (linha contınua) com 21 vertices

e 16 pontos amostrados, utilizando-se uma B-spline cubica (linha pontilhada)

com: (a) 15 pontos de controle; (b) 11 pontos de controle; (c) 7 pontos de

controle; (d) 4 pontos de controle. . . . . . . . . . . . . . . . . . . . . . . . 35

5.1 (a) Intensidade dos pixels em uma linha de medida extraıda da imagem. (b)

Aplicacao dos detectores de bordas e movimento. (c) Densidade de probabi-

lidade Gaussiana. (d) Probabilidade de cada pixel corresponder a borda real

(mais escuro corresponde a maior probabilidade). . . . . . . . . . . . . . . . 42

6.1 (a) No quadro k − 1, xk−1 denota um ponto de controle do contorno do alvo

rastreado, enquanto ck−1 define o centroide e (ck−1 − xk−1) a distancia entre

o ponto de controle e o centroide do alvo. (b) A nova posicao do ponto de

controle no quadro k, denotada por xk, e definida em funcao de sua posicao

anterior, somada ao deslocamento do centroide, dado por vk−1, e a alteracao

da distancia entre o ponto e o centroide, definida pelo fator de escala sk. . . 46

7.1 Esquema da abordagem proposta. As n primeiras imagens sao usadas na

inicializacao, enquanto as demais sao tratadas diretamente pelo processo de

rastreamento. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

7.2 Na inicializacao os alvos sao detectados, e gerada uma estimativa inicial de

suas posicoes e velocidades. . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

7.3 O esquema mostra as etapas do processo de rastreamento dos alvos. . . . . . 51

8.1 Quadros da sequencia onde o quadrado contrastante com o fundo e rastreado.

O contorno resultante e mostrado em torno do alvo, bem como a trajetoria

estimada de seu centroide (linha contınua). . . . . . . . . . . . . . . . . . . . 61

8.2 Contorno estimado do alvo rastreado e as linhas de medida usadas no modelo

de observacao fixadas ao longo do contorno. . . . . . . . . . . . . . . . . . . 62

8.3 Comparacao entre a posicao real do centroide (linha contınua) e a posicao

estimada no rastreamento (linha tracejada). Os instantes inicial e final do

rastreamento sao indicados no grafico por k = 1 e k = 299. . . . . . . . . . . 62

8.4 Quadros da sequencia onde um quadrado e rastreado. O contorno resultante e

mostrado em torno do alvo, bem como a trajetoria estimada de seu centroide

(linha contınua). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64



8.6 Alvo A (esquerda) realiza translacao na vertical e na diagonal; Alvo B (direita)

se afasta da camera e executa translacao na vertical. O contorno resultante

e mostrado em torno de cada alvo, bem como a trajetoria estimada de seus

centroides (linhas contınuas). . . . . . . . . . . . . . . . . . . . . . . . . . . 65

8.7 Contorno estimado dos alvos rastreados e as linhas de medida usadas no modelo



estimada no rastreamento (linha tracejada) dos alvos A e B. Os instantes

inicial e final do rastreamento sao indicados no grafico por k = 1 e k = 299. . 66

8.9 Quadros da sequencia onde um pessoa e rastreada. O contorno resultante e

mostrado em torno do alvo, bem como a trajetoria estimada de seu centroide

(linha contınua). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70




estimada no rastreamento (linha tracejada). Os instantes inicial e final do

rastreamento sao indicados no grafico por k = 1 e k = 174. . . . . . . . . . . 71

8.12 Quadros da sequencia onde tres pessoas sao rastreadas. O contorno resultante

e mostrado em torno do alvo, bem como a trajetoria estimada de seu centroide

(linha contınua). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73


de observacao fixadas ao longo dos contornos. . . . . . . . . . . . . . . . . . 74

8.14 Comparacao entre a posicao real dos centroides (linhas contınuas) e a posicao

estimada (linhas tracejadas). . . . . . . . . . . . . . . . . . . . . . . . . . . 74

8.15 Quadros da sequencia onde quatro robos moveis sao rastreados. O contorno

resultante e mostrado em torno dos alvos, bem como a trajetoria estimada de

seu centroide (linha contınua). . . . . . . . . . . . . . . . . . . . . . . . . . 76


de observacao fixadas ao longo dos contornos. . . . . . . . . . . . . . . . . . 77

8.17 Comparacao entre a posicao real dos centroides (linhas contınuas) e a posicao

estimada (linhas pontilhadas) dos alvos A, B, C e D, da esquerda para direita. 77

LISTA DE TABELAS

1.1 Suposicoes a respeito dos movimentos, ambientes e alvos tratados pela abor-

dagem proposta. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

8.1 Parametros utilizados na configuracao do sistema de rastreamento para execucao

dos Testes 1, 2 e 3 da Secao 8.1. . . . . . . . . . . . . . . . . . . . . . . . . 61


do Teste1 em imagens reais. . . . . . . . . . . . . . . . . . . . . . . . . . . . 69


do Teste2 em imagens reais. . . . . . . . . . . . . . . . . . . . . . . . . . . . 72


do Teste 3 em imagens reais. . . . . . . . . . . . . . . . . . . . . . . . . . . 75

LISTA DE ABREVIATURAS E SIGLAS

CCD Charge Coupled Device

Condensation Conditional Density Propagation

EQM Erro Quadrado Medio

i.i.d. independente e identicamente distribuıdo

JPDAF Joint Probabilistic Data Association Filter

pdf funcoes densidade de probabilidade

SIR Sampling Importance Resampling

SIS Sequential Importance Sampling

CONVENCOES E LISTA DE SIMBOLOS

As convencoes e sımbolos utilizados sao mostrados nas tabelas seguintes:

Convencao Definicao

~x vetores sao denotados por uma seta sobrescritanx dimensao de um vetor ~xP matrizes sao denotadas por letras maiusculasPx matriz de covariancia de um vetor de estado ~xf(.) funcoes sao denotadas por letras minusculas

~xk, ~Xk, Pk, Px,k, fk(.), xk o ındice temporal discreto e subescrito nos vetores, matrizes,funcoes e variaveis

~xik o ındice superescrito em um vetor indica elemento de um con-

juntox e o valor esperado ou media da variavel xx′

e o valor estimado da variavel xAT e a matriz transposta de AA−1 e a matriz inversa de A

f derivada total da funcao f(.)∂f∂x

derivada parcial da funcao f(.) em relacao a xIn matriz identidade de dimensao n× nI matriz identidade de dimensao generica

Sımbolo Definicao

∆T intervalo de tempoIi:j conjunto de observacoes realizadas entre os instantes i e jp(.) funcao densidade de probabilidadep(.|.) funcao densidade de probabilidade condicionalN (0, P ) distribuicao Gaussiana com media 0 e covariancia P

PX matriz de covariancia do vetor de estado ~X

PM matriz de covariancia do vetor de estado ~Mωi

k peso de uma amostra ou partıcula i no instante kCn continuidade ate a n-esima derivadar(u) r(.) e um funcao B-spline parametrizada por uBk

i (u) i-esima funcao base de uma B-spline de ordem kbki (t) i-esimo segmento polinomial constituinte de uma funcao base de

ordem kxi i-esimo ponto de controle de uma funcao B-spline 1Dxi = (xi, yi) i-esimo ponto de controle de uma funcao B-spline 2DPj j-esimo ponto amostrado ao longo do polıgono envolvente de um

alvouj j-esima amostra do intervalo de valores do parametro u de uma

B-splinez(n) linha de medidaCm mascara de convolucao discreta usada na aplicacao de filtros so-

bre as linhas de medidaL comprimento em pixels de um linha de medidazn reta parametrica normal a curva B-splinen vetor unitario normal a curva B-splinezn,l valor de intensidade no ponto (xn,l, yn,l) da linha de medida z(n)

V (i, j) valor de intensidade do pixel (i, j) em uma imagemwi,j peso de um pixel (i, j) usado na interpolacao bilinear de intensi-

dadeck = (cx

k, cyk) coordenadas da posicao do centroide de um alvo no instante k

vk = (vx,k, vy,k) velocidade de translacao do centroide de um alvo em x e y noinstante k

sk = (sx,k, sy,k) fator de mudanca de escala de um alvo em x e y no instante ksk fator de mudanca de escala uniforme (sk = sx,k = sy,k) de um

alvo no instante kK Ganho de Kalman

, igual por definicao∼ distribuıdo como‖.‖ norma Euclididanab.c pisoZ conjunto dos numeros inteirosR conjunto dos numeros reais

SUMARIO

1 Introducao 1

1.1 Motivacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.2 Objetivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.3 Domınio de Aplicacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.4 Organizacao do Trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2 Revisao Bibliografica 8

2.1 Taxonomia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.2 Trabalhos Relacionados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.3 Consideracoes Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

3 Abordagem Probabilıstica do Rastreamento Visual 14

3.1 Filtros Probabilısticos Aplicados ao Rastreamento Visual . . . . . . . . . . . 17

3.1.1 Filtro de Kalman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3.1.2 Filtro de Kalman Estendido . . . . . . . . . . . . . . . . . . . . . . . 19

3.1.3 Conditional Density Propagation (Condensation) . . . . . . . . . . . . 20

3.2 Consideracao Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

4 Modelo de Representacao Baseado em Contornos 24

4.1 Deteccao de Objetos Moveis . . . . . . . . . . . . . . . . . . . . . . . . . . 24

4.2 Modelo de Representacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

4.2.1 B-splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

4.2.2 Aproximacao de uma B-spline a um Polıgono . . . . . . . . . . . . . . 30


5 Modelo de Observacao Baseado em Contornos 37

5.1 Linhas de Medida . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

5.1.1 Construcao das Linhas de Medida . . . . . . . . . . . . . . . . . . . 38

5.1.2 Extracao de Caracterısticas . . . . . . . . . . . . . . . . . . . . . . . 39

5.1.3 Interpretacao Probabilıstica das Caracterısticas Detectadas . . . . . . . 41


6 Modelo de Movimento dos Objetos 44

6.1 Modelo de Movimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45


7 Detalhamento da Abordagem Proposta 48

7.1 Inicializacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

7.2 Rastreamento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

7.2.1 Estimacao do Movimento . . . . . . . . . . . . . . . . . . . . . . . . 54

7.2.2 Estimacao do Contorno . . . . . . . . . . . . . . . . . . . . . . . . . 56


8 Experimentos e Resultados 59

8.1 Experimentos com Imagens Controladas . . . . . . . . . . . . . . . . . . . . 59

8.1.1 Teste 1: Movimento . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

8.1.2 Teste 2: Alteracao de Forma . . . . . . . . . . . . . . . . . . . . . . 63

8.1.3 Teste 3: Alvos Heterogeneos . . . . . . . . . . . . . . . . . . . . . . 65

8.1.4 Analise dos Resultados . . . . . . . . . . . . . . . . . . . . . . . . . 67

8.2 Alvos reais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

8.2.1 Teste 1: Uma Pessoa . . . . . . . . . . . . . . . . . . . . . . . . . . 69

8.2.2 Teste 2: Grupo de Pessoas . . . . . . . . . . . . . . . . . . . . . . . 71

8.2.3 Teste 3: Robos Moveis . . . . . . . . . . . . . . . . . . . . . . . . . . 75

8.2.4 Analise dos Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . 78

8.3 Consideracoes Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

9 Conclusao 80

9.1 Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

REFERENCIAS BIBLIOGRAFICAS 83

1

1 Introducao

A visao computacional e uma das grandes areas da Inteligencia Artificial e pode ser definida

como sendo a construcao de descricoes explıcitas e com significado de objetos fısicos a partir de

imagens (BALLARD; BROWN, 1982), envolvendo tambem o estudo do raciocınio e planejamento

realizados com base em tais descricoes (DUDEK; JENKIN, 2000). Dois importantes problemas

amplamente estudados na visao computacional sao (MACCORMICK, 2000):

• localizar um objeto em uma imagem estatica;

• localizar um objeto movel, em cada quadro de uma sequencia de imagens (trecho de

vıdeo).

O primeiro problema, definido na literatura como deteccao, refere-se a tarefa de determi-

nar a presenca de um objeto em uma cena (imagem) e tambem sua localizacao na mesma,

diferenciando-o de todos os outros objetos e padroes visuais presentes. O segundo, por sua

vez, constitui o que e definido como rastreamento em sequencias de imagens, ou rastrea-

mento visual, que e a tarefa de seguir o objeto detectado, estabelecendo uma correspondencia

temporal entre pontos de referencia do mesmo, diferenciando-o de outros objetos moveis,

eventualmente presentes na cena (GONG; MCKENNA; PSARROU, 2000). A localizacao de um

objeto em uma imagem e determinada por sua posicao em relacao ao observador no ambiente.

E importante salientar que o termo objeto e empregado aqui de maneira geral, referindo-se

a itens de interesse que podem ser diferenciados por suas caracterısticas de outros em uma

imagem. Um objeto poderia ser, por exemplo, um veıculo, uma pessoa, uma face, uma mao ou

uma laranja. O termo alvo, muito empregado na literatura de rastreamento visual, tambem e

usado para referenciar um objeto que esta sendo rastreado ao longo do tempo (MACCORMICK,

2000). Neste trabalho os termos objeto e alvo serao utilizados sem distincao entre os mesmos.

O rastreamento de alvos e uma ampla e bem explorada area de pesquisa e desenvolvimento,

onde se encontra um grande numero de ferramentas matematicas probabilısticas propostas para

solucao do problema (BAR-SHALOM; LI; KIRUBARAJAN, 2001). O cenario basico consiste em um

sensor, que produz observacoes ruidosas do ambiente, e um alvo que descreve uma determinada

Introducao 2

trajetoria. O objetivo de um algoritmo de rastreamento e determinar a trajetoria do alvo,

usando as observacoes fornecidas pelo sensor, e todo o conhecimento a priori disponıvel sobre

a dinamica do alvo (SARKKA et al., 2004). Tratando-se do rastreamento visual, e empregado

um sensor optico para extrair informacoes do ambiente, como por exemplo uma camera CCD

(Charge Coupled Device), e os alvos podem ser quaisquer objetos de interesse dentro do campo

de visao da camera.

Um sistema de rastreamento visual pode ser dividido em quatro componentes: a re-

presentacao, que pode ser chamada de descricao, vetor de estado, ou modelo do alvo, e

define como o mesmo e descrito no sistema; o modelo de observacao empregado, que

define, com base na representacao adotada, quais caracterısticas peculiares ao objeto de in-

teresse estao sendo buscadas nas imagens; o modelo de movimento, que descreve como

o alvo movimenta-se no campo de visao do sensor optico; e o algoritmo de rastreamento

propriamente dito que, em termos gerais, estabelece como a representacao e os modelos de ob-

servacao e movimento serao empregados para detectar o objeto em cada quadro da sequencia

de imagens. O conhecimento disponıvel a priori, referente as caracterısticas apresentadas pelos

objetos nas imagens e a sua movimentacao, determina quao especıficos serao os modelos, e

consequentemente como estes serao associados atraves do algoritmo de rastreamento. Uma

boa quantidade de informacoes previas facilita a elaboracao de uma solucao robusta (GAVRILA,

1999).

Pelo fato de existir um grande numero de abordagens para tratar o rastreamento visual,

que variam de acordo com a aplicacao em foco, nao e simples classificar as propostas exis-

tentes. No Capıtulo 2 alguns trabalhos serao apresentados em mais detalhes, por ora serao

identificados aqui dois tipos de solucoes de interesse que apresentam principalmente dife-

rencas quanto a representacao empregada. No primeiro grupo de abordagens, que serao

denominadas como livres de modelo, nao ha uma descricao explıcita da forma dos objetos

a serem rastreados, ou seja, a informacao previa disponıvel sobre os alvos e limitada, o que

impossibilita a construcao de uma representacao detalhada. Nesse caso os modelos podem

ser baseados em pontos, retangulos envolventes (bounding boxes) (JUNG; SUKHATME, 2005),

contornos (NGUYEN; WORRING, 2000) ou regioes correspondentes aos alvos (blobs). Ja no

segundo grupo, das abordagens denominadas como baseadas em modelo, sabe-se exata-

mente quais objetos estao sendo procurados, assim e possıvel construir uma representacao

mais precisa da forma dos mesmos. Tais modelos podem ser definidos tanto no espaco 2D,

como estruturas formadas por arestas e juncoes, ou como contornos (MACCORMICK, 2000)

referentes as projecoes dos alvos no plano da imagem, quanto no espaco 3D, como formas

volumetricas (KOLLER; DANIILIDIS; NAGEL, 1993), (CAMPOS, 2003).

Introducao 3

De um modo geral, em ambos os grupos de abordagens, livres de modelo e baseadas em

modelo, os algoritmos de rastreamento utilizados para seguir os alvos ao longo de sequencias

de imagens adotam a metodologia de predicao-observacao-filtragem. Neste arcabouco, o

estado dos alvos no proximo quadro de uma sequencia de imagens e estimado atraves de

uma predicao realizada com base no modelo de movimento do mesmo; logo depois, o modelo

de observacao e empregado para extrair informacoes da imagem, possibilitando a filtragem

(tambem chamada de atualizacao) da estimativa executada no passo de predicao. Neste

ponto, e importante salientar que esta metodologia tem uma correspondencia direta com as

etapas de execucao de estimadores Bayesianos como o Filtro de Kalman (GELB et al., 1974),

o Filtro de Kalman Estendido (GELB et al., 1974) e o Condensation (BLAKE; ISARD, 1998),

de modo que tais algoritmos sao amplamente usados no rastreamento visual, principalmente

nas abordagens baseadas em modelo. Ressalta-se que na literatura que trata dos estimadores

recursivos Bayesianos os mesmos sao descritos em duas etapas, predicao e filtragem, deixando

implıcita a observacao. Quanto as abordagens livres de modelo, metodos mais simples sao

utilizados com maior frequencia, como por exemplo no caso de alvos representados por regioes

nas imagens (blobs), em que os mesmos sao rastreados atraves de tecnicas de similaridade

de regioes, baseadas em metricas como correlacao (HAGER; TOYAMA, 1998) ou histograma

de cores (COMANICIU; RAMESH; MEER, 2000). Mesmo nesses casos os passos de predicao-

observacao-filtragem podem ser identificados.

A opcao pela utilizacao de uma abordagem livre de modelo ou baseada em um modelo de

forma dos objetos rastreados e especialmente relevante no rastreamento visual de multiplos

alvos. Nesta importante extensao do problema com um unico alvo a definicao da representacao

dos objetos, bem como dos outros componentes do sistema de rastreamento, torna-se crıtica.

Isto ocorre devido a questoes como oclusao, necessidade de identificacao unica de cada alvo,

desconhecimento ou variacao do numero de objetos rastreados, alem da dificuldade carac-

terıstica do caso envolvendo mais de um alvo, estabelecida pelo problema da associacao de

dados (data association) (BAR-SHALOM; FORTMANN, 1988) apud (SCHULZ et al., 2001), que

consiste na necessidade do estabelecimento de uma correspondencia entre as observacoes do

sensor e cada alvo rastreado no ambiente.

Ainda no contexto do problema com varios alvos as abordagens consideradas como livres

de modelo, que nao utilizam uma representacao explıcita da forma dos alvos, tem a vantagem

de possibilitarem o rastreamento de objetos com formas desconhecidas a priori, o que as torna

mais flexıveis, alem de dispensar a elaboracao de um modelo que em alguns casos pode ser

custoso. No entanto, em geral este tipo de abordagem nao apresenta robustez no tratamento

de problemas como oclusao e manutencao da identidade unica de cada alvo, baseando-se

1.1 Motivacao 4

em estrategias fracas como uniao e separacao de regioes, quando dois alvos aproximam-se,

por exemplo, o que dificulta muito a manutencao da identidade dos mesmos (HARITAOGLU;

HARWOOD; DAVIS, 1998). Por outro lado, as propostas classificadas como baseadas em modelo,

as quais usam um modelo detalhado dos alvos, requerem necessariamente o conhecimento

previo dos alvos de interesse e a obtencao de informacoes sobre os mesmos, de modo que seja

possıvel a construcao da representacao. A descricao apurada dos alvos, associada a algoritmos

de rastreamento probabilısticos favorecem a elaboracao de abordagens robustas, que tratam

satisfatoriamente os problemas mencionados anteriormente (MACCORMICK; BLAKE, 2000). A

principal desvantagem destes metodos e que em alguns ambientes, como locais publicos, nem

sempre e viavel determinar todos os tipos de alvos que entrarao no campo de visao do sensor

optico e, alem disso, elaborar modelos para os mesmos.

Considerando o que foi exposto, o emprego de uma abordagem livre de modelo para o

rastreamento de objetos em sequencias de imagens possibilita a utilizacao de pouca quantidade

de informacoes previas sobre os objetos de interesse. A relevancia deste tipo de abordagem

torna-se clara quando se considera aplicacoes em que os alvos sao desconhecidos, como em

um local publico, ou heterogeneos, como pessoas e veıculos. No entanto, a disponibilidade

de pouca informacao a priori compromete a eficacia do processo de rastreamento. Deste

modo, a quantidade de informacoes previas utilizadas e a eficacia do processo de rastreamento

estabelece um importante paradoxo a ser considerado no desenvolvimento de uma abordagem

livre de modelo de forma dos alvos.

1.1 Motivacao

O problema de rastrear objetos em sequencias de imagens ainda nao se encontra resolvido

de forma definitiva na literatura. Questoes como fundo dinamico de cena, oclusao persis-

tente, identificacao unica de alvos, numero desconhecido e variavel de objetos de interesse e

o rastreamento de objetos sobre os quais nao se tem muita informacao a priori mostram-se

desafiadoras. Alem disso, ha um grande numero de aplicacoes nas quais abordagens eficien-

tes podem ser empregadas, como na vigilancia automatica de ambientes, controle de trafego

em estradas, rastreamento de pessoas, estimativa do numero de pessoas em multidoes, entre

outras. Assim, a investigacao deste problema configura-se tanto uma importante tarefa ci-

entıfica, quanto a exploracao de um domınio repleto de aplicacoes promissoras. Nesta secao

serao abordadas brevemente duas destas aplicacoes: a robotica movel e o monitoramento

automatico de ambientes.

Atualmente ha uma crescente necessidade de interacao entre robos moveis e seres huma-

1.2 Objetivo 5

nos em lugares como industrias, escritorios, hospitais, locais publicos e mesmo no ambiente

domestico. Neste contexto, possibilitar que um robo movel tenha a capacidade de realizar

o rastreamento de objetos (pessoas ou outros robos) em imagens do ambiente captadas por

ele e de fundamental importancia para sua autonomia. Atraves disso, um robo movel pode,

por exemplo, ajustar sua postura e velocidade de acordo com a movimentacao captada de

um objeto no ambiente, diminuindo assim a possibilidade de colisoes (SCHULZ et al., 2001).

Alem disso, deteccao e rastreamento de outros robos moveis e uma tarefa de fundamental

importancia na manutencao e estimativa do posicionamento de cada membro de grupos de

robos durante a inspecao e exploracao de ambientes, localizacao de vıtimas em areas de difıcil

acesso, onde ocorreram desastres, localizacao de pessoas em locais tomados por sequestradores

ou por terroristas, bem como na execucao de outras tarefas cooperativas ou competitivas.

O monitoramento de ambientes tambem e um assunto sobre o qual ha um crescente

interesse de pesquisa e desenvolvimento nas areas da robotica e visao computacional. Essa

tarefa pode ser executada com o uso de circuitos fechados de vıdeo, com cameras fixas, por

cameras instaladas em robos moveis atuando de maneira independente, ou ainda por equipes

de robos agindo de modo coordenado. O monitoramento automatico de ambientes pode

ser utilizado para realizar a vigilancia de um predio, ou para proteger um determinado local,

detectando a presenca de intrusos.

1.2 Objetivo

O objetivo deste trabalho e propor uma abordagem unica, capaz de realizar o rastreamento

visual de alvos heterogeneos com a utilizacao de pouco conhecimento a priori sobre os mesmos,

isto e, uma abordagem livre de modelo de forma, mas ainda assim que seja eficiente e eficaz no

processo de rastreamento. E importante salientar que tais interesses sao conflitantes, exigindo

um equilıbrio entre a quantidade de informacao empregada e a eficiencia e eficacia pretendidas.

Como ja mencionado, as caracterısticas das abordagens classificadas como livres de mo-

delos favorecem o rastreamento de alvos heterogeneos, por outro lado, as abordagens tidas

como baseadas em modelos propiciam maior robustez quanto a questoes como oclusao e fundo

de cena dinamico. Pretende-se portanto, utilizar peculiaridades dos dois grupos para alcancar

os objetivos desejados. Mais especificamente, sera utilizada para os alvos uma representacao

livre de modelo de forma que permitira o rastreamento de objetos moveis desconhecidos a

priori. O algoritmo de rastreamento sera um estimador Bayesiano, o qual e associado aos mo-

delos de movimento e de observacao dos alvos, e fornece a base para elaboracao de solucoes

probabilısticas adequadas para o problema do rastreamento visual, como se pode ver em tra-

1.3 Domınio de Aplicacao 6

balhos encontrados na literatura (MACCORMICK, 2000), (TWEED; CALWAY, 2002). Para isso

e necessario que haja uma boa adequacao entre a representacao dos alvos, os modelos de

movimento e de observacao e o algoritmo de rastreamento.

1.3 Domınio de Aplicacao

A abordagem proposta foi desenvolvida visando o rastreamento de alvos com formas hete-

rogeneas, como pessoas e veıculos (robos moveis), que se deslocam em ambientes internos,

por exemplo em escritorios, centros comerciais e hospitais. Definiu-se que o sensoriamento

do ambiente e feito por um sensor optico, mais especificamente uma camera Charge Coupled

Device (CCD) fixa em um ponto pre-determinado. Quanto aos objetos de interesse assume-se

que os mesmos sao moveis e se deslocam no campo de visao do sensor optico realizando

movimentos suaves e simples; assim, esta e a primeira informacao previa usada na abordagem

adotada. As demais suposicoes assumidas a respeito do domınio de aplicacao da abordagem

sao mostradas na Tabela 1.1. As mesmas sao agrupadas nas categorias ambiente, alvos e

movimentos, a exemplo do que e apresentado por Moeslund e Granum (2001).

Suposicoes

Movimentos Ambiente Alvos

Camera estatica Iluminacao constante VeıculosAlvos com movimentos suaves Fundo de cena estatico Pessoas

Movimento limitado de membros (pessoas)Movimentos sobre um plano

Tabela 1.1: Suposicoes a respeito dos movimentos, ambientes e alvos tratados pela aborda-gem proposta.

1.4 Organizacao do Trabalho

Os temas abordados neste trabalho estao divididos da seguinte forma: no Capıtulo 2 e apresen-

tada uma breve revisao bibliografica, assim como uma taxonomia que sera util para localizar

a abordagem proposta dentre as demais encontradas na literatura; o Capıtulo 3 trata a mode-

lagem probabilıstica do rastreamento visual de objetos, alem de apresentar alguns estimadores

recursivos Bayesianos considerados nos trabalhos de rastreamento visual; o modelo de repre-

sentacao baseado nos contornos dos alvos e detalhado no Capıtulo 4, enquanto o modelo de

observacao e apresentado em detalhes no Capıtulo 5, e o modelo de movimento dos alvos e

descrito no Capıtulo 6. O detalhamento da abordagem proposta neste trabalho encontra-se

no Capıtulo 7. Por fim, os experimentos realizados e os resultados obtidos sao mostrados no

1.4 Organizacao do Trabalho 7

Capıtulo 8, seguidos da conclusoes finais desta pesquisa e indicacoes de trabalhos futuros, no

Capıtulo 9.

8

2 Revisao Bibliografica

Devido ao grande numero e a variedade de abordagens encontradas na literatura, torna-se

muito difıcil o estabelecimento de uma taxonomia capaz de classificar as propostas existentes

para o tratamento do problema do rastreamento visual de objetos, sem que haja uma serie

de excecoes e interseccoes entre as classes definidas. Os proprios trabalhos encontrados que

se propoem a estabelecer taxonomias mencionam tal problema (HU et al., 2004), (MOESLUND;

GRANUM, 2001), (GAVRILA, 1999). Dessa forma, nao se pretende propor aqui uma taxonomia, e

sim apresentar a proposta de Hu et al. (2004), e posteriormente propor uma simples adaptacao

da mesma, que se entende ser mais clara e compreensıvel, dados os trabalhos encontrados na

literatura. Nao se tem como objetivo classificar uma serie de abordagens encontradas, e sim

fornecer um panorama geral, de modo que se possa situar com facilidade o presente trabalho

dentre as principais propostas existentes.

E importante salientar que as taxonomias podem ser construıdas levando-se em consi-

deracao muitos criterios, como dimensao da representacao (2D × 3D), numero de sensores

(monocular × estereo), disposicao dos sensores (centralizados × distribuıdos), mobilidade

dos sensores (estaticos × moveis), entre outras (GAVRILA, 1999). A taxonomia apresentada

baseia-se no tipo de representacao utilizada para descrever os alvos, o que se ajusta perfeita-

mente ao escopo do presente trabalho. Alem da taxonomia mencionada, descrita na Secao 2.1,

ainda neste capıtulo serao apresentadas na Secao 2.2 propostas de interesse que apresentam

abordagens relevantes ao rastreamento visual.

2.1 Taxonomia

Na taxonomia adotada, apresentada por Hu et al. (2004) e mostrada na Figura 2.1, os autores

propoem-se a dividir as abordagens que tratam o rastreamento visual, de acordo com o tipo

de representacao utilizada para descrever os alvos, em quatro classes: baseadas em regiao,

baseadas em contorno, baseadas em caracterısticas (features) e baseadas em modelo.

A primeira delas engloba os metodos que representam os alvos como regioes nas imagens. Estes

2.1 Taxonomia 9

metodos sao frequentemente denominados na literatura como rastreadores de regioes (blob

trackers). Na categoria das tecnicas baseadas em contorno, os metodos descrevem os alvos de

interesse por uma aproximacao da forma de suas projecoes no plano da imagem. Ja os metodos

baseados em caracterısticas modelam os alvos atraves de elementos com menos significado

semantico, ou seja, centroides, areas, segmentos de reta e curva, vertices (quinas e cantos), ou

mesmo relacoes geometricas entre tais caracterısticas. Finalmente, as abordagens consideradas

como sendo baseadas em modelo utilizam uma representacao explıcita e detalhada dos alvos.

Estas representacoes podem ser construıdas tanto no espaco 2D, quanto no 3D, baseando-se

na estrutura, nos contornos, em formas volumetricas, ou ainda na conjuncao destes modelos

anteriores.

RastreamentoVisual

Baseadasem Regiões

Baseadasem Contornos

Baseadas emCaracterísticas

Baseadasem Modelos

Figura 2.1: Taxonomia apresentada por Hu et al. (2004) que define as categorias de abor-dagens para o rastreamento visual de acordo com a representacao utilizada.

Neste momento e importante salientar alguns pontos de conflito em tal taxonomia. Pri-

meiramente, a existencia de uma classe de metodos baseados em modelo induz a suposicao

de que as demais categorias nao se baseiam em modelos dos alvos, no entanto, tal suposicao

nao e confirmada. Como exemplo, pode-se citar o trabalho de Wren et al. (1997), incluıdo na

classe das propostas baseadas em regioes. De fato, sao utilizadas regioes para modelar os alvos

(pessoas) nas imagens, mas e estabelecida uma relacao explıcita entre a posicao de cada regiao

que compoe um alvo (cabeca, maos, tronco, etc.), de tal modo que este trabalho e classificado

como baseado em modelo de forma em outras taxonomias (MOESLUND; GRANUM, 2001), (GA-

VRILA, 1999). Da mesma maneira, uma abordagem baseada em caracterısticas pode utilizar

uma definicao explıcita da posicao relativa em que se espera encontrar tais caracterısticas nos

alvos, configurando assim um modelo de forma do mesmo. Apesar da controversia apontada,

a taxonomia fornece um bom panorama dos tipos de representacoes dos alvos encontrados na

2.2 Trabalhos Relacionados 10

literatura.

Pelos motivos acima expostos optou-se por realizar uma adaptacao da classificacao apre-

sentada anteriormente, baseada na taxonomia proposta por Gavrila (1999). Neste trabalho,

mesmo sem fornecer uma descricao bem organizada dos tipos de representacoes existentes, o

autor propoe uma classificacao em que ha uma separacao clara entre abordagens que utilizam

ou nao modelos explıcitos da forma dos alvos. Na adaptacao apresentada, mostrada na Figura

2.2, as abordagens sao primeiramente definidas como livres ou baseadas em um modelo de

forma dos alvos, para depois serem classificadas em categorias como as expostas por Hu et al.

(2004). Tal adaptacao nao constitui de maneira alguma uma taxonomia absoluta, visto que

sao encontradas abordagens que associam mais de um tipo de representacao; o objetivo aqui,

como dito anteriormente e fornecer um panorama de alguns metodos existentes na literatura,

visando facilitar a localizacao do presente trabalho entre os mesmos.

RastreamentoVisual

Baseadasem Regiões



Baseadasem Modelos

Livres deModelos

Baseadasem Regiões



Baseadas emEstruturas

Baseadas em Modelos 3D

Figura 2.2: Proposta de adaptacao da taxonomia apresentada por Hu et al. (2004) feita combase na classificacao das abordagens sugerida por Gavrila (1999).

2.2 Trabalhos Relacionados

Como ja mencionado, ha uma grande quantidade de abordagens na literatura que tratam o

rastreamento de alvos em sequencias de imagens. Neste trabalho, como foi descrito na Secao

1.2, tem-se como objetivo principal propor uma abordagem unica para o rastreamento visual de

alvos heterogeneos. Para tanto optou-se pela utilizacao de uma representacao livre de modelo


de forma dos alvos. Tendo em vista a taxonomia baseada na representacao dos alvos para

classificacao dos metodos encontrados na literatura, mostrada na Figura 2.2, sao considerados

tres tipos de representacoes livres de modelo de forma: baseadas em regioes, baseadas em

contornos e basedas em caracterısticas.

No primeiro tipo citado os alvos sao representados por regioes no plano das imagens,

sendo que o modelo de observacao extrai informacoes dos pixels componentes destas regioes

para execucao do rastreamento, como se pode observar em (HARITAOGLU; HARWOOD; DAVIS,

1998), (ISARD; MACCORMICK, 2001), (MCKENNA et al., 2000). Nas tecnicas baseadas em con-

tornos e construıda uma representacao aproximada das projecoes das bordas dos objetos nas

imagens, sendo neste caso a observacao dos alvos realizada usualmente atraves da extracao de

bordas de intensidade, textura e cor das imagens, como se encontra em (NGUYEN; WORRING,

2000), (KOLLER; WEBER; MALIK, 1994), (PARAGIOS; DERICHE, 2000). Ja nos metodos basedos

em caracterısticas os alvos sao representados por informacoes de baixo nıvel semantico, como

pontos e retangulos envolventes, com cantos, retas e quinas extraıdos pelo modelo de ob-

servacao durante o rastreamento nas sequencias de imagens, tal como em (JUNG; SUKHATME,

2005), (POLANA; NELSON, 1994), (JIN; FAVARO; SOATTO, 2001), (SHI; TOMASI, 1994).

Apesar de apresentarem flexibilidade quanto a forma dos alvos de interesse, as aborda-

gens que fazem uso de representacoes livres de modelos geralmente apresentam limitacoes

referentes ao tratamento de oclusoes e a identificacao unica de cada alvo ao longo de uma

sequencia de imagens. Solucoes eficazes de tais questoes sao frequentemente encontradas

entre as abordagens que utilizam representacoes baseadas em modelos de forma dos alvos

e empregam estimadores Bayesianos para executar o rastreamento, (MACCORMICK; BLAKE,

2000), (MACCORMICK, 2000), (TWEED; CALWAY, 2002), (ISARD; BLAKE, 1998).

Dentre os trabalhos estudados e referidos acima, serao apresentados em detalhes a seguir

aqueles que apresentam atributos que vao ao encontro aos objetivos ja expostos. O trabalho

de Koller, Weber e Malik (1994) apresenta uma proposta para o rastreamento de veıculos em

estradas. Devido a dificuldade de determinar previamente todos os tipos de alvos passıveis de

serem rastreados (caminhoes, carros, motos, etc.), e construir uma descricao para cada um

deles, uma representacao livre de modelo foi adotada. Os alvos sao descritos por seus contor-

nos, construıdos com o uso de B-splines (BLAKE; ISARD, 1998). O processo de rastreamento e

iniciado com a segmentacao dos alvos moveis atraves da tecnica de subtracao de fundo adap-

tativo, porque apesar das imagens serem captadas por uma camera estatica, posicionada sobre

a estrada, ha uma variacao periodica de iluminacao ja que o ambiente e externo. E construıda

entao o contorno aproximado de cada alvo segmentado, sendo estes rastreados na imagem

com a metodologia de predicao-observacao-filtragem, implementada com duas instancias do


Filtro de Kalman para cada objeto movel, uma para estimacao de movimento e outra para

estimacao de forma. O modelo de observacao extrai as bordas das projecoes dos alvos no plano

da imagem e oclusoes sao tratadas atraves da modelagem geometrica da cena no espaco 3D,

que e possıvel porque a camera e fixa, e em postura conhecida em relacao a cena, como ja

mencionado.

Jung e Sukhatme (2005) propoem uma abordagem para o rastreamento de alvos moveis

em ambiente externo. Nesse caso tambem nao ha um conhecimento previo sobre os obje-

tos de interesse que viabilize a construcao de uma representacao unica da forma para cada

alvo. Os mesmos podem ser pessoas ou qualquer tipo de veıculo. A descricao e baseada

em caracterısticas, mais especificamente pontos que sao agrupados e delimitados por um

retangulo envolvente (bounding box). Neste trabalho o sensor optico e movel, posicionado

em um robo movel, por isso os alvos nao sao segmentados na inicializacao do processo. O

rastreamento e executado com o uso de uma instancia do Filtro de Partıculas (SARKKA et al.,

2004) para cada alvo, sendo que conforme o numero de alvos varia, tais instancias sao criadas

ou eliminadas. O modelo de observacao baseia-se no movimento captado em cada imagem

da sequencia por diferenciacao entre dois quadros subsequentes, sendo que o movimento da

camera (egomovimento do robo) e compensado com o algoritmo KLT (Kanade-Lucas-Tomasi)

(TOMASI; KANADE, 1991). Nao ha um tratamento explıcito de oclusao e este problema nao e

suficientemente abordado.

Com o objetivo de seguir pessoas em um ambiente interno, usando uma camera estatica,

MacCormick e Blake (2000) empregam uma solucao baseada em modelo, que representa os

alvos pelo contorno da cabeca e ombros, construıdo com B-splines. Nao ha segmentacao dos

alvos neste caso, sendo os mesmos perseguidos com o uso do algoritmo Condensation. O

modelo de observacao extrai as bordas de intensidade das projecoes dos alvos nas imagens

utilizando linhas de medida anexadas a representacao dos mesmos, que possibilitam a extracao

de bordas no espaco 1D, reduzindo o custo computacional do algoritmo. Ha um rigoroso

tratamento de oclusao, por meio de um princıpio de exclusao probabilıstico, que torna robusta

a identificacao unica de cada alvo ao longo de uma sequencia de quadros, no entanto o numero

de objetos reastreados deve ser fixo e conhecido previamente.

Isard e MacCormick (2001) tambem apresentam uma proposta para o monitoramento

da movimentacao de pessoas em ambientes internos com uma camera fixa. Os alvos sao

representados por um cilindro no espaco 3D da cena, mas o modelo torna-se na realidade

uma regiao elıptica quando projetado no plano da imagem, utilizando para isso informacoes

geometricas do ambiente. Ha uma fase de treinamento no processo onde as funcoes de

verossimilhanca do fundo da imagem e dos alvos sao aprendidas para uma determinada cena,

2.3 Consideracoes Finais 13

com base no resultado fornecido por filtros aplicados nas 3 bandas das imagens (Y, Cr, Cb).

Os objetos de interesse sao rastreados pelo algoritmo Condensation, sendo que o modelo

de observacao utiliza uma grade sobre toda imagem para determinar as regioes com maior

probabilidade de corresponderem aos alvos, em uma dada cena. Nao ha um tratamento de

oclusao explıcito e problemas quanto a identificacao unica dos alvos sao relatados pelos autores,

no entanto a abordagem e capaz de rastrear um numero variavel de alvos, e fornece uma

metodologia para associacao entre um modelo baseado em regiao e o algoritmo Condensation.

2.3 Consideracoes Finais

As solucoes apresentadas acima possuem atributos interessantes em relacao aos objetivos as-

sumidos neste trabalho. Koller, Weber e Malik (1994) e Jung e Sukhatme (2005) propoem

abordagens livres de modelo, no entanto, no primeiro caso o tratamento de oclusoes fica con-

dicionado a modelagem geometrica da cena, o que gera restricoes quanto ao posicionamento

da camera no ambiente, ja no segundo trabalho este problema nao e consideravelmente tra-

tado. Ambos tambem possibilitam que um numero variavel de alvos seja rastreado, bem como

a solucao de Isard e MacCormick (2001). O tratamento de oclusao dado por MacCormick e

Blake (2000) e robusto e rigoroso, no entanto o numero de alvos deve ser estabelecido a priori e

a sua extensao para oclusao entre mais de dois alvos e complexa. Isard e MacCormick (2001)

utilizam uma representacao baseada em regioes, o que torna o rastreamento mais robusto

em relacao ao uso de contornos aproximados, mas nao ha um modelo unico aprendido para

cada alvo, o que gera degradacao do rastreamento em situacoes de oclusao. Tais solucoes

serao consideradas para elaboracao da abordagem proposta no presente trabalho, de modo a

possibilitar o rastreamento eficiente de alvos com formas heterogeneas.

14

3 Abordagem Probabilıstica doRastreamento Visual

O cenario basico de um problema de rastreamento e formado por um sensor, que fornece in-

formacoes ruidosas do ambiente, e um alvo que descreve uma determinada trajetoria (SARKKA et

al., 2004). No caso do rastreamento visual, e utilizado um sensor optico, como uma camera,

como ilustrado na Figura 3.1, e as observacoes sao imagens captadas do ambiente. Variacoes

do caso basico podem ser criadas alterando-se o numero de alvos, como mostrado na Figura

3.2, o numero de sensores, ou as caracterısticas dos mesmos, como por exemplo sua mobili-

dade. No caso do presente trabalho o problema em questao e o rastreamento visual de alvos

com um sensor optico fixo.

Sensor(câmera)

Campode

Visão

Alvo

Observação(imagem)

Trajetóriado Alvo

Figura 3.1: Cenario basico: o sensor optico produz uma observacao do ambiente dentro deseu campo de visao, no qual o alvo de interesse descreve a trajetoria indicada.

O rastreamento visual pode ser modelado como um processo de estimacao, no qual os

alvos sensoriados constituem um sistema dinamico, ou seja, que se altera ao longo do tempo.

O estado do sistema, que corresponde a localizacao dos alvos na cena, e representado por nx

parametros que o definem unicamente em um instante t ∈ R; e pela descricao da evolucao

destes parametros ao longo do tempo (MACCORMICK, 2000), (BLAKE; ISARD, 1998). As incer-

tezas inerentes a aplicacoes reais, geradas por imperfeicoes no proprio modelo matematico do

sistema dinamico, por ruıdos e por imprecisoes nas observacoes sensoriais, devem ser conside-

Abordagem Probabilıstica do Rastreamento Visual 15

Sensor(câmera)

Campode

Visão

Alvo 1

Observação(imagem)

Trajetóriado Alvo 1

Alvo 2

Trajetóriado Alvo 2

Figura 3.2: Cenario com alvos heterogeneos: dois alvos com formas distintas descrevemtrajetorias no ambiente enquanto observacoes sao realizadas pelo sensor optico.

radas na estimacao. Existem varias formas de modelar tais incertezas (GOLDENSTEIN, 2004),

dentre elas provavelmente a mais difundida e fundamentada seja a abordagem probabilıstica

(SARKKA et al., 2004),(BAR-SHALOM; LI; KIRUBARAJAN, 2001), por apresentar bons resultados

praticos. Nessa abordagem os parametros que definem o sistema sao agrupados em uma

variavel aleatoria multidimensional ~x, denominada como vetor de estado do sistema. Dada a

natureza dinamica do sistema, o vetor de estado em um determinado instante k e dado por

~xk, onde k ∈ Z e a representacao discreta do tempo, tal que t = k.∆T , sendo t ∈ R o tempo

contınuo. A evolucao do vetor de estado do sistema ao longo do tempo e dada por

~xk = fk−1(~xk−1, ~wk−1), (3.1)

onde a funcao fk−1 : Rnx × Rnw → Rnx representa o modelo de movimento do sistema, a

dimensao do vetor de estado ~x e dada por nx e nw e a dimensao do vetor ~w que representa o

ruıdo independente e identicamente distribuıdo (i.i.d.) do modelo. Como muitos sistemas po-

dem ser considerados processos de Markov de ordem um, nos quais o estado seguinte depende

apenas do estado imediatamente anterior, os vetores ~xi, com i = 0, ..., k− 2, correspondentes

aos estados anteriores, nao sao considerados no modelo de evolucao do vetor de estado.

O objetivo do rastreamento e estimar o estado de um sistema, em um determinado ins-

tante k, utilizando para isso o modelo de movimento mostrado na Equacao 3.1 e observacoes

indiretas dos parametros que compoem o estado, fornecidas usualmente por sensores. Uma

observacao indireta ~zk do estado do sistema e dada por

~zk = hk(~xk, ~vk), (3.2)

onde a funcao hk : Rnx × Rnv → Rnz representa o modelo de observacao do sistema, a

Abordagem Probabilıstica do Rastreamento Visual 16

dimensao do vetor de observacao ~z e dada por nz e nv e a dimensao do vetor ~v que representa

o ruıdo i.i.d. da observacao. Como uma observacao e realizada a cada instante k, tem-se

o historico de observacoes do instante 1 ate o instante k, definido como o conjunto I1:k ,{~z1, ..., ~zk}. Neste ponto e valido fazer distincao entre tres problemas gerais de estimacao,

definidos de acordo com a relacao entre o instante k no qual se deseja realizar a estimacao, e

os instantes inicial e final que definem o conjunto das observacoes utilizadas, denotados abaixo

por i e j, respectivamente (GELB et al., 1974):

• Predicao onde sao usadas apenas observacoes anteriores ao instante k: i ≤ j < k;

• Filtragem onde sao usadas apenas observacoes ate o instante k (inclusive): i ≤ j = k;

• Suavizacao onde sao usadas observacoes anteriores ou posteriores ao instante k: i ≤k ≤ j.

Como o vetor de estado ~xk e o vetor de observacoes ~zk sao variaveis aleatorias, os mesmos

podem ser representados por funcoes densidade de probabilidade (pdf) possibilitando o em-

prego da estimacao recursiva Bayesiana, que constitui um arcabouco confiavel para combinacao

do modelo de movimento do sistema com seu modelo de observacao. A estimacao Bayesiana

em um instante k permite a utilizacao de toda informacao disponıvel ate este instante: todas

as observacoes ate k e o conhecimento anterior sobre o estado. Com essas informacoes, repre-

sentadas pelo historico de observacoes I1:k = {~z1, ..., ~zk}, e pela distribuicao de probabilidade

do estado anterior p(~xk−1|I1:k−1), sendo esta ultima no instante inicial igual a distribuicao de

probabilidade a priori do sistema p( ~x0), deseja-se calcular a distribuicao a posteriori de ~xk:

p(~xk|I1:k).

Para isso a Regra de Bayes pode ser aplicada, de modo que

p(~xk|I1:k) = p(~xk|~zk, I1:k−1)

=p(~zk|~xk, I1:k−1)p(~xk|I1:k−1)∫p(~zk|~xk, I1:k−1)p(~xk|I1:k−1)d~xk

(3.3)

=1

cp(~zk|~xk, I1:k−1)p(~xk|I1:k−1),

onde c e uma constante normalizadora. Com a aplicacao da equacao de Chapman-Kolmogorov,

que e uma consequencia imediata do teorema da probabilidade total (BAR-SHALOM; LI; KIRU-

BARAJAN, 2001), tem-se que:

p(~xk|I1:k−1) =

∫p(~xk|~xk−1, I1:k−1)p(~xk−1|I1:k−1)d~xk−1

. (3.4)

3.1 Filtros Probabilısticos Aplicados ao Rastreamento Visual 17

O sistema dado pela Equacao 3.1 foi assumido como um processo de Markov de ordem um,

tem-se (BAR-SHALOM; LI; KIRUBARAJAN, 2001):

p(~xk|I1:k) =1

cp(~zk|~xk, I1:k−1)

∫p(~xk|~xk−1, I1:k−1)p(~xk−1|I1:k−1)d~xk−1

=1

cp(~zk|~xk)

∫p(~xk|~xk−1)p(~xk−1|I1:k−1)d~xk−1

, (3.5)

onde a funcao de verossimilhanca p(~zk|~xk) e definida pelo modelo de observacao hk(.) na

Equacao 3.2, a evolucao do estado p(~xk|~xk−1) e definida pelo modelo de movimento fk−1(.) na

Equacao 3.1, e p(~xk−1|I1:k−1) representa a distribuicao a posteriori do estado anterior, ou sim-

plesmente a distribuicao a priori p( ~x0) no primeiro passo do processo de estimacao. Percebe-se

claramente a caracterıstica recursiva do estimador Bayesiano, que e usualmente dividido em

duas etapas: predicao, quando o proximo estado e estimado p(~xk|I1:k−1); e filtragem quando

a observacao e incorporada na estimaticao atraves da verossimilhanca p(~zk|~xk).

Existe uma serie de estimadores que resolvem a equacao recursiva Bayesiana 3.5, cada um

deles usando diferentes suposicoes. O Filtro de Kalman (GELB et al., 1974), supondo as funcoes

fk−1(.) e hk(.) como lineares, e distribuicoes de probabilidade Gaussianas, fornece uma solucao

analıtica fechada da equacao. O Filtro de Kalman Estendido (GELB et al., 1974) e capaz de

lidar com funcoes fk−1(.) e hk(.) nao-lineares, mas ainda exige distribuicoes Gaussianas. Ja

o Condensation (BLAKE; ISARD, 1998) (Filtro de Partıculas), permite tanto que as funcoes

sejam nao-lineares, quanto que as distribuicoes de probabilidade envolvidas no processo se-

jam nao-Gaussianas. Na proxima secao serao apresentados os estimadores Bayesianos mais

frequentemente usados no rastreamento visual.

3.1 Filtros Probabilısticos Aplicados ao Rastreamento Vi-sual

Nesta secao serao apresentados o Filtro de Kalman, o Filtro de Kalman Estendido e o algo-

ritmo Condensation, uma implementacao do Filtro de Partıculas muito difundida na area de

visao computacional (MACCORMICK, 2000). Estes algoritmos, que implementam a estimacao

Bayesiana descrita na secao anterior, sao amplamente utilizados em abordagens propostas na

literatura para o rastreamento de objetos em sequencias de imagens.


3.1.1 Filtro de Kalman

O Filtro de Kalman (GELB et al., 1974), proposto originalmente em (KALMAN, 1960), e um

estimador otimo no caso em que os modelos de movimento e de observacao do sistema sao

lineares, e as variaveis aleatorias que representam o estado e as observacoes sao Gaussianas.

Neste caso, o modelo do sistema e dado por:

~xk = Ak−1~xk−1 + ~wk−1,

~zk = Hk~xk + ~vk,(3.6)

onde ~xk e uma variavel aleatoria Gaussiana de dimensao nx representando o vetor de estado,

Ak−1 e a matriz de transicao de estado linear, ~zk e uma variavel aleatoria Gaussiana de

dimensao nz representando o vetor de observacao do sistema, Hk e a matriz de observacao

linear, ~w e o vetor que representa o ruıdo i.i.d. do modelo, com media zero e covariancia W :

~w ∼ N (0,W ) e ~v e o vetor que representa o ruıdo i.i.d. da observacao, com media zero e

covariancia R: ~v ∼ N (0, R).

O Filtro de Kalman executa duas etapas a cada iteracao: predicao e filtragem. Uma vez

que o filtro e um estimador Gaussiano linear, a distribuicao de probabilidade do vetor de estado

~xk e totalmente definida pela media ~xk e pela matriz de covariancia Px,k (GELB et al., 1974).

Assim, o processo de estimacao e dado pelas seguintes fases e equacoes:

• Predicao

~x′k = Ak−1~xk−1 (3.7)

P ′x,k = Ak−1Px,k−1A

Tk−1 + Wk−1, (3.8)

• Calculo do Ganho de Kalman

Kk = P ′x,kH

Tk (HkP

′x,kH

Tk + Rk)

−1, (3.9)

• Filtragem

~xk = ~x′k + Kk(~zk −Hk~x′k) (3.10)

Px,k = (I −KkHk)P′x,k(I −KkHk)

T + KkRkKTk . (3.11)

Na etapa de predicao, as Equacoes 3.7 e 3.8 estimam o estado ~x′k atual com base no estado

anterior ~xk−1. O ganho de Kalman Kk, calculado na Equacao 3.9, define qual a importancia

da observacao em relacao a predicao, de acordo com a precisao e exatidao de cada uma,

estabelecida pelas respectivas matrizes de covariancia. Na etapa de filtragem, Equacoes 3.10


e 3.11, o ganho de Kalman e usado para projetar a diferenca entre a observacao predita e a

realmente obtida (~zk − Hk~x′k), do espaco de observacao para o espaco de estado, alem de

corrigir a predicao com base na observacao.

3.1.2 Filtro de Kalman Estendido

Como mencionado na secao anterior, o Filtro de Kalman exige que os modelos de movimento

e de observacao do sistema sejam lineares. No entanto nao e difıcil encontrar sistemas reais

em que essas condicoes nao sao atendidas. Nos casos em que os modelos de movimento e

de observacao sao nao-lineares, mas as variaveis aleatorias que representam o estado e as

observacoes ainda podem ser consideradas Gaussianas, o Filtro de Kalman Estendido (GELB

et al., 1974), (ARULAMPALAM et al., 2002) pode ser empregado na estimacao Bayesiana. Neste

caso, o modelo do sistema e dado por:

~xk = fk−1(~xk−1) + ~wk−1,

~zk = hk(~xk) + ~vk,(3.12)

onde ~xk e uma variavel aleatoria de dimensao nx representando o vetor de estado, fk−1(.)

e a funcao de transicao de estado nao-linear, ~zk e uma variavel aleatoria de dimensao nz

representando o vetor de observacao do sistema, hk(.) e a funcao de observacao nao-linear, ~w

e o vetor que representa o ruıdo i.i.d. do modelo e ~v e o vetor que representa o ruıdo i.i.d. da

observacao.

A cada iteracao o Filtro de Kalman Estendido executa uma linearizacao dos modelos de

transicao de estado e de observacao em torno do estado atual, baseada em uma expansao em

serie de Taylor. Esta linearizacao e dada pelas derivadas parciais dos modelos no estado atual,

constituindo as matrizes Jacobianas:

Ak−1 =∂fk−1(~x)

∂~x

∣∣∣∣~xk−1

, (3.13)

Hk =∂hk(~x)

∂~x

∣∣∣∣~xk

, (3.14)

onde Ak−1 e a matriz Jacobiana da funcao fk−1(.) em ~xk−1 e Hk e a matriz Jacobiana da

funcao hk(.) em ~xk.

O Filtro de Kalman Estendido executa duas etapas a cada iteracao: predicao e filtragem.

Como o Filtro de Kalman, a distribuicao de probabilidade do vetor de estado ~xk e totalmente

definida pela media ~xk e pela matriz de covariancia Px,k. Assim, o processo de estimacao e

dado pelas seguintes fases e equacoes:


• Predicao

~x′k = fk−1(~xk−1), (3.15)

Ak−1 =∂fk−1(~x)

∂~x

∣∣∣∣~xk−1

, (3.16)

P ′x,k = Ak−1Px,k−1A

Tk−1 + Wk−1, (3.17)


Hk =∂hk(~x)

∂~x

∣∣∣∣~x′k

, (3.18)

Kk = P ′x,kH

Tk (HkP

′x,kH

Tk + Rk)

−1, (3.19)

• Filtragem

~xk = ~x′k + Kk(~zk − hk(~x′k)) (3.20)

Px,k = (I −KkHk)P′x,k(I −KkHk)

T + KkRkKTk . (3.21)

Como se percebe, as funcoes nao-lineares fk−1(.) e hk(.) sao usadas, respectivamente, na

Equacao 3.15, para predicao do estado, e na Equacao 3.20, na predicao da observacao dado

o estado estimado. Enquanto a matriz Jacobiana Ak−1 e usada na Equacao 3.17, de predicao

da matriz de covariancia, e a matriz Jacobiana Hk na Equacao 3.19, do ganho de Kalman e na

Equacao 3.21, de filtragem da covariancia. Salienta-se que a linearizacao realizada representa

uma aproximacao e consequentemente faz com que este algoritmo constitua uma solucao

sub-otima para o problema da estimacao Bayesiana (ARULAMPALAM et al., 2002).

3.1.3 Condensation

Conditional Density Propagation (Condensation) foi o nome usado por Isard e Blake (1998)

ao introduzirem o algoritmo de Reamostragem da Amostragem por Importancia (Sampling

Importance Resampling (SIR)) na comunidade de visao computacional (MACCORMICK, 2000).

O SIR e um filtro de partıculas derivado do algoritmo Sequencial de Amostragem por Im-

portancia (Sequential Importance Sampling (SIS)) (ARULAMPALAM et al., 2002). Diferente-

mente do Filtro de Kalman, o Condensation e capaz de lidar com sistemas em que tanto o

modelo de movimento, quanto o modelo de observacao sao nao-lineares, alem de possibilitar

que as funcoes densidade de probabilidade que representam o estado e as observacoes sejam

nao-Gaussianas.

Uma aproximacao discreta da funcao densidade de probabilidade do estado do sistema

e construıda com uso de um conjunto de amostras do estado, que podem ser chamadas de


partıculas. Quanto maior a dimensao do vetor de estado, mais amostras sao necessarias para

que se tenha um boa representacao da densidade de probabilidade, e consequentemente maior

o custo computacional, o que constitui uma desvantagem da tecnica. Similarmente a secao

anterior, o modelo do sistema e dado por:

~xk = fk(~xk−1) + ~wk−1,

~zk = hk(~xk) + ~vk,(3.22)

onde ~xk e uma variavel aleatoria de dimensao nx representando o vetor de estado, fk(.)

e a funcao de transicao de estado nao-linear, ~zk e uma variavel aleatoria de dimensao nz

representando o vetor de observacao do sistema, hk(.) e a funcao de observacao nao-linear, ~w

e o vetor que representa o ruıdo i.i.d. do modelo e ~v e o vetor que representa o ruıdo i.i.d. da

observacao.

Cada iteracao da estimacao tambem pode ser dividida em duas etapas: predicao e fil-

tragem; porem todas operacoes destas fases sao executadas sobre as proprias amostras que

representam a funcao densidade de probabilidade do sistema. O processo de estimacao e dado

pelas seguintes fases:

• Predicao - a funcao de transicao do sistema e aplicada a cada amostra ~xik do conjunto,

com i = 1, ..., N , sendo N o numero total de amostras. Na primeira iteracao o conjunto

de amostras ~x0 ∼ {~x10, ~x

20, ..., ~x

N0 } representara a distribuicao de probabilidade a priori

do o estado do sistema,

~x′ik = fk−1(~x

ik−1) + ~wk−1 → ~x

′k ∼ {~x′1k , ~x

′2k , ..., ~x

′Nk }. (3.23)

• Calculo dos Pesos - uma observacao e realizada, e a cada amostra ~x′ik e associado um

peso ωik. Quanto maior a probabilidade da observacao obtida, dada a amostra, maior o

peso associado. Os pesos sao normalizados de modo que∑N

i=1 ωik = 1,

ωik = p(~zk|~x′ik ) → {(~x′1k , ω1

k), (~x′2k , ω2

k), ..., (~x′Nk , ωN

k )}. (3.24)

• Filtragem (Reamostragem) - a filtragem do conjunto de amostras, com base na ob-

servacao, e realizada atraves de uma reamostragem. Dadas as amostras associadas aos

pesos, sao escolhidas com probabilidade ωik e com repeticao, N amostras para um novo

conjunto que representara a densidade de probabilidade p(~xk|~zk). A possibilidade de

repeticao faz com que amostras com pesos mais altos possivelmente sejam escolhidas

mais de uma vez, enquanto outras com pesos baixo nao sejam reamostradas,

{(~x′1k , ω1k), (~x

′2k , ω2

k), ..., (~x′Nk , ωN

k )} −−−−→reamostragem ~xk ∼ {~x1k, ~x

2k, ..., ~x

Nk }. (3.25)

3.2 Consideracao Finais 22

E importante salientar que no algoritmo Condensation, apresentado em (BLAKE; ISARD, 1998),

o numero de amostras e a tecnica de reamostragem empregada sao parametros crıticos, prin-

cipalmente quando a dimensao do espaco de estados e alta. Abordagens detalhadas destas

questoes e do algoritmo sao apresentadas em (MACCORMICK, 2000), (BLAKE; ISARD, 1998) e

(ARULAMPALAM et al., 2002).

3.2 Consideracao Finais

A modelagem do rastreamento de objetos em sequencias de imagens como um problema de

estimacao Bayesiana pode dar-se de inumeras maneiras. O domınio especıfico do problema em

questao, juntamente como os objetivos visados no rastreamento sao determinantes na definicao

do estimador mais adequado, bem como dos modelos de representacao (vetor de estado), de

observacao e de movimento dos objetos a serem rastreados. Como exemplo disto, pode-se citar

como domınio especıfico o rastreamento de multiplos objetos. Neste caso, algumas abordagens

lidam com a distribuicao conjunta dos alvos no ambiente (imagem) (ISARD; MACCORMICK,

2001), (TWEED; CALWAY, 2002), enquanto outras empregam uma distribuicao de probabilidade

para cada alvo separadamente (KOLLER; WEBER; MALIK, 1994). No primeiro caso, o estimador

usado deve tratar distribuicoes nao-Gaussianas, enquanto no segundo um estimador Gaussiano

seria capaz de realizar o rastreamento.

No rastreamento visual, as abordagens que adotam o Filtro de Kalman e o Filtro de Kalman

Estendidos geralmente executam um passo de inicializacao, no qual ocorre segmentacao dos

alvos, e posteriormente um estimador e instanciado para cada um deles (KOLLER; WEBER;

MALIK, 1994), de modo que um vetor de estado e utilizado para cada alvo. Isto ocorre porque

o Filtro de Kalman, e tambem o Filtro de Kalman Estendido, lidam apenas com distribuicoes

de probabilidade Gaussianas, ou seja, nao seria possıvel lidar com a distribuicao conjunta, no

caso de existir mais de um alvo simultaneamente no ambiente, ja que a mesma e multimodal.

O Condensation tem sido amplamente utilizado principalmente no rastreamento visual de

multiplos alvos (MACCORMICK; BLAKE, 2000), (TWEED; CALWAY, 2002), (JUNG; SUKHATME,

2005). Nos casos em que o fundo de cena e heterogeneo, quando existem elementos na

imagem similares ou identicos aos alvos de interesse, ou ainda quando estes sao identicos

entre si, as distribuicoes de probabilidade do sistema e das observacoes nao podem mais ser

consideradas Gaussianas, gerando a necessidade de utilizacao de um estimador capaz de lidar

com tais caracterısticas.

No presente tabalho optou-se pela utilizacao do Filtro de Kalman para execucao do rastre-

amento visual. A abordagem proposta, que sera descrita em detalhes no Capıtulo 7, baseia-se

3.2 Consideracao Finais 23

no emprego de duas instancias combinadas do Filtro de Kalman, uma para estimacao do mo-

vimento e outra para estimacao do contorno de cada alvo presente na sequencia de imagens.

A premissa de utilizacao de uma camera fixa possibilita a inicializacao do processo de rastre-

amento por meio da segmentacao dos alvos nas imagens. O Filtro de Kalman constitui-se

um estimador otimo, como ja mencionado e computacionalmente menos custoso do que o

algoritmo Condensation.

24

4 Modelo de Representacao Baseadoem Contornos

Neste capıtulo o modelo de representacao baseado nos contornos dos objetos de interesse

sera apresentado. Este modelo, juntamente com os modelos de observacao, de movimento

e com o algoritmo de rastreamento, como visto no Capıtulo 1, constituem os componentes

principais de um sistema de rastreamento visual de objetos. O modelo de representacao pode

ser considerado como o modo que os alvos de interesse sao “vistos” no processo de rastrea-

mento. Mais precisamente, a representacao e o vetor de estado que define a configuracao dos

objetos no plano das imagens. Uma importante questao que surge neste ponto diz respeito a

configuracao inicial dos alvos, ou seja, como os objetos de interesse sao detectados nas primei-

ras imagens de uma sequencia, para que a sua representacao seja corretamente inicializada.

Alguns trabalhos referem-se a esta etapa como inicializacao ou pre-processamento (KOLLER;

WEBER; MALIK, 1994), enquanto em outros a mesma encontra-se integrada ao processo de ras-

treamento (TWEED; CALWAY, 2002), sendo que uma serie de metodos podem ser empregados

nesta tarefa, como pode ser visto em (MOESLUND; GRANUM, 2001), (HU et al., 2004).

Neste trabalho sera empregada uma etapa de inicializacao do rastreamento, na qual serao

definidas as estimativas iniciais do contorno e da velocidade dos alvos. Assim como em

muitas abordagens encontradas na literatura, assume-se que os objetos de interesse estao em

movimento, portanto na proxima secao serao apresentados brevemente metodos para deteccao

de objetos moveis usualmente empregados na inicializacao do modelo de representacao dos

objetos em abordagens de rastreamento em sequencias de imagens. O modelo de representacao

dos alvos utilizado sera apresentado na Secao 4.2.

4.1 Deteccao de Objetos Moveis

A deteccao de objetos em movimento tem como objetivo separar ou segmentar objetos de

interesse do restante de uma imagem; aqui o interesse consiste em objetos moveis. O mo-

vimento e uma interessante informacao a priori para ser utilizada quando nao se conhecem

4.1 Deteccao de Objetos Moveis 25

exatamente os alvos a serem rastreados, o que esta perfeitamente de acordo com a presente

proposta de uma abordagem livre de modelo de forma dos alvos.

Uma das tecnicas mais comuns para deteccao de movimento e a subtracao de fundo, que

consiste na subtracao, pixel por pixel, de uma imagem atual da sequencia por uma imagem

de referencia do fundo da cena. Usualmente um limiar e utilizado para detectar os pixels que

diferem significativamente da referencia do fundo de cena, e posteriormente operadores sao

aplicados para eliminar ruıdos e corrigir falhas na limiarizacao. Como pode-se perceber, nao

so objetos moveis mas qualquer modificacao no ambiente posterior a captura da imagem de

referencia e detectada como movimento, no processo de subtracao, o que e um inconveniente.

Alem disso, movimentos periodicos como os de um ventilador, por exemplo, e mudancas na

iluminacao tambem prejudicam o resultado da deteccao. Para superar tais limitacoes alguns

autores propoem o uso de modelos estatısticos adaptativos para o fundo de cena (SEIXAS;

COSTA, 2003), que sao capazes de incorporar dinamicamente as alteracoes nas imagens, ge-

radas por eventos como os citados acima, tornando a deteccao de movimento mais robusta;

mesmo assim esta tecnica e mais apropriada para casos em que a camera e fixa. A imagem

de referencia do fundo de cena pode ser considerada como a modelagem 2D do ambiente (HU

et al., 2004).

As abordagens estatısticas usam caracterısticas de pixels ou grupos de pixels tais como

cor e intensidade, por exemplo, na definicao de propriedades, como media e variancia, empre-

gadas na construcao de modelos estatısticos do fundo de cena. Estes modelos possibilitam a

classificacao de cada pixel de um novo quadro como pertencente ou nao ao fundo. Com a

atualizacao contınua dos modelos os metodos estatısticos sao capazes de incorporar na ima-

gem de referencia novos objetos que passam a fazer parte do fundo de cena. Alem disso, a

construcao destes modelos pode ser estendida para os proprios alvos (WREN et al., 1997).

Uma outra tecnica muito difundida na literatura e a diferenciacao temporal, mais apro-

priada a ambientes dinamicos do que as anteriores, pois cada nova imagem da sequencia

e subtraıda de uma ou de duas imagens imediatamente anteriores, possibilitando a rapida

deteccao de objetos moveis ja que estes geram alteracoes entre as imagens subtraıdas. No

entanto este metodo e mais suscetıvel a ruıdos e frequentemente nao detecta movimento em

todos os pixels do alvo, o que gera buracos e falhas na fase de limiarizacao, que como no

caso da subtracao de fundo, e complementada com operacoes de correcao de ruıdo. Devido a

sua capacidade de adaptacao a ambientes dinamicos, e possıvel adotar esta metodologia nos

casos em que a camera e movel, associada a compensacao do movimento da mesma (JUNG;

SUKHATME, 2005).

O calculo do fluxo optico tambem e um metodo muito utilizado para deteccao de movi-

4.2 Modelo de Representacao 26

mento em sequencia de imagens. Nesta tecnica um vetor velocidade e associado a cada pixel

de uma imagem, representando a velocidade de cada ponto do ambiente dentro do campo de

visao em relacao ao sensor optico (BALLARD; BROWN, 1982). Assim, regioes proximas, que

apresentam movimentos coerentes, sao agrupadas como sendo correspondentes a um mesmo

alvo. Como a diferenciacao temporal, o fluxo optico e capaz de lidar com movimentos da

camera, mas nesse caso esta capacidade e intrınseca ao proprio metodo. A vulnerabilidade a

ruıdos (KOLLER; WEBER; MALIK, 1994) e a complexidade computacional configuram as des-

vantagens deste tipo de abordagem para a deteccao de objetos moveis.

4.2 Modelo de Representacao

Como ja mencionado no Capıtulo 2, existe uma serie de representacoes livres de modelo de

forma dos alvos. Dentre elas, a representacao baseada em contornos mostra-se interessante,

pois permite uma descricao mais precisa dos alvos de interesse, em comparacao, por exemplo,

com o uso de retangulos envolventes (bounding boxes), e alem disso, um modelo unico deste

tipo de representacao e capaz de adaptar-se dinamicamente a alvos com formas heterogeneas.

Para construcao de contornos de objetos de interesse o uso de B-splines e amplamente

difundido na literatura de rastreamento visual (MACCORMICK, 2000), (KOLLER; WEBER; MA-

LIK, 1994), (BLAKE; ISARD, 1998). Esta tecnica e conveniente para descricao dos contornos

dos alvos pois permite uma boa aproximacao de suas projecoes no plano das imagens, sendo

capazes de representar desde contornos triviais ate formas mais complexas, com a utilizacao

de um pequeno numero de parametros (chamados de pontos de controle que serao definidos

posteriormente), descrevendo os alvos de modo simples e efetivo, com baixo custo computa-

cional (HU et al., 2004). Na Secao 4.2.1 serao apresentados os fundamentos da construcao de

contornos como o uso de B-splines.

4.2.1 B-splines

Como dito anteriormente, a representacao apresentada baseia-se nos contornos dos objetos de

interesse, que sao modelados com B-splines, uma tecnica bastante conhecida para construcao

de curvas (BARTELS; BEATTY; BARSKY, 1987), (BLAKE; ISARD, 1998), (FOLEY et al., 1996). A

utilizacao de um unico polinomio para o calculo de cada coordenada na construcao de curvas

no espaco 2D, como contornos de objetos no plano das imagens, apesar de simples e com-

putacionalmente eficiente e frequentemente incapaz de representar satisfatoriamente algumas

curvas. Para solucionar este problema, permitindo maior flexibilidade e generalidade, existe

uma serie de tecnicas nas quais a curva a ser representada e formada com uma sucessao


de segmentos concatenados, sendo cada um deles definido por um polinomio. Dentre estas

tecnicas, talvez a mais conhecida seja a interpolacao com splines cubicas, construıdas com

segmentos de polinomios de terceiro grau (BARTELS; BEATTY; BARSKY, 1987). Esta tecnica

e capaz de interpolar pontos de controle usados para definir a curva que se deseja construir,

garantindo a continuidade ate a segunda derivada, continuidade C2, ao longo de toda curva,

em especial nas juntas entre os segmentos polinomiais, chamadas de nos (knots). Esta carac-

terıstica constitui uma vantagem inerente das splines, pois permite a representacao de formas

mais suaves, em relacao a outras tecnicas similares, como curvas de Bezier e de Hermite, que

apresentam continuidade C1 (FOLEY et al., 1996).

Apesar da vantagem mencionada acima, o calculo dos coeficientes dos polinomios da

spline sao dependentes de todos os M pontos de controle utilizados, envolvendo a inversao de

uma matriz M ×M , o que representa duas desvantagens: a movimentacao de um ponto de

controle afeta toda a curva e o tempo de processamento requerido no calculo dos coeficien-

tes pode ser proibitivo em aplicacoes de tempo-real (FOLEY et al., 1996), (BARTELS; BEATTY;

BARSKY, 1987). Essas limitacoes podem ser superadas com o uso de B-splines. Nesta tecnica

os segmentos polinomiais da curva construıda dependem apenas de poucos pontos de con-

trole. Esta propriedade, chamada de controle local, possibilita que apenas uma parte da curva

sofra alteracoes quando um ponto de controle e movimentado, alem de diminuir o tempo de

processamento gasto no calculo dos coeficientes. Apesar de garantir uma continuidade C2,

as B-splines em geral apenas “aproximam-se” dos pontos de controle, ao inves de interpola-

los. O criterio de proximidade e definido pela propriedade do polıgono convexo (convex hull

property), que sera definida adiante.

Uma funcao B-splines x(u) de ordem k (grau k − 1) e construıda como uma soma pon-

derada de M funcoes base (por isso ’B’-splines) Bki (u), i = 0, ...,M − 1 e definida como

(BARTELS; BEATTY; BARSKY, 1987):

x(u) =M−1∑i=0

xiBki (u), 0 ≤ u ≤ M − 1, (4.1)

onde xi sao denominados pontos de controle, aplicados as respectivas funcoes base Bki (u). A

curva x(u) e gerada a medida que o parametro u e variado de 0 ate M − 1.

Cada funcao base e formada por copias transladadas de segmentos de funcoes polinomiais

de ordem k, cada um definido em um intervalo do parametro u, denotados por bk0(t), ..., b

kk−1(t),

com 0 ≤ t ≤ 1, onde t e a parametrizacao local de u:

Bki (u) =

{bkint(u)−i(t),

0,

i ≤ int(u) ≤ i + k

demais pontos, (4.2)


com t = u − int(u) e int(u) sendo o valor inteiro de u. Percebe-se que o suporte de uma

funcao base Bki (u) e limitado ao intervalo [i, i + k] de valores de u, restringindo a influencia

do ponto de controle xi a este mesmo intervalo. Isto faz com que um trecho xi(u) da curva,

definido no intervalo [i, i + 1], seja dependente apenas do ponto de controle xi e dos k − 1

pontos anteriores, configurando assim o controle local da curva, mencionado anteriormente.

Os segmentos polinomiais usados para formar as funcoes base de uma B-spline cubica (ordem

k = 4) podem ser definidos como (BARTELS; BEATTY; BARSKY, 1987):

b40(t) =

1

6t3

b41(t) =

1

6(1 + 3t + 3t2 − 3t3) (4.3)

b42(t) =

1

6(4− 6t2 + 3t3)

b43(t) =

1

6(1− 3t + 3t2 − t3).

Estes segmentos sao definidos de modo a garantir a continuidade C2 das funcoes base, e

consequentemente das B-splines construıdas com as mesmas, uma vez que a combinacao

linear (soma ponderada) de tais funcoes base tambem mantera continuidade C2 (BARTELS;

BEATTY; BARSKY, 1987). Alem disso, os segmentos polinomiais mostrados acima asseguram

que a soma das funcoes base Bki seja igual a 1 para todos valores de u:

M−1∑i=0

Bki (u) = 1. (4.4)

Este somatorio estabelece a propriedade do polıgono convexo (convex hull property), que

garante que um segmento xi(u) da curva permaneca dentro do polıgono convexo formado

pelo ponto de controle xi e os k − 1 pontos anteriores. A prova matematica da propriedade

do polıgono convexo, bem como a deducao completa das Equacoes 4.3 sao apresentadas por

Bartels, Beatty e Barsky (1987).

No caso da construcao de formas ou curvas no plano 2D sao usadas duas funcoes B-spline

para definicao de uma curva parametrica:

r(u) = (x(u), y(u)) =M−1∑i=0

xiBki (u) =

M−1∑i=0

(xi, yi)Bki (u), 0 ≤ u ≤ M − 1, (4.5)

sendo as coordenadas de um ponto em r(u) definidas pelas funcoes x(u) e y(u), pelos pontos

de controle associados, denotados por xi = (xi, yi), e pelo parametro u limitado ao intervalo

[0,M−1]. A construcao de uma B-spline fechada no plano 2D da-se simplesmente atraves da


repeticao dos k−1 pontos de controle no final da sequencia: x0,x1, ...,xM−1,x0,x1, ...,xk−2.

As componentes de r(u) sao claramente definidas como:

x(u) =M−1∑i=0

xiBki (u) (4.6)

e

y(u) =M−1∑i=0

yiBki (u). (4.7)

Assim, a funcao r(u) apresentada acima e capaz de seguir de maneira muito aproximada

o “polıgono de controle”, definido no plano 2D pelos pontos de controle xi, ou seja, os

contornos dos objetos de interesse podem ser construıdos apenas atraves da definicao de

pontos de controle no plano das imagens.

De acordo com o que foi exposto ate este ponto, e possıvel construir um contorno de um

alvo a ser rastreado com a definicao de uma funcao B-spline, e com o estabelecimento de

parametros denominados pontos de controle no plano das imagens. Durante o processo de

rastreamento do alvo a posicao dos pontos de controle da representacao do alvo na imagem

e redefinida de acordo com a metodologia de predicao-observacao-filtragem empregada. Isto

significa que estes parametros provavelmente assumirao novas posicoes determinadas, a cada

iteracao do rastreamento, pelo modelo de movimento do contorno do alvo (predicao) e pelas

caracterısticas extraıdas da imagem (observacao). Neste contexto, e tambem de acordo como

a abordagem probabilıstica ja apresentada no Capıtulos 3, os pontos de controle podem definir

o vetor de estado de um alvo. O vetor de estado ~X do contorno de um alvo, e dado por:

~X = (x0,x1, ...,xM−1)T , (4.8)

onde xi = (xi, yi) e um ponto de controle, com i = 0, ...,M − 1.

Nos casos em que ha um modelo da forma do contorno dos alvos de interesse, os pontos

de controle, e consequentemente o contorno dos alvos, sao definidos a priori e usados no

rastreamento. Ja no caso em que esse modelo nao e conhecido previamente faz-se necessario

construir os contornos dos objetos de interesse durante o processo de rastreamento, salientando

que estes podem ser diferentes entre si. Koller, Weber e Malik (1994) apresentam um metodo

interessante, que consiste primeiramente na construcao de um polıgono convexo envolvendo

cada objeto movel segmentado na imagem; logo apos, os pontos de controle do contorno de

cada alvo sao determinados atraves de uma aproximacao entre uma curva B-spline fechada e

o polıgono convexo. Esta metodologia, apresentada na secao seguinte, permite a construcao

de contornos que variam de acordo com a forma do alvo a ser rastreado ao longo da sequencia


de imagens.

4.2.2 Aproximacao de uma B-spline a um Polıgono

Tanto na etapa de inicializacao do processo de rastreamento visual, quanto durante o rastrea-

mento propriamente dito, caracterısticas dos objetos de interesse, tais como movimento, cor,

textura e bordas de intensidade, sao extraıdas das imagens pelo modelo de observacao. As

caracterısticas observadas sao empregadas no ajuste do modelo de representacao, ou seja, o

vetor de estado, ao alvo a ser rastreado. Este procedimento e executado a partir da inicia-

lizacao do vetor de estado do alvo, e e repetido a cada iteracao do algoritmo de rastreamento,

dados os passos de predicao-observacao-filtragem ja mencionados anteriormente.

Koller, Weber e Malik (1994) apresentam um metodo de ajuste do modelo de representacao

baseado no contorno dos objetos de interesse, construıdo com B-splines tal como apresentado

na Secao 4.2.1. Neste metodo as caracterısticas extraıdas das imagens sao envolvidas por um

polıgono convexo, na inicializacao e em cada iteracao do rastreamento, como exemplificado

na Figura 4.1. O polıgono, no entanto nao se mostra adequado ao processo de estimacao do

contorno do alvo, ja que o numero de vertices pode facilmente variar ao longo da sequencia

de imagens, a medida que novas observacoes sao realizadas. Ao inves disso, uma B-spline

com numero fixo de pontos de controle, que se mostra apropriada ao processo de estimacao

da forma do contorno do alvos, e ajustada ao polıgono convexo. A aproximacao e executada

atraves da tecnica de mınimos quadrados apresentada por Bartels, Beatty e Barsky (1987), nao

e baseada nos vertices do polıgono, devido a disparidade de distancias que pode ocorrer entre

eles. Para evitar esse problema, os pontos utilizados no ajuste da B-spline sao distribuıdos

uniformemente ao longo das arestas do polıgono. Assim, uma B-spline com numero fixo de

M pontos de controle xi, i = 0, ..., M − 1, sera utilizada para aproximar a forma do polıgono

definido por P pontos Pj, j = 0, ..., P − 1, distribuıdos uniformemente ao longo de suas

arestas, como mostrado na Figura 4.2. Na abordagem apresentada por Koller, Weber e Malik

(1994) e Bartels, Beatty e Barsky (1987), o primeiro passo e associar um ponto da funcao

B-spline a cada ponto ao longo do polıgono. Dessa forma, o parametro da funcao associado

ao ponto Pj e denotado por uj. Os parametros uj sao definidos como:

u0 = k − 1, (4.9)

uj+1 = uj + M‖Pj+1 − Pj‖

S, (4.10)

onde k e a ordem da B-spline empregada na aproximacao, ‖.‖ e a norma Euclidiana e S e o


(a)

Coordenada X

Coo

rden

ada

Y

100 200 300

50

100

150

200

250

(b)

(c) (d)

Figura 4.1: (a) Imagem original. (b) Resultado da subtracao de fundo e limiarizacao e opolıgono convexo envolvente. (c) Resultado da deteccao de bordas e o polıgono convexoenvolvente. (d) Polıgono convexo com 21 vertices.

comprimento total das arestas do polıgono, definido como:

S =P−1∑j=1

‖Pj − Pj−1‖. (4.11)

Como resultado, o espacamento entre os valores parametricos uj e proporcional a distancia

Euclidiana entre os pontos Pj associados (BARTELS; BEATTY; BARSKY, 1987). A aproximacao

ao polıgono constitui um problema de minimizacao da funcao erro, definida como sendo a

soma das distancias entre os pontos Pj = (Xj, Yj) e a curva B-spline, definida pelos pontos

de controle xi = (xi, yi), nos pontos associados uj. A funcao erro e dada por:

R =P−1∑j=0

‖r(uj)− Pj‖2

=P−1∑j=0

∥∥∥∥k−2∑i=0

xi(Bki (uj) + Bk

i+M(uj)) +M−1∑

i=k−1

xi(Bki (uj))− Pj

∥∥∥∥2

(4.12)

=P−1∑j=0

∥∥∥∥M−1∑i=0

xiBki (uj)− Pj

∥∥∥∥2

,


50 100 150 200 250 300 350

50

100

150

200

250

Coordenada X

Co

ord

enad

a Y

Vértices do polígono.Pontos amostrados.

Figura 4.2: Dezesseis pontos, representados por quadrados, amostrados uniformemente aolongo do polıgono convexo.

onde

Bki (uj) =

{Bk

i (uj) + Bki+M(uj), 0 ≤ i ≤ k − 2

Bki (uj), k − 2 < i ≤ M − 1.

(4.13)

A funcao base e redefinida de modo que os primeiros k − 1 pontos de controle sao identicos

aos k−1 ultimos, configurando assim um curva B-spline fechada (BARTELS; BEATTY; BARSKY,

1987).

O ponto mınimo da funcao erro em relacao aos pontos de controle xi = (xi, yi) e dado

por:

∂R

∂xl

= 0,∂R

∂yl

= 0, 0 ≤ l ≤ M − 1.


Derivando-se a funcao parcialmente em relacao a yl, tem-se:

∂R

∂yl

= 0

∂

∂yl

(P−1∑j=0

((M−1∑i=0

xiBki (uj)−Xj

)2

+

(M−1∑i=0

yiBki (uj)− Yj

)2))= 0

2P−1∑j=0

((M−1∑i=0

yiBki (uj)− Yj

)(Bk

l (uj)

))= 0

P−1∑j=0

(M−1∑i=0

yiBki (uj)B

kl (uj)− YjB

kl (uj)

)= 0

M−1∑i=0

(P−1∑j=0

Bki (uj)B

kl (uj)

)yi−

P−1∑j=0

(YjB

kl (uj)

)= 0.

(4.14)

Derivando-se parcialmente da mesma forma em relacao a xl, obtem-se o seguinte sistema de

equacoes lineares:

M−1∑i=0

(P−1∑j=0

Bki (uj)B

kl (uj)

)xi−

P−1∑j=0

(XjB

kl (uj)

)= 0

M−1∑i=0

(P−1∑j=0

Bki (uj)B

kl (uj)

)yi−

P−1∑j=0

(YjB

kl (uj)

)= 0.

(4.15)

Definindo-se as seguinte matrizes:

X = (x0, ..., xi, ..., xM−1)T ,

Y = (y0, ..., yi, ..., yM−1)T ,

C = (c0, ..., cl, ..., cM−1)T , cl =

P−1∑j=0

XjBkl (uj),

D = (d0...dl...dM−1)T , dl =

P−1∑j=0

YjBkl (uj),

A =

s00 · · · s0M−1

... sil...

siM−1 · · · sM−1M−1

, sil =

P−1∑j=0

Bki (uj)B

kl (uj),

(4.16)

para 0 ≤ i, l ≤ M − 1, tem-se o sistema na forma matricial:

{A.X−C = 0,

A.Y −D = 0,(4.17)

que e resolvido por decomposicao LU, um eficiente e amplamente conhecido metodo para

solucao de sistemas de equacoes lineares (PRESS et al., 1992).

Dessa forma, resolvendo-se o sistema formado pelas Equacoes 4.17, os pontos de controle

xi = (xi, yi) sao determinados, possibilitando a construcao da funcao parametrica B-spline

que aproxima o polıgono convexo mostrado anteriormente na Figura 4.2. A B-spline define


o contorno fechado mostrado na Figura 4.3. E importante salientar que na aproximacao da

forma do polıgono foram empregadas as Equacoes 4.3, apresentadas na Secao 4.2.1, que

definem uma B-spline cubica, mas o metodo apresentado possibilita o emprego de funcoes de

diferentes ordens k, bem como um numero variado de pontos de controle. Quanto maior o

numero de pontos de controle xi em relacao a quantidade de pontos Pj amostrados ao longo

das arestas do polıgono, maior e a capacidade de aproximacao da B-spline ao polıgono em

questao, como mostrado na Figura 4.4. No entanto, o custo computacional tambem aumenta

com o numero de pontos de controle, ja que mais parametros sao empregados na construcao

do contorno.

50 100 150 200 250 300 350

50

100

150

200

250

Coordenada X

Co

ord

enad

a Y

Vértices do polígono.

Pontos amostrados.

Pontos de controle.

B−spline cúbica.

Figura 4.3: Funcao B-spline cubica (linha pontilhada), definida por seus pontos de controle(arteriscos), que aproxima o polıgono convexo (linha contınua).


Neste capıtulo foram apresentadas algumas tecnicas de deteccao de objetos moveis, na Secao

4.1, e o modelo baseado em contornos para representacao dos alvos no processo de rastrea-

mento na Secao 4.2. Uma tecnica de aproximacao de funcoes B-splines a polıgonos tambem

foi apresentada na Secao 4.2.2.

Como descrito no capıtulo anterior, na presente abordagem optou-se por empregar o Filtro

de Kalman, o que faz com que seja necessario que o estado dos alvos seja inicializado. Depois


50 100 150 200 250 300 350

50

100

150

200

250

Coordenada X

(a)

50 100 150 200 250 300 350

50

100

150

200

250

Coordenada X

Coo

rden

ada

Y

(b)

50 100 150 200 250 300 350

50

100

150

200

250

Coordenada X

(c)

50 100 150 200 250 300 350

50

100

150

200

250

Coordenada X

Coo

rden

ada

Y

(d)

Figura 4.4: Aproximacoes feitas a um polıgono convexo (linha contınua) com 21 vertices e 16pontos amostrados, utilizando-se uma B-spline cubica (linha pontilhada) com: (a) 15 pontosde controle; (b) 11 pontos de controle; (c) 7 pontos de controle; (d) 4 pontos de controle.

da estimacao dos estados iniciais dos objetos comeca o processo de rastreamento. Para isso

sao utilizadas as tecnicas de deteccao de alvos moveis descritas anteriormente. Devido ao uso

de uma camera fixa, que possibilita o conhecimento do fundo de cena; ao rastreamento em

ambiente internos, onde ha pouca variacao de luminosidade; e a simplicidade da tecnica, no

presente trabalho optou-se pela utilizacao da subtracao de fundo. A etapa de inicializacao do

rastreamento sera detalhada no Capıtulo 7.

O modelo de representacao adotado baseia-se nos contornos dos alvos, construıdos com

funcoes B-splines que possibilitam tanto a descricao de formas simples quanto complexas.

Desse modo o modelo e capaz de realizar uma boa aproximacao a formas heterogeneas no plano

das imagens. Um contorno e definido pelos pontos de controle da B-spline, que constituem o

vetor de estado do contorno, empregado pelo Filtro de Kalman na estimacao do estado dos

alvos.

Por fim, o metodo apresentado de aproximacao de uma B-spline a um polıgono e empre-

gado tanto na estimacao inicial do contorno, quanto na observacao durante o rastreamento.

Neste ultimo caso, as caracterısticas extraıdas das imagens pelo modelo de observacao, que

sera descrito no proximo capıtulo, definem um polıgono, que sera aproximado por uma funcao


B-spline constituindo assim o contorno observado de um alvo.

37

5 Modelo de Observacao Baseadoem Contornos

O modelo de observacao dos alvos, abordado neste capıtulo, define quais caracterısticas apre-

sentadas por estes serao extraıdas das imagens durante o processo de rastreamento. Estas

caracterısticas estao fortemente relacionadas com a representacao dos alvos, e com o conheci-

mento a priori disponıvel sobre os mesmos. Informacoes como cor, intensidade, quinas e cantos,

textura e movimento, obtidas com tecnicas de processamento digital de imagens (GONZALEZ;

WOODS, 1992), sao frequentemente utilizadas. No caso em que os alvos sao representados por

seus contornos e usual a observacao das bordas de variacao brusca de intensidade produzidas

por suas projecoes no plano das imagens.

O ajuste do modelo de representacao dos objetos as caracterısticas extraıdas das imagens

por meio do modelo de observacao da-se atraves de metodos como o apresentado na Secao

4.2, nos quais, com o uso de metricas como a distancia Euclidiana, a representacao dos

objetos e aproximada das caracterısticas detectadas. A necessidade de restringir o espaco

de busca pelas caracterısticas que realmente serao empregadas no processo de estimacao

do estado de um alvo e o alto custo computacional associado a aplicacao de tecnicas de

processamento de imagens em toda a area da imagem a cada iteracao do rastreamento,

fazem com que em muitos trabalhos encontrados na literatura as observacoes dos alvos sejam

limitadas a regioes de interesse ou regioes de busca (PATIL et al., 2004), (MCKENNA et al.,

2000). Essas regioes sao definidas com base na propria predicao do estado do alvos, ou

seja, a cada iteracao um estado estimado de um alvo e calculado, e a regiao de interesse

e definida no entorno dessa predicao, que por sua vez e corrigida (etapa de filtragem) com

base na observacao realizada, caracterizando o processo de predicao-observacao-filtragem ja

mencionado nos capıtulos anteriores.

No caso de representacoes baseadas em contornos, a regiao de interesse e usualmente de-

finida atraves de um alargamento do contorno calculado na predicao (TWEED; CALWAY, 2002).

Com o objetivo de reduzir ainda mais o custo computacional e o tempo de processamento,

alguns autores utilizam modelos de observacao baseados em uma amostragem deste contorno

5.1 Linhas de Medida 38

alargado, realizada por meio de linhas de medida posicionadas ao longo do contorno previsto

do alvo (BLAKE; ISARD, 1998), (MACCORMICK, 2000), (SIEBEL, 2003), (BAUMBERG, 1998).

Esta abordagem reduz o problema de analisar uma regiao 2D da imagem a analise de uma

serie de linhas 1D com o uso de filtros unidimensionais (MACCORMICK; BLAKE, 2000).

No presente trabalho optou-se pela utilizacao de linhas de medida no modelo de observacao

dos objetos devido ao baixo custo computacional associado, a flexibilidade desta abordagem

e a boa adequacao ao modelo de representacao baseado em contornos construıdos com B-

splines. Na proxima secao serao tratadas: a construcao das linhas de medida, a extracao

de caracterısticas e a interpretacao probabilıstica das caracterısticas detectadas ao longo das

linhas.

5.1 Linhas de Medida

Como mencionado anteriormente, as linhas de medida constituem uma amostragem do entorno

do contorno estimado de um objeto. Por essa razao as mesmas devem ser construıdas a

partir deste contorno previsto, configurando assim uma regiao de busca por caracterısticas dos

objetos, que passam a ser extraıdas ao longo das linhas de medida. Em geral estas linhas sao

normais aos contornos, distribuıdas uniformemente e fixas por seu ponto central ao longo do

contorno gerado com a funcao B-spline.

5.1.1 Construcao das Linhas de Medida

Considerando a representacao do contorno de um alvo, construıda com uma curva B-spline

fechada r(u) = (x(u), y(u)), tal como definido na Secao 4.2, sao determinados N pontos

r(un) ao longo da curva nos quais serao fixadas, respectivamente, N linhas de medida z(n),

n = 0, ..., N−1, de comprimento igual a L pixels. Estes pontos sao espacados uniformemente

no intervalo [0,M − 1] dos valores de u, onde M e o numero de pontos de controle da funcao

B-spline. As linhas de medidas z(n) sao definidas por retas parametricas na forma:

zn = r(un) + v.n = (x(un), y(un)) + v.(nx, ny), (5.1)

onde v ∈ Z, b−L/2c ≤ v ≤ bL/2c, e o parametro da reta e n e o vetor unitario normal a

curva no ponto r(un). O vetor normal unitario e dado por:

~n = (nx, ny) = (−y(un), x(un)), (5.2)

n =~n

|~n| , (5.3)


onde (x(un), y(un)) define o vetor tangente a curva B-spline no ponto un. O vetor tangente e

dado pela derivada r(un) da curva em un. Uma vez que a curva r(u) e definida pelas funcoes

base Bki (u), formada pelos segmentos polinomiais mostrados nas Equacoes 4.3, r(un) e de-

finida pela derivada destes segmentos. Para uma B-spline cubica tem-se (BARTELS; BEATTY;

BARSKY, 1987):

B4i (un) =

b40(tn) = 1

2t2n

b41(tn) = 1

6(3 + 6tn − 9t2n)

b42(tn) = 1

6(−12tn + 9t2n)

b43(tn) = 1

6(−3 + 6tn − 3t2n),

(5.4)

onde tn e a parametrizacao local de un, sendo tn = un − int(un) e int(un) sendo o valor

inteiro de un.

Considerando o que foi exposto, uma linha de medida z(n) de comprimento igual a L pixels

e dada por

z(n) = (zn,0, ..., zn,l, ..., zn,L−1), (5.5)

onde zn,l, com l = v + bL/2c e v = b−L/2c, ..., bL/2c, sao os valores de intensidade nos

pontos (xn,l, yn,l) amostrados uniformemente ao longo da reta zn, dada pela equacao 5.1,

a medida que o parametro v varia ao longo do intervalo [−bL/2c, bL/2c], tendo o ponto

r(un) como origem. Em geral L e fixo e igual para todas as linhas de medida ao longo do

contorno, apesar de algumas abordagens empregarem linhas com comprimento variavel durante

o processo de rastreamento (BLAKE; ISARD, 1998).

5.1.2 Extracao de Caracterısticas

Uma vez definida a construcao das linhas de medida, para possibilitar a deteccao de ca-

racterısticas com tecnicas de processamento de imagens, e necessario calcular os valores de

intensidade nos pontos ao longo das mesmas. Como os pixels sao interseccionados pelas li-

nhas de maneira irregular (BLAKE; ISARD, 1998), faz-se necessario o uso de um metodo de

interpolacao bilinear para tornar a amostragem mais eficiente e estavel.

A intensidade de um ponto (xn,l, yn,l) sobre a reta zn e calculada como a soma ponderada

dos 4 pixels vizinhos mais proximos. Considera-se que cada pixel da imagem esta centrado

nas coordenadas inteiras (i, j), e tem intensidade V (i, j). A intensidade zn,l = V (xn,l, yn,l)

de um ponto amostrado e calculada pela interpolacao bilinear (BLAKE; ISARD, 1998):

V (xn,l, yn,l) =∑i,j

wi,jV (i, j), (5.6)


com pesos

wi,j =

{(1− |x− i|)(1− |y − j|), para |x− i| < 1 e |y − j| < 1,

0, caso contrario.(5.7)

Como pode ser observado, no maximo 4 pixels, aqueles mais proximos de (xn,l, yn,l), tem pesos

diferentes de zero. Com o emprego da interpolacao, os valores de intensidade nas linhas de

medida tornam-se mais suaves e menos sujeitos a influencia de ruıdos existentes nas imagens.

Dadas as linhas de medida, a observacao dos objetos nas imagens e executada atraves da

analise unidimensional dos valores de intensidade zn,l, sendo z(n) = (zn,0, ..., zn,l, ..., zn,L−1).

Existe uma variedade de filtros que podem ser empregados para a deteccao de caracterısticas

como bordas, vales e picos de intensidade ao longo de uma linha de medida. Os filtros

sao aplicados sobre as linhas pela convolucao discreta de uma mascara Cm, m ∈ Z, m =

−NC , ..., NC , sendo 2NC + 1 a dimensao da mascara. O novo valor filtrado de intensidade

em um ponto da linha de medida e dado por:

zn,l =

NC∑m=−NC

Cmzn,(l+m). (5.8)

Apos a aplicacao do filtro, um limiar e usado para binarizar o resultado obtido, eliminando

assim ruıdos espurios.

As linhas de medida tambem podem ser utilizadas para a observacao de movimento nas

imagens. Como visto na Secao 4.1 Capıtulo 4, um dos metodos mais usuais de deteccao de

movimento e a diferenciacao temporal ou derivada temporal discreta. Neste metodo o quadro

atual de uma sequencia de imagens e subtraıdo de um ou mais quadros anteriores com objetivo

de localizar diferencas entre os mesmos, o que configuraria uma modificacao nas imagens,

possivelmente gerada pelo movimento de algum objeto na cena. Como ja mencionado, as

linhas de medida constituem uma regiao de busca por caracterısticas nas imagens, dessa

forma a diferenciacao temporal pode ser realizada nas linhas de medida, caracterizando assim

uma amostragem do movimento ao longo do contorno estimado de um alvo. Para isso, os

valores de intensidade de uma linha de medida no quadro t de uma sequencia de imagens sao

subtraıdos dos valores amostrados ao longo da mesma linha posicionada no quadro t − 1 da

sequencia. A derivada temporal discreta em um ponto da linha de medida e dada por:

zn,l,t = zn,l,t − zn,l,(t−1), (5.9)

onde zn,l,t e o valor de intensidade no ponto (xn,l, yn,l) no quadro t e zn,l,(t−1) e o valor de

intensidade neste mesmo ponto no, quadro t− 1. Similarmente ao realizado na aplicacao dos

filtros de intensidade, a linha de medida e binarizada com base em um limiar para eliminacao


de ruıdos.

Salienta-se que varias tecnicas de deteccao de caracterısticas podem ser aplicadas sobre

uma mesma linha de medida, dependendo do que se deseja “observar” no objetos de interesse.

A fusao das informacoes oriundas de cada uma das tecnicas e feita atraves de uma operacao

logica, como E ou OU, aplicada ao resultado da binarizacao das linhas. No presente trabalho

foi utilizado um filtro para detectar as bordas de intensidade, alem de realizada a diferenciacao

temporal das linhas, para deteccao de movimento. Os resultados binarizados de ambas as

tecnicas foram fundidos com a operacao logica E.

5.1.3 Interpretacao Probabilıstica das Caracterısticas Detectadas

Percebe-se que, em mais de um ponto de uma linha de medida, podem ser detectadas ca-

racterısticas como movimento ou bordas de intensidade. No entanto, deve-se determinar qual

dos pontos tem maior probabilidade de corresponder realmente a borda do objeto rastreado.

Uma vez que o ponto central de uma linha de medida e fixo exatamente no contorno estimado

do alvo, espera-se que a caracterıstica correspondente ao contorno real do objeto esteja mais

proxima do centro da linha. A probabilidade de cada caracterıstica detectada corresponder a

borda do objeto e dada aqui por uma funcao Gaussiana.

Considerando uma linha de medida z(n) = (zn,0, ..., zn,l, ..., zn,L−1), e zn,l como uma

caracterıstica detectada, a probabilidade de zn,l corresponder ao contorno real do objeto e

dada pela funcao densidade de probabilidade G(zn,l|ν), sendo G uma Gaussiana com centro

em ν, que e a posicao do centro da linha de medida, onde esta e fixa ao contorno. A densidade

de probabilidade Gaussiana e dada por:

G(zn,l|ν) =1

σ√

2πe−(l−ν)2/2σ2

, (5.10)

sendo σ o desvio padrao, que representa a incerteza quanto a posicao real do contorno (sao

consideradas apenas as posicoes unidimensionais dos pontos na linha de medida).

A caracterıstica zn,l correspondente a borda real do alvo em cada linha de medida pode

ser determinada pela hipotese de maximo a posteriori (MAP), ou seja, aquela que apresentar

maior probabilidade, dada a posicao do centro da linha. Uma ilustracao da densidade de

probabilidade Gaussiana sobre uma linha de medida e mostrada na Figura 5.1, indicando a

determinacao da probabilidade de cada pixel corresponder a borda real do alvo rastreado.

Por fim, o pixel com maior probabilidade de corresponder ao contorno real do objeto em

cada linha de medida e definido como um vertice de um polıgono envolvente estabelecido em

torno do alvo rastreado. Este polıgono observado e aproximado por um contorno fechado


Figura 5.1: (a) Intensidade dos pixels em uma linha de medida extraıda da imagem. (b)Aplicacao dos detectores de bordas e movimento. (c) Densidade de probabilidade Gaussiana.(d) Probabilidade de cada pixel corresponder a borda real (mais escuro corresponde a maiorprobabilidade).

construıdo com uma B-spline, tal como descrito na Secao 4.2.2. Este e o contorno observado

do alvo, definido pelos pontos de controle da funcao B-spline. A observacao do alvo e definida

como:

~Z = (x0, ...,xi, ...,xM−1)T (5.11)

= (x0, y0, ..., xi, yi, ..., xM−1, yM−1)T , (5.12)

onde ~Z e o vetor de observacao, e xi = (xi, yi)T sao os pontos de controle da B-spline.


Neste capıtulo foi apresentado o modelo de observacao dos alvos bastante usado na literatura

(BLAKE; ISARD, 1998), (MACCORMICK, 2000), (SIEBEL, 2003), (BAUMBERG, 1998), baseado

em linhas de medida. As linhas de medida sao segmentos de retas normais fixados ao longo

do contorno estimado dos alvos que definem uma regiao de interesse na qual serao extraıdas

as caracterısticas nas imagens. No presente trabalho foi utilizado um filtro para detectar as

bordas de intensidade, alem de realizada a diferenciacao temporal das linhas, para deteccao

de movimento. Optou-se pela utilizacao deste modelo devido ao baixo custo computacional

associado, a flexibilidade desta abordagem e a boa adequacao ao modelo de representacao

baseado em contornos construıdos com B-splines.

No modelo de observacao empregado, as caracterısticas observadas em cada uma das linhas

de medida sao usadas na definicao de um polıgono que sera aproximado por uma B-spline.


Os pontos de controle desta definem o contorno observado dos alvos. Como ja mencionado,

o vetor de observacao e usado no rastreamento para atualizar a estimativa do estado de

um alvo. Considerando que a observacao e afetada por ruıdos e imperfeicoes no modelo, a

incerteza associada deve ser tratada. Para isso uma matriz de covariancia e empregada, e o

vetor de observacao ~Z passa ser visto como uma variavel aleatoria multidimensional, como foi

detalhado no Capıtulo 3. A utilizacao do vetor de observacao dos alvos pelo Filtro de Kalman

no processo de rastreamento sera descrita no Capıtulo 7.

44

6 Modelo de Movimento dosObjetos

Neste capıtulo sera tratado o modelo de movimento dos objetos. Como dito anteriormente,

este modelo descreve a cinematica dos objetos no plano das imagens captadas pelo sensor

optico utilizado. O modelo de movimento estabelece como a posicao de um ponto pertencente

a projecao de um alvo no plano das imagens varia ao longo de uma sequencia de imagens.

O objetivo no presente trabalho foi a elaboracao de um modelo unico, utilizando pouca

informacao previa sobre a movimentacao em cena. Para isso, a modelagem foi elaborada sob

uma serie de suposicoes adotadas a fim de torna-la simples e flexıvel. Cada alvo a ser rastreado

pode apresentar um “comportamento” distinto, em relacao a velocidade, aceleracao, direcao

e sentido dos movimentos executados, sendo que esta situacao aumenta significativamente a

complexidade do processo. Apesar disso, considerando um campo de visao restrito, alvos com

movimentos suaves e limitados pelo plano de movimento na cena (no caso deste trabalho, o

chao), a variacao da posicao dos objetos na sequencia de imagens pode ser aproximada por

transformacoes afim (affine) (KOLLER; WEBER; MALIK, 1994). As transformacoes afim sao um

conjunto de transformacoes geometricas, formado pelas operacoes de rotacao, translacao e

mudanca de escala, que tem a propriedade de preservar o paralelismo, mas nao o comprimento

ou os angulos entre as linhas de figuras geometricas submetidas as mesmas (FOLEY et al.,

1996). Pode-se considerar que uma transformacao afim e uma transformacao linear acrescida

de uma translacao (COSTA; CESAR Jr., 2000).

Apesar do modelo de movimento ser definido para toda a projecao, os pontos referentes ao

contorno da projecao do objeto sao mais relevantes, na medida que este e o modelo empregado

de representacao da forma dos alvos no processo de rastreamento. Devido as propriedades

de invariancia a translacao, a rotacao e a mudanca de escala apresentadas pelas funcoes B-

splines (BARTELS; BEATTY; BARSKY, 1987) usadas para construcao dos contornos, o modelo

de movimento pode ser aplicado diretamente aos pontos de controle que definem a B-spline.

O modelo de movimento adotado sera apresentado em detalhes na secao seguinte.

6.1 Modelo de Movimento 45

6.1 Modelo de Movimento

De acordo com as suposicoes de movimentos suaves, limitados por um plano de movimentacao

e dentro de um campo de visao restrito, um alvo pode aproximar-se ou afastar-se da camera, o

que configura uma mudanca de escala de seu contorno em relacao ao centro de sua projecao.

Alem disso, os alvos podem deslocar-se horizontal ou verticalmente nas imagens, configu-

rando movimentos de translacao. Salienta-se que devido as limitacoes definidas sobre a mo-

vimentacao dos alvos, os movimentos de rotacao dos mesmos em torno do eixo normal ao

plano das imagens podem ser negligenciados na modelagem, tornando-a mais simples. Assim,

em um quadro k − 1 de uma sequencia de imagens considera-se como xk−1 = (xk−1, yk−1)

a posicao de um ponto de controle do contorno de um objeto que se movimenta no campo

de visao do sensor optico. A posicao deste ponto no quadro k pode ser determinada atraves

de uma sequencia de transformacoes afim de translacao e mudanca de escala. A posicao do

ponto xk pode ser dada por (KOLLER; WEBER; MALIK, 1994):

(xk

yk

)T

=

(vx,k−1

vy,k−1

)T

+

(xk−1

yk−1

)T

(6.1)

+

(sx,k−1 0

0 sy,k−1

).

[(−cx

k−1

−cyk−1

)+

(xk−1

yk−1

)]T

,

(xk

yk

)T

=

(vx,k−1 + xk−1 + sx,k−1(xk−1 − cx

k−1)

vy,k−1 + yk−1 + sy,k−1(yk−1 − cyk−1)

)T

. (6.2)

onde, para um quadro k − 1 tem-se: vk−1 = (vx,k−1, vy,k−1) que e a velocidade de translacao

do centroide do alvo no plano das imagens1, sk−1 = (sx,k−1, sy,k−1) e o fator de escala nas

direcoes x e y respectivamente, ck−1 = (cxk−1, c

yk−1) e a posicao do centroide2, e xk−1 e a

posicao do ponto x no quadro k − 1.

Atraves da Equacao 6.2 percebe-se que a posicao do ponto x no quadro k e dada pela sua

posicao no quadro anterior, acrescida da translacao do centroide do alvo e da mudanca de

escala, definida pela alteracao da distancia entre o ponto e o centroide do alvo. Mais uma vez,

objetivando-se simplificar a modelagem e considerando o domınio de aplicacao foi definido um

mesmo fator de escala nas direcoes x e y, assim o fator de escala sera denotado apenas por

sk−1 = sx,k−1 = sy,k−1. Dessa forma, a translacao e a mudanca de escala dos alvos, ou seja, a

velocidade destes ao longo da sequencia de imagens e definida pelos parametros vk−1 e sk−1.

1A velocidade vx = ∆x/∆t e equivalente ao deslocamento ∆x de um quadro para outro da sequencia,uma vez que se considera um intervalo de tempo discreto ∆t = 1 entre os quadros, assim vx = ∆x. Sendoisto analogo para vy.

2A posicao do centroide do alvo e dada pelo centro de area de seu contorno no plano da imagem.

6.1 Modelo de Movimento 46

O valor de sk−1 = 0 significa que nao ha mudanca de escala, enquanto sk−1 < 0 corresponde

ao afastamento e sk−1 > 0, a aproximacao entre o alvo e a camera. A Figura 6.1 ilustra

o a variacao da posicao de um alvo, de um quadro k − 1 para um quadro k, definida pelos

parametros (vx,k−1, vy,k−1, sk−1)T .

Figura 6.1: (a) No quadro k − 1, xk−1 denota um ponto de controle do contorno do alvorastreado, enquanto ck−1 define o centroide e (ck−1 − xk−1) a distancia entre o ponto decontrole e o centroide do alvo. (b) A nova posicao do ponto de controle no quadro k,denotada por xk, e definida em funcao de sua posicao anterior, somada ao deslocamento docentroide, dado por vk−1, e a alteracao da distancia entre o ponto e o centroide, definida pelofator de escala sk.

Como dito anteriormente, a movimentacao dos alvos na cena nao e conhecida, assim nao

se pode definir precisamente o modelo de variacao da velocidade dos mesmos. Neste ponto

usa-se a premissa de que os alvos executam movimentos suaves, assumindo-se a princıpio que

a velocidade de cada um e constante, definida pelas seguintes equacoes:

vx,k

vy,k

sk

=

vx,k−1

vy,k−1

sk−1

, (6.3)

onde (vx,k, vy,k, sk)T sao os parametros de velocidade de um alvo no quadro k, e (vx,k−1, vy,k−1,

sk−1)T sao os mesmos parametros no quadro anterior, k−1. Apesar dessa suposicao a veloci-

dade descrita pelos alvos no campo de visao da camera pode variar ao longo do rastreamento.

No entanto, como consequencia de seus movimentos suaves, supoe-se que as variacoes de

velocidade tambem sejam amenas, podendo ser modeladas atraves do ruıdo Gaussiano que e

adicionado as equacoes de movimento no processo de estimacao, o que e usual na estimacao

probabilıstica como visto no Capıtulo 3. A introducao do ruıdo Gaussiano tem por obje-

tivo exatamente a modelagem de imprecisoes nos modelos, possibilitando neste caso que os

parametros sejam capazes de acompanhar pequenas variacoes na velocidade dos alvos, o que


e uma estrategia muito comum no rastreamento de alvos (BAR-SHALOM; LI; KIRUBARAJAN,

2001).


No presente capıtulo foi apresentado o modelo de movimento dos alvos a serem rastreados.

Como descrito, foi adotado um modelo simples e capaz de lidar com movimentos desconhe-

cidos dos objetos no campo de visao da camera. No entanto, devido a pouca informacao

sobre a movimentacao dos alvos, para que o modelo de movimento ainda apresente um bom

desempenho no rastreamento, e necessario que os alvos nao executem variacoes bruscas de

velocidade. Isso porque nao se tem o modelo cinematico que define a variacao dos parametros

de velocidade, sendo os mesmos assumidos como constantes. No entanto, variacoes suaves

da velocidade dos alvos sao modeladas atraves do ruıdo Gaussiano introduzido no processo de

estimacao, possibilitando assim que pequenas variacoes de velocidade sejam acompanhadas.

Um ponto importante a ser ressaltado e que, como os parametros de velocidade dos alvos

podem variar ao longo do tempo, e os mesmos determinam a evolucao da posicao do contorno

de um alvo durante o rastreamento, estes parametros fazem parte da definicao do estado de

um alvo em um instante k. Isto e, torna-se natural que o estado de um alvo rastreado seja

definido por sua posicao, dada pelo contorno do mesmo, e por sua velocidade, estabelecida

pelos parametros de velocidade. No proximo capıtulo sera detalhada a definicao do vetor de

estado de movimento, composto pelos parametros de velocidade de um alvo. Na abordagem

proposta a variacao destes parametros e estimada por um dos dois Filtros de Kalman usados

no rastreamento de cada alvo, enquanto o outro realiza a estimacao do contorno.

48

7 Detalhamento da AbordagemProposta

Neste capıtulo a abordagem proposta sera detalhada com base nas tecnicas e metodos expostos

ate este ponto. Primeiramente sera fornecido um panorama do funcionamento da mesma e

logo apos suas etapas serao descritas.

A abordagem em questao pode ser dividida no primeiro momento em duas etapas, ini-

cializacao e rastreamento, que por sua vez possuem suas subdivisoes. Na primeira delas, a

inicializacao, os objetos a serem rastreados sao localizados nas primeiras imagens da sequencia.

Como mencionado no Capıtulo 4 considera-se que os objetos de interesse estao em movimento

na cena, portanto tecnicas como as descritas na Secao 4.1 sao utilizadas nesta tarefa. Na

segunda etapa da abordagem, o rastreamento, o processo de perseguicao dos alvos tem inıcio.

A estimativa do estado dos alvos fornecida pela etapa anterior e empregada para definir o

estado inicial dos mesmos, que sera atualizado pelo algoritmo de rastreamento, com base nos

modelos de movimento e observacao. A Figura 7.1 mostra as etapas descritas.

Rastreamento

Imagensde 1 até n

Imagensa partir de n

Inicialização

Estimativa inicial da representação

dos alvos

Figura 7.1: Esquema da abordagem proposta. As n primeiras imagens sao usadas na inicia-lizacao, enquanto as demais sao tratadas diretamente pelo processo de rastreamento.

Na abordagem proposta, o estado de um alvo e caracterizado por sua posicao, represen-

tada por pontos de controle de uma B-spline que aproxima seu contorno, conforme descrito

no Capıtulo 4; e velocidade, dada pelos parametros de translacao e mudanca de escala defi-

nidos pelo modelo de movimento apresentado no Capıtulo 6. Os parametros de velocidade

(translacao e mudanca de escala) podem apresentar pequenas variacoes ao longo do tempo.

Tais variacoes podem ser modeladas atraves de um ruıdo Gaussiano no rastreamento, uma vez

7.1 Inicializacao 49

que nao se conhece previamente como se da a movimentacao dos alvos na cena.

Neste contexto, a etapa de inicializacao consiste em estimar o estado inicial dos alvos em

uma sequencia de imagens, ou seja, os valores iniciais de posicao e velocidade dos mesmos. Ja

a etapa de rastreamento consiste na predicao, observacao e filtragem do estado estimado para

cada alvo, a cada quadro da sequencia analisada. Como mencionado, as etapas de inicializacao

e rastreamento possuem suas subdivisoes, que serao definidas e tratadas detalhadamente nas

proximas secoes.

7.1 Inicializacao

A etapa de inicializacao produz a estimativa inicial do estado dos alvos a serem rastreados a

partir de sua deteccao nos primeiros quadros da sequencia de imagens. As subdivisoes desta

etapa sao mostradas na Figura 7.2 e descritas nesta secao. Primeiramente os objetos moveis

sao detectados e segmentados nas duas primeiras imagens da sequencia (n = 2), com a

utilizacao de tecnicas como as descritas na Secao 4.1 do Capıtulo 4. A subtracao da cena de

fundo, um metodo simples de segmentacao amplamente difundido na literatura, foi utilizada,

visto que a camera permanece estatica. Em situacoes em que nao e possıvel a aplicacao da

subtracao da cena de fundo, outros metodos podem ser empregados.

Enquanto na primeira imagem os alvos sao apenas detectados e segmentados, na segunda

imagem da sequencia e construıdo um polıgono envolvente em torno de cada area segmentada,

que se supoe corresponder a um alvo. A estimativa inicial dos contornos dos alvos pode variar

de acordo com o alvo em questao e e definida empregando-se a tecnica de aproximacao entre

uma curva B-spline e um polıgono, apresentada na Secao 4.2.2, do Capıtulo 4. A tecnica de

aproximacao utiliza P pontos amostrados ao longo do polıgono envolvente a area segmentada

correspondente ao alvo para determinar os M pontos de controle da B-spline. Salienta-se

que estes parametros (P e M) sao pre-determinados e quanto maior o numero de pontos de

controle, maior a capacidade da B-spline representar contornos mais complexos com maior

precisao. Os pontos de controle determinados definem a estimativa inicial do contorno dos

alvos, ou seja, suas posicoes na imagem. Os pontos de controle sao agrupados no vetor ~Xk de

posicao do contorno de cada alvo, onde k = 0 denota o instante discreto inicial do processo

de rastreamento. O vetor ~Xk, no instante k = 0, e dado por:

~Xk = (x0,k, ...,xi,k, ...,xM−1,k)T , (7.1)

onde xi,k = (xi,k, yi,k)T e a posicao de um ponto de controle da B-spline que representa o

contorno do alvo, com i = 0, ..., M − 1, no instante k. A dimensao do vetor e dada pelo

7.1 Inicializacao 50

Inicialização

Imagensde 1 até k

Estimativas Iniciais dePosição e Velocidade

Determinaçãodos

Contornos

Detecçãodos

Objetos Móveis

Determinaçãodas

Velocidades

Figura 7.2: Na inicializacao os alvos sao detectados, e gerada uma estimativa inicial de suasposicoes e velocidades.

numero de pontos de controle, assim nX = M .

Uma vez determinada a posicao de cada alvo, suas velocidades tambem devem ser esti-

madas. No caso dos parametros de velocidade, o fator de escala e inicialmente definido como

sk = 0, uma vez que este parametro e usualmente muito pequeno, quando os movimentos dos

alvos sao suaves. Ja as velocidades de translacao horizontal e vertical sao definidas como a

derivada temporal discreta do centroide de cada alvo segmentado nas duas primeiras imagens

da sequencia, sendo vk = (ck − ck−1), onde ck = (cxk, c

yk). A correspondencia entre as areas

segmentadas na primeira e segunda imagens e estabelecida atraves da determinacao do vizi-

nho mais proximo, de acordo com a suposicao que os alvos executam movimentos suaves. Os

parametros de velocidade de cada alvo tambem sao agrupados em um vetor ~Mk, no instante

k = 0, dado por:

~Mk = (vk, sk) = (vx,k, vy,k, sk)T , (7.2)

onde vx,k e vy,k sao os parametros de translacao horizontal e vertical, respectivamente, e sk

e o fator de escala. Salienta-se que o instante k = 0 do rastreamento e correspondente a

segunda imagem da sequencia, ja que a primeira (k = −1) e apenas usada na inicializacao

para o calculo das derivadas discretas.

Uma vez estimado o estado inicial de cada alvo a ser rastreado, tem fim a etapa de

inicializacao, comecando o rastreamento dos alvos propriamente dito, que sera abordado na

proxima secao.

7.2 Rastreamento 51

7.2 Rastreamento

Dada a inicializacao dos alvos, tem inıcio a etapa de rastreamento, que estimara o estado de

cada um deles em cada quadro ao longo da sequencia de imagens. A etapa de rastreamento,

ilustrada na Figura 7.3, e modelada como um problema de estimacao Bayesiana, conforme

detalhado no Capıtulo 3.

Predição Observação Filtragem

Estimativas iniciais dePosição e Velocidade

Imagensa partir de k

Modelode

Observação

Rastreamento

Figura 7.3: O esquema mostra as etapas do processo de rastreamento dos alvos.

O estimador Bayesiano executa a cada iteracao uma predicao do estado de cada alvo,

com base no modelo de movimento exposto no Capıtulo 6. Vale lembrar que o estado dos

alvos e definido pela posicao e velocidade dos mesmos, como ja mencionado neste capıtulo. A

predicao realizada e filtrada (atualizada) pelo algoritmo com base no modelo de observacao,

apresentado no Capıtulo 5. O modelo de observacao utiliza linhas de medida fixadas ao longo

do contorno dos alvos para extracao de caracterısticas dos alvos nas imagens. As linhas de

medida definem na realidade uma area de interesse, de onde serao extraıdas as informacoes

de bordas de intensidade e movimento das projecoes dos objetos no plano das imagens. As

caracterısticas extraıdas sao usadas na determinacao de pontos de controle que definem a

posicao do contorno observado de cada alvo. A posicao observada dos pontos de controle da

B-spline que representa o contorno de cada alvo e usada pelo estimador Bayesiano na filtragem

do estado previsto.

Assim, o estado completo de cada alvo e dado por de um vetor de estado que agrupa os

7.2 Rastreamento 52

parametros de posicao e velocidade. Este vetor de estado e definido como:

(~Xk

~Mk

)= (x0,k, ...,xi,k, ...,xM−1,k, vx,k, vy,k, sk)

T , (7.3)

onde ~Xk e o vetor que define a posicao do contorno do alvo, apresentado anteriormente na

Equacao 7.1; e ~Mk e o vetor que define a velocidade do alvo, apresentado anteriormente na

Equacao 7.2.

Cada elemento xi,k de ~Xk, no instante discreto k, com i = 0, ..., M−1, e dado por xi,k =

(xi,k, yi,k)T , cuja evolucao no tempo e determinada pelas equacoes cinematicas apresentadas

no Capıtulo 6, a saber:

(xi,k

yi,k

)=

(vx,k−1 + xi,k−1 + sk−1(xi,k−1 − cx

k−1)

vy,k−1 + yi,k−1 + sk−1(yi,k−1 − cyk−1)

). (7.4)

Ja a evolucao do vetor ~Mk ao longo do tempo, tambem apresentada no Capıtulo 6, e dada

por:

vx,k

vy,k

sk

=

vx,k−1

vy,k−1

sk−1

, (7.5)

sendo que (vx,k, vy,k, sk)T define os parametros de velocidade de translacao horizontal, vertical

e mudanca de escala, respectivamente, no instante k. Como se percebe, o estado do alvo em

um instante k e funcao do seu estado no instante anterior k − 1. Reescrevendo o vetor de

estado com a posicao do alvo dada por somente um ponto generico tem-se:

xi,k

yi,k

vx,k

vy,k

sk

=

1 0 1 0 (xi,k−1 − cxk−1)

0 1 0 1 (yi,k−1 − cyk−1)

0 0 1 0 0

0 0 0 1 0

0 0 0 0 1

.

xi,k−1

yi,k−1

vx,k−1

vy,k−1

sk−1

, (7.6)

(~Xk

~Mk

)= Dk−1.

(~Xk−1

~Mk−1

), (7.7)

onde Dk−1 e a matriz de transicao de estado. Pode-se notar que alguns elementos do vetor de

estado encontram-se tambem dentro da matriz de transicao, o que configura uma transicao

de estado nao-linear, ou seja, o sistema dinamico modelado e nao-linear.

7.2 Rastreamento 53

Considerando que as coordenadas (cxk−1, c

yk−1) do centroide de cada alvo sao dadas por:

cxk−1 =

M−1∑i=0

xi,k−1

nX

, cyk−1 =

M−1∑i=0

yi,k−1

nX

, (7.8)

onde nX = M e a dimensao do vetor ~Xk, e xi,k−1 e yi,k−1 sao as coordenadas dos pontos de

controle no instante k − 1. Atraves de uma simples manipulacao algebrica da matriz Dk−1,

considerando-se como exemplo que a posicao do contorno de um alvo e definida por dois

pontos xi,k xj,k, a Equacao 7.6 pode ser reescrita como:

Dk−1=

0BBBBBBBBBBBBBBBBBBBBBB@

(1+sk−1−sk−1/nX) 0 −sk−1/nX 0 0 0 0

0 (1+sk−1−sk−1/nX) 0 −sk−1/nX 0 0 0

−sk−1/nX 0 (1+sk−1−sk−1/nX) 0 0 0 0

0 −sk−1/nX 0 (1+sk−1−sk−1/nX) 0 0 0

0 0 0 0 1 0 0

0 0 0 0 0 1 0

0 0 0 0 0 0 1

1CCCCCCCCCCCCCCCCCCCCCCA

,


xi,k

yi,k

xj,k

yj,k

vx,k

vy,k

sk


= Dk−1.


xi,k−1

yi,k−1

xj,k−1

yj,k−1

vx,k−1

vy,k−1

sk−1


+


vx,k−1

vy,k−1

vx,k−1

vy,k−1

0

0

0


. (7.9)

Na Equacao 7.9 a matriz de transicao e diagonal em blocos, o que permite que o sistema seja

desacoplado (BAR-SHALOM; LI; KIRUBARAJAN, 2001), definindo as equacoes que seguem:

0BBBBBB@

vx,k

vy,k

sk

1CCCCCCA

=

0BBBBBB@

1 0 0

0 1 0

0 0 1

1CCCCCCA

.

0BBBBBB@

vx,k−1

vy,k−1

sk−1

1CCCCCCA, (7.10)

DA,k−1 =

0BBBBBBBBBB@

(1+sk−1−sk−1/nX) 0 −sk−1/nX 0

0 (1+sk−1−sk−1/nX) 0 −sk−1/nX

−sk−1/nX 0 (1+sk−1−sk−1/nX) 0

0 −sk−1/nX 0 (1+sk−1−sk−1/nX)

1CCCCCCCCCCA

,

7.2 Rastreamento 54

0BBBBBBBBBB@

xi,k

yi,k

xj,k

yj,k

1CCCCCCCCCCA

= DA,k−1.

0BBBBBBBBBB@

xi,k−1

yi,k−1

xj,k−1

yj,k−1

1CCCCCCCCCCA

+

0BBBBBBBBBB@

vx,k−1

vy,k−1

vx,k−1

vy,k−1

1CCCCCCCCCCA

. (7.11)

Como os parametros de velocidade nao pertencem a parte do vetor de estado que representa

a posicao dos pontos de controle e tampouco esses ultimos pertencem a parte do vetor de

estado que representa a velocidade, as matrizes de transicao de estado de ambos sistemas sao

lineares. Essa manipulacao do sistema dinamico permite que um estimador Bayesiano linear

seja empregado no processo de estimacao de cada vetor de estado.

Assim, na abordagem aqui apresentada, duas instancias do Filtro de Kalman foram utili-

zadas para cada alvo rastreado, sendo a estimacao da velocidade e da posicao do contorno dos

alvos executadas separadamente por essas instancias distintas a cada iteracao do rastreamento.

Esta abordagem foi adotada de modo que o Filtro de Kalman seja empregado com sucesso

no processo de estimacao (KOLLER; WEBER; MALIK, 1994). Nas duas proximas secoes serao

detalhadas a estimacao do movimento, dada a velocidade do alvo, e da posicao do contorno

dos alvos com o Filtro de Kalman.

7.2.1 Estimacao do Movimento

O movimento dos alvos e definido pelos parametros de velocidade de translacao e mudanca de

escala. O sistema dinamico linear do movimento dos alvos e descrito pelas seguintes equacoes:

~Mk = ~Mk−1 + ~qk−1 (7.12)

~Zk = Hk~Mk + ~vk, (7.13)

onde ~Mk e uma variavel aleatoria Gaussiana de dimensao nM representando o vetor de estado

do movimento, ~Zk e uma variavel aleatoria Gaussiana de dimensao nZ representando o vetor

de observacao do sistema, Hk e a matriz de observacao linear, ~qk−1 e o vetor que representa o

ruıdo i.i.d. do modelo, com media zero e covariancia Qk−1: ~qk−1 ∼ N (0, Qk−1) e ~vk e o vetor

que representa o ruıdo i.i.d. da observacao, com media zero e covariancia Rk: ~vk ∼ N (0, Rk).

7.2 Rastreamento 55

A matriz Hk de observacao do estado e definida por:

Hk =

I2 (x0,k−1 − ck−1)T

......

I2 (xi,k−1 − ck−1)T

......

I2 (xnX ,k−1 − ck−1)T

, (7.14)

onde xi,k−1, com i = 0, ..., nX − 1 sao os pontos de controle no instante k − 1, e ck−1 e o

centroide do alvo.

A Equacao 7.12 de estado do movimento estabelece que a variacao dos parametros de

velocidade e modelada pelo ruıdo Gaussiano denotado pelo vetor ~qk−1, visto que o vetor de

estado no instante k e igual ao vetor de estado no instante anterior k− 1, acrescido do ruıdo.

Como ja mencionado, este modelo de transicao de estado permite tratar pequenas variacoes,

mesmo que previamente desconhecidas, na velocidade dos alvos.

O vetor de observacao ~Zk dado pela Equacao 7.13 e definido pelo deslocamento da posicao

dos pontos de controle entre os instantes discretos k − 1 e k. Este deslocamento e calculado

pela matriz de observacao Hk multiplicada pelo vetor de estado de movimento, ou seja, a

matriz de observacao Hk estabelece a relacao existente entre o vetor de estado do movimento

Mk, e o deslocamento observado na posicao dos pontos de controle da representacao do

contorno do alvo entre dois quadros consecutivos. Nota-se que as coordenadas dos pontos de

controle sao elementos da matriz Hk, porem devido ao desacoplamento do sistema estes sao

tratados como simples parametros na estimacao do movimento, nao fazendo parte do estado

e mantendo assim a linearidade. Salienta-se que a imprecisao na observacao e modelada pelo

ruıdo Gaussiano, representado pelo vetor ~vk.

A estimacao do movimento, como ja mencionado, e executada com o Filtro de Kalman.

Este filtro e um estimador recursivo Bayesiano, como descrito no Capıtulo 3, que a cada

iteracao executa duas etapas: predicao e filtragem. Uma vez que o Filtro de Kalman e limitado

ao tratamento de modelos lineares e distribuicoes Gaussianas, a distribuicao de probabilidade

do o vetor de estado ~Mk e totalmente definida pela media ~Mk e pela matriz de covariancia

PM,k (GELB et al., 1974). Assim, o processo de estimacao e dado pelas seguintes equacoes do

Filtro de Kalman:

• Predicao

~M ′k = ~Mk−1

P ′M,k = PM,k−1 + Qk−1,

7.2 Rastreamento 56


Kk = P ′M,kH

Tk (HkP

′M,kH

Tk + Rk)

−1,

• Filtragem

~Mk = ~M ′k + Kk(~Zk −Hk

~M ′k)

PM,k = (I −KkHk)P′M,k(I −KkHk)

T + KkRkKTk .

7.2.2 Estimacao do Contorno

O contorno do alvo e descrito pelos pontos de controle da funcao B-spline usada em sua

construcao. O sistema dinamico linear que descreve a evolucao do contorno dos alvos ao

longo do tempo e descrito pelas seguintes equacoes:

~Xk = Ak−1~Xk−1 + Bk−1~uk−1 + ~wk−1 (7.15)

~Zk = ~Xk + ~vk, (7.16)

onde ~Xk e uma variavel aleatoria Gaussiana de dimensao nX representando o vetor de estado

do contorno, Ak−1 e a matriz de transicao de estado linear, ~uk−1 e um vetor de entrada

conhecido de dimensao nu, Bk−1 e a matriz de projecao do vetor de entrada na dimensao

nX de ~Xk, ~Zk e uma variavel aleatoria Gaussiana de dimensao nZ representando o vetor de

observacao do sistema, ~wk−1 e o vetor que representa o ruıdo i.i.d. do modelo, com media

zero e covariancia Wk−1: ~wk−1 ∼ N (0,Wk−1) e ~vk e o vetor que representa o ruıdo i.i.d. da

observacao, com media zero e covariancia Rk: ~vk ∼ N (0, Rk).

Percebe-se que um novo termo composto pela matriz de projecao Bk−1 e pelo vetor de

entrada ~uk−1 foi introduzido na equacao de estado do sistema. Apesar de variantes no tempo,

o que e denotado pelo ındice temporal discreto subscrito, a matriz de projecao e o vetor de

entrada sao conhecidos e nao sao compostos por termos do vetor de estado do contorno, assim

os mesmos nao interferem no equacionamento usual do Filtro de Kalman (BAR-SHALOM; LI;

KIRUBARAJAN, 2001). A matriz de transicao Ak−1 de dimensao nX×nX , a matriz de projecao

Bk−1 de dimensao nX × 2, e o vetor de entrada uk−1 de dimensao 2× 1, sao dados por:

Ak−1 =

(1 + sk−1 − sk−1/nX) 0 0

0. . . 0

0 0 (1 + sk−1 − sk−1/nX)

,

7.2 Rastreamento 57

Bk−1 =

I2

...

I2

, ~uk−1 =

(vx,k−1

vy,k−1

),

onde sk e o fator de escala, nX e a dimensao do vetor de estado do contorno (numero de

pontos de controle), I2 e uma matriz identidade de dimensao 2× 2, vx,k−1 e a velocidade de

translacao horizontal e vy,k−1 e a velocidade de translacao vertical.

Como mostra a Equacao 7.15 do sistema, o vetor de estado do contorno no instante k e

calculado a partir de seu estado anterior e dos parametros de velocidade sk−1, vx,k−1 e vy,k−1,

alem do ruıdo Gaussiano que representa as imprecisoes no modelo, denotado por ~wk−1. A

exemplo do que ocorre com coordenadas dos pontos de controle na estimacao do movimento

dos alvos, os parametros de velocidade nao fazem parte parte do vetor de estado do contorno,

mantendo assim a linearidade do sistema. O fator de escala sk−1 e um componente da matriz

de transicao Ak−1, enquanto os parametros de translacao sao modelado como um vetor de

entrada uk−1, que e projetado na dimensao do vetor de estado pela matriz Bk−1.

O vetor de observacao Zk e definido pela propria posicao dos pontos de controle observada

nas imagens. A imprecisao na observacao e modelada por um ruıdo Gaussiano, representado

pelo vetor ~vk.

De acordo com o que foi exposto, as equacoes e etapas do Filtro de Kalman sao definidas

como:

• Predicao

~X ′k = Ak−1

~Xk−1 + Bk−1~uk−1

P ′X,k = Ak−1PX,k−1A

Tk−1 + Wk−1,


Kk = P ′X,k(P

′X,k + Rk)

−1,

• Filtragem

~Xk = ~X ′k + Kk(~Zk − ~X ′

k)

PX,k = (I −Kk)P′X,k(I −Kk)

T + KkRkKTk .



Neste capıtulo foi detalhada a abordagem proposta no presente trabalho, que e dividida em

duas etapas: inicializacao e rastreamento. Na etapa de inicializacao, descrita na Secao 7.1,

e tratada a metodologia usada para realizar a estimacao inicial do estado dos alvos, sendo

que este e composto por variaveis de posicao e de velocidade. O processo de rastreamento

propriamente dito foi apresentado na Secao 7.2.

Como visto, duas instancias do Filtro de Kalman foram empregadas no rastreamento

de cada objeto, uma para estimacao do movimento (velocidade) e outra para estimacao do

contorno (posicao) dos alvos. Esta metodologia foi empregada visto que se mostrou possıvel

desacoplar os dois processos de estimacao visando tornar os modelos de transicao de estado

e de observacao lineares. Nesta abordagem, os elementos do vetor de estado do contorno

passam a ser tratados no processo de estimacao do movimento como simples parametros

variaveis no tempo, o que acontece da mesma forma para os elementos do vetor de estado do

movimento em relacao ao processo de estimacao do contorno. Alem disso, os parametros da

velocidade de translacao nas direcoes x e y passam a ser tratados como entradas do sistema

de estimacao do contorno.

59

8 Experimentos e Resultados

Neste capıtulo serao apresentados experimentos realizados com a abordagem proposta e a

analise dos resultados dos mesmos. Com objetivo de avaliar o desempenho da abordagem

foram empregadas sequencias de imagens controladas e reais. As imagens controladas foram

capturadas com uma camera estatica em uma ambiente interno controlado, com fundo de

cena e iluminacao uniformes e alvos simples e planares contrastantes com o fundo. Ja as

sequencias reais foram obtidas em bases de dados publicas e escolhidas considerando-se as

suposicoes sobre o domınio de aplicacao da abordagem proposta, descritas na Secao 1.3 do

Capıtulo 1. Vale lembrar que as imagens reais nao possuem condicoes controladas de fundo

ou iluminacao. Nas duas proximas secoes serao detalhados os experimentos e expostos alguns

dos resultados obtidos.

Neste ponto, salienta-se que alguns dos resultado preliminares deste trabalho foram apre-

sentados no Encontro de Robotica Inteligente 2006 (EnRI 2006), evento realizado juntamente

com o XXVI Congresso da Sociedade Brasileira de Computacao (XXVI CSBC). No artigo apre-

sentado (BEM; COSTA, 2006b), uma variacao da abordagem proposta, na qual informacoes de

cor foram incorporadas no modelo de observacao e mudancas de escala nao foram consideradas

no modelo de movimento, foi aplicada no rastreamento dos jogadores (robos) e da bola no

futebol de robos. Em um outro artigo (BEM; COSTA, 2006a), apresentado no XVI Congresso

Brasileiro de Automatica (CBA 2006), sao encontrados mais alguns resultados preliminares,

onde a informacao de cor nao e considerada e o modelo de movimento dos alvos foi estendido

para o tratamento de mudancas de escala dos alvos, conforme foi apresentado no presente

trabalho.

8.1 Experimentos com Imagens Controladas

Os experimentos com alvos de forma simples e contrastante com o fundo foram realizados

visando a avaliacao de alguns dos requisitos basicos que devem ser atendidos pela abordagem

em questao. Como definido ao longo do presente trabalho, pretende-se que a metodologia

8.1 Experimentos com Imagens Controladas 60

apresentada possibilite o rastreamento de alvos heterogeneos, sem o conhecimento previo de

suas formas ou de sua movimentacao no campo de visao do sensor optico. Assim os testes

apresentados nas proximas secoes pretendem evidenciar como a abordagem se comporta com

variacoes desconhecidas de velocidade e forma, alem do rastreamento simultaneo de alvos

heterogeneos.

8.1.1 Teste 1: Movimento

Neste teste foi utilizada uma sequencia de 300 imagens onde um quadrado contrastante com

o fundo de cena homogeneo movimenta-se no campo de visao da camera, com o plano de

imagem paralelo ao plano de fundo. As imagens sao de dimensao 320 × 240 pixels e foram

capturadas a taxa de 30 quadros por segundo em nıveis de cinza. O alvo descreve os movi-

mentos de translacao horizontal, translacao vertical e mudanca de escala tratados pelo modelo

de movimento empregado.

Os parametros utilizados no ajuste do rastreamento sao relacionados na Tabela 8.1. Os

resultados obtidos sao mostrados a seguir. Na Figura 8.1 sao mostrados alguns quadros

da sequencia e o contorno resultante do alvo rastreado, alem disso a trajetoria estimada do

centroide e marcada por um linha contınua nas imagens. Na Figura 8.2 sao mostradas nos

mesmos quadros da figura anterior as linhas de medida empregadas no modelo de observacao

dos alvos, fixadas ao longo do contorno estimado a cada iteracao do rastreamento. O grafico

comparativo das coordenadas reais e estimadas do centroide do alvo e mostrado na Figura

8.3. Salienta-se que a posicao real do objeto rastreado nas imagens foi determinada atraves da

subtracao do fundo de cena conhecido em todos os quadros da sequencia. O Erro Quadrado

Medio (EQM) entre a posicao do centroide real e estimado foi EQMx = 9 e EQMy = 7, 59,

nas coordenadas x e y, respectivamente. Outro ponto relevante e que, apesar da sequencia

ser composta por 300 quadros, a rastreamento do alvo e realizado em apenas 299 deles, ja

que o primeiro e apenas empregado na inicializacao do processo, como ja relatado no Capıtulo

7.


Parametros do Rastreamento: Testes 1, 2 e 3

Parametro Valor

Numero de pontos de controle nX = 12

Numero de pontos amostrados no polıgono P = 20

Comprimento das linhas de medida L = 34 pixels

Desvio padrao sobre a linha de medida σ = 5 pixels

Covariancia inicial do movimento q0vx = q0vy = 10, q0s = 1

Covariancia inicial do contorno w0 = 3

Covariancia da estimacao do movimento qvx = qvy = 10, qs = 0, 1

Covariancia da estimacao do contorno w = 3

Covariancia da observacao do movimento vM = 4

Covariancia da observacao do contorno vX = 3

Tabela 8.1: Parametros utilizados na configuracao do sistema de rastreamento para execucao

dos Testes 1, 2 e 3 da Secao 8.1.

(a) Quadro 1 (b) Quadro 100

(c) Quadro 200 (d) Quadro 299

Figura 8.1: Quadros da sequencia onde o quadrado contrastante com o fundo e rastreado.

O contorno resultante e mostrado em torno do alvo, bem como a trajetoria estimada de seu

centroide (linha contınua).




Figura 8.2: Contorno estimado do alvo rastreado e as linhas de medida usadas no modelo

de observacao fixadas ao longo do contorno.

60 80 100 120 140 160 180 200 220 240 260

60

80

100

120

140

160

180

200

Coordenadas dos Centróides

Coordenada X

Coo

rden

ada

Y

RealEstimado

k=1

k=299

Figura 8.3: Comparacao entre a posicao real do centroide (linha contınua) e a posicao

estimada no rastreamento (linha tracejada). Os instantes inicial e final do rastreamento sao

indicados no grafico por k = 1 e k = 299.


8.1.2 Teste 2: Alteracao de Forma

Na sequencia de 289 imagens empregada neste experimento um alvo quadrado realiza alguns

movimentos que geram deformacoes na forma de sua projecao no plano das imagens. A

dimensao das imagens e de 320× 240 e foram capturadas a taxa de 25 quadros por segundo.

Os movimentos de translacao horizontal e translacao vertical sao muito reduzidos, sendo que

as deformacoes sao modeladas em parte pela estimacao do movimento, por meio do fator de

escala, e em parte pela estimacao do contorno, que e capaz de rastrear alteracoes na forma

do mesmo.

Os parametros utilizados no ajuste do rastreamento foram os mesmos empregados no teste

da secao anterior, mostrados na Tabela 8.1. Os resultados obtidos sao mostrados a seguir.

Na Figura 8.4 sao mostrados alguns quadros da sequencia e o contorno resultante do alvo

rastreado, alem disso a trajetoria estimada do centroide e marcada por um linha contınua nas

imagens. Na Figura 8.5 sao mostradas nos mesmos quadros da figura anterior as linhas de

medida empregadas no modelo de observacao dos alvos, fixadas ao longo do contorno estimado

a cada iteracao do rastreamento. Como o movimento de translacao e desprezıvel, o grafico

comparativo das coordenadas do centroide do alvo nao se faz necessario. O EQM em entre a

posicao do centroide real e estimado foi EQMx = 2, 31 e EQMy = 5, 37, nas coordenadas x

e y, respectivamente.




Figura 8.4: Quadros da sequencia onde um quadrado e rastreado. O contorno resultante e

mostrado em torno do alvo, bem como a trajetoria estimada de seu centroide (linha contınua).

(a) Quadro1 (b) Quadro62

(c) Quadro184 (d) Quadro255




8.1.3 Teste 3: Alvos Heterogeneos

Em uma sequencia de 300 quadros, dois alvos simples foram utilizados: um simulando o

contorno da cabeca e ombros de uma pessoa (Alvo A); e um quadrado (Alvo B). Ambos de

cor escura, realizam movimentos suaves de translacao e mudanca de escala sobre um fundo

de cena contrastante.

Na Figura 8.6 podem-se ver amostras da sequencia de imagens com o contorno estimado

de cada alvo. As linhas de medida fixadas ao longo dos contornos podem ser vistas na Figura

8.7. Enquanto na Figura 8.8 sao mostradas as coordenadas reais do centroide de cada alvo

em comparacao com as coordenadas estimadas. O EQM nas coordenadas x e y para o Alvo A

foi EQMAx = 2.77 e EQMAy = 1.99; e para o Alvo B, EQMBx = 3.44 e EQMBy = 4.17.

Os parametros utilizados no rastreamento foram os mesmos empregados nos testes anteriores,

mostrados na Tabela 8.1



Figura 8.6: Alvo A (esquerda) realiza translacao na vertical e na diagonal; Alvo B (direita)

se afasta da camera e executa translacao na vertical. O contorno resultante e mostrado em

torno de cada alvo, bem como a trajetoria estimada de seus centroides (linhas contınuas).




Figura 8.7: Contorno estimado dos alvos rastreados e as linhas de medida usadas no modelo


60 80 100 120 140 160 180 200 220 240 260

60

80

100

120

140

160

180

200


Coordenada X

Coo

rden

ada

Y

RealEstimado

k=1k=1

k=299

k=299

Alvo A

Alvo B


estimada no rastreamento (linha tracejada) dos alvos A e B. Os instantes inicial e final do

rastreamento sao indicados no grafico por k = 1 e k = 299.


8.1.4 Analise dos Resultados

Nos testes apresentados para imagens controladas, percebe-se que a abordagem apresentou

um resultado satisfatorio atendendo os requisitos basicos estabelecidos. No Teste 1 o alvo

rastreado realizou movimentos de translacao horizontal e vertical, e de mudanca de escala,

aproximando-se e afastando-se da camera. Ressalta-se que a projecao do alvo nas imagens nao

sofreu deformacoes ao longo da sequencia, permanecendo praticamente inalterada. O EQM

entre a posicao estimada e a posicao real do centroide foi equivalente a aproximadamente 3

pixels, o que mostra o bom desempenho do rastreamento neste caso, como se pode ver na

Figura 8.3.

Ja no Teste 2, o objeto rastreado praticamente nao realizou movimentos de translacao,

mantendo a posicao de seu centroide quase inalterada ao longo da sequencia de imagens,

realizando apenas movimentos que geraram deformacoes em sua forma, como se ve na Figura

8.4. O contorno estimado do alvo foi capaz de acompanhar as deformacoes apresentadas,

ajustando-se as diferentes formas geradas pelas deformacoes, como se pretendia.

No Teste 3, ultimo teste apresentado, foram rastreados dois alvos com formas distintas

realizando simultaneamente movimentos de translacao e mudanca de escala. Cada alvo foi

rastreado com um Filtro de Kalman para estimacao do movimento e outro para estimacao do

contorno, tal como descrito no Capıtulo 7. Percebe-se na Figura 8.6 que o contorno estimado

de cada alvo adaptou-se dinamicamente a forma distinta, e desconhecida previamente, de cada

um deles, atendendo tambem esse requisito de maneira satisfatoria. O EQM foi equivalente

a aproximadamente 2 pixels, no pior caso, o que mostra uma boa exatidao no rastreamento,

como se pode ver na Figura 8.8.

Apesar do grande numero de parametros empregados na abordagem, como visto nas Tabe-

las 8.1, os mais relevantes no ajuste do sistema de rastreamento sao os valores de covariancia

empregados pelos Filtros de Kalman, sendo os demais parametros responsaveis por um ajuste

fino do sistema. Os valores de covariancia dos processos de estimacao e da observacao deter-

minam, respectivamente, o peso que se deseja atribuir a cada uma das fontes de informacao do

Filtro de Kalman: o modelo de movimento dos alvos e o modelo de observacao. As covariancias

devem ser ajustadas de acordo com o comportamento que se deseja que os estimadores apre-

sentem, e sao dependentes do ambiente no qual o rastreamento sera executado. Dessa forma,

as covariancias traduzem o conhecimento a priori que se tem sobre os alvos, sobre sua movi-

mentacao e sobre o ambiente em que estao inseridos. Os valores iniciais de covariancia, por

sua vez, determinam o peso das estimativas iniciais de movimento e do contorno, definindo o

grau de certeza que se tem sobre as mesmas e quao facilmente estas poderao modificar-se ao

8.2 Alvos reais 68

longo do rastreamento. Estes valores sao dependentes da exatidao da etapa de inicializacao

do rastreamento.

No rastreamento de alvos que apresentam muita variacao dos parametros de velocidade,

como no Teste 1, a covariancia da estimacao do movimento deve ser alta em relacao ao

valor de covariancia da observacao. Isso porque nao se conhece o modelo de variacao dos

parametros de velocidade, como visto no Capıtulo 7. Dessa forma a observacao tera um

peso maior (covariancia mais baixa) em relacao a predicao dos parametros, possibilitando que

variacoes desconhecidas previamente sejam tratadas.

Ja no caso do contorno do alvo, quando o mesmo nao apresenta maiores deformacoes

ao longo do tempo, pode-se atribuir um valor de covariancia mais baixo para estimacao do

contorno em relacao a covariancia da observacao. Isso porque espera-se que a forma do

contorno do alvo permaneca inalterada ao longo do rastreamento.

Um ponto importante a ser ressaltado e que nos testes apresentados os alvos descrevem

movimentos suaves ao longo das sequencias, apresentando uma velocidade media de 1, 5 pixel

por quadro nas direcoes x e y, e uma variacao media de suas areas de 2% por quadro. Quando

as velocidades dos alvos passam a apresentar variacoes mais bruscas, devido ao desconheci-

mento da dinamica dessas variacoes, como ja mencionado, e necessario atribuir mais peso

as observacoes, visando acompanhar as mudancas de velocidade. No entanto, a covariancia

da observacao e dependente do proprio modelo de observacao empregado, da qualidade do

sensor e do nıvel de ruıdo existente no ambiente. Assim, quando os alvos executam variacoes

bruscas de velocidade, o desempenho do rastreamento fica condicionado a incerteza associada

ao modelo de observacao. Em um ambiente controlado, por exemplo, um alvo contrastante

com um fundo de cena homogeneo e pouca variacao de iluminacao possibilitam a atribuicao

de valores de covariancia baixos para observacao, viabilizando o rastreamento de alvos com

movimentos mais bruscos. Ja no caso do rastreamento em ambientes reais, essa possibilidade

e dependente das caracterısticas peculiares ao ambientes nos quais os alvos estao inseridos.

8.2 Alvos reais

Os testes realizados tiveram como objetivo principal avaliar a capacidade da abordagem quanto

ao rastreamento de alvos com formas heterogeneas. Para isso foram utilizadas sequencias de

imagens com diferentes tipos de objetos. As sequencias utilizadas foram obtidas em bases

de dados publicas e escolhidas com base nas suposicoes sobre o domınio de aplicacao da

abordagem proposta, descritas na Secao 1.3. Nas proximas secoes serao apresentados os

testes realizados com diferentes categorias de alvos e os resultados obtidos em cada um deles.

8.2 Alvos reais 69

8.2.1 Teste 1: Uma Pessoa

Neste teste foi utilizada uma sequencia de 175 imagens obtida em CAVIAR (2003), onde um

pessoa atravessa uma sala sensoriada por uma camera fixada no teto. As imagens sao de

dimensao 384 × 288 e foram capturadas a taxa de 25 quadros por segundo. As imagens

originais coloridas foram convertidas para nıveis de cinza, ja que a informacao de cor nao estao

sendo empregadas na presente abordagem. O deslocamento do alvo (pessoa) e diagonal e

tem sentido oposto a camera, configurando assim os movimentos de translacao horizontal,

translacao vertical e mudanca de escala.

Os parametros utilizados no ajuste do rastreamento sao relacionados na Tabela 8.2. Os

resultados obtidos sao mostrados a seguir. Na Figura 8.9 sao mostrados alguns quadros da

sequencia e o contorno resultante do alvo rastreado, assim como a trajetoria estimada do

centroide, marcada por um linha contınua nas imagens. Na Figura 8.10 sao mostradas nos

mesmos quadros da figura anterior as linhas de medida empregadas no modelo de observacao

dos alvos, fixadas ao longo do contorno estimado a cada iteracao do rastreamento. O grafico

comparativo das coordenadas reais e estimadas do centroide do alvo e mostrado na Figura

8.11. Salienta-se que a posicao real do objeto rastreado nas imagens foi determinada atraves

da subtracao do fundo de cena conhecido em todos os quadros da sequencia. O EQM entre

a posicao do centroide real e estimado foi EQMx = 8, 85 e EQMy = 2, 31, nas coordenadas

x e y, respectivamente.

Parametros do Rastreamento: Teste 1

Parametro Valor





Covariancia inicial do movimento q0vx = q0vy = 3, q0s = 5


Covariancia da estimacao do movimento qvx = qvy = 10−4, qs = 2.10−4

Covariancia da estimacao do contorno w = 0, 1




do Teste1 em imagens reais.

8.2 Alvos reais 70



Figura 8.9: Quadros da sequencia onde um pessoa e rastreada. O contorno resultante e






8.2 Alvos reais 71

70 80 90 100 110 120 130 140 150 160 170

60

70

80

90

100

110

120

130

140

150

160


Coordenada X

Coo

rden

ada

Y

RealEstimado

k=1

k=174


estimada no rastreamento (linha tracejada). Os instantes inicial e final do rastreamento sao

indicados no grafico por k = 1 e k = 174.

8.2.2 Teste 2: Grupo de Pessoas

Neste teste o objetivo especıfico foi avaliar a capacidade da abordagem rastrear multiplos

alvos simultaneamente. Neste caso foi empregada uma sequencia de 300 imagens obtida

em CAVIAR (2004). Nesta sequencia tres pessoas caminham em um corredor de um centro

comercial enquanto permanecem dentro do campo de visao de uma camera de vigilancia

posicionada no teto. As imagens sao de dimensao 384 × 288 e foram capturadas a taxa de

25 quadros por segundo. Como feito no teste anterior a informacao de cor foi desprezada,

convertendo-se as imagens originais para nıveis de cinza. O deslocamento das tres pessoas

e perpendicular ao plano das imagens no sentido da camera, ou seja, os alvos aproximam-se

da camera em linha reta, configurando os movimentos de translacao vertical e mudanca de

escala. O movimento de translacao horizontal e muito reduzido em relacao aos demais.

Os parametros utilizados no ajuste do rastreamento sao mostrados na Tabela 8.3. Quadros

da sequencia utilizada bem como o contorno do alvo resultante do rastreamento sao mostrados

na Figura 8.12. As linhas de medida fixadas ao longo do contorno, empregadas no modelo de

observacao dos alvos sao mostradas na Figura 8.13. O grafico comparativo das coordenadas

reais e estimadas do centroide do alvo e mostrado na Figura 8.14. A posicao real dos objetos

8.2 Alvos reais 72

rastreados nas imagens foi determinada atraves da segmentacao manual dos mesmos em

todos os quadros da sequencia. O EQM entre a posicao dos centroides reais e estimados

foi EQMAx = 1, 05 e EQMAy = 26, 42, para o Alvo A (a direita), EQMBx = 3, 14 e

EQMBy = 21, 92, para o Alvo B (ao centro) e EQMCx = 0, 85 e EQMCy = 64, 31, para o

Alvo C (a esquerda).


Parametro Valor





Covariancia inicial do movimento q0vx = q0vy = 15, q0s = 10−3


Covariancia da estimacao do movimento qvx = qvy = 4, qs = 10−4

Covariancia da estimacao do contorno w = 0, 05




do Teste2 em imagens reais.

8.2 Alvos reais 73



Figura 8.12: Quadros da sequencia onde tres pessoas sao rastreadas. O contorno resultante e


8.2 Alvos reais 74




de observacao fixadas ao longo dos contornos.

80 100 120 140 160 180 200 220 240

80

100

120

140

160

180

200

220


Coordenada X

Coo

rden

ada

Y

RealEstimado

Alvo A

Alvo C

Alvo B

k=1

k=299

k=1 k=1

k=299

k=299

Figura 8.14: Comparacao entre a posicao real dos centroides (linhas contınuas) e a posicao

estimada (linhas tracejadas).

8.2 Alvos reais 75

8.2.3 Teste 3: Robos Moveis

O objetivo deste experimento foi avaliar a capacidade de rastrear multiplos alvos simultanea-

mente, no entanto neste caso a forma dos alvos e diferente em relacao aos teste anteriores.

Foi empregada no experimento uma sequencia de 339 imagens obtida em Fredslund (2001).

Nesta sequencia quatro robos moveis movimentam-se em uma sala enquanto sao monitorados

por uma camera.Mais uma vez a informacao de cor foi desprezada. O deslocamento dos qua-

tro robos e perpendicular ao plano das imagens, aproximando-se da camera aproximadamente

em linha reta, configurando os movimentos de translacao vertical e mudanca de escala. O

movimento de translacao horizontal e reduzido em relacao aos demais.

Os parametros utilizados no ajuste do rastreamento sao mostrados na Tabela 8.4. Quadros

da sequencia utilizada bem como o contorno do alvo resultante do rastreamento sao mostrados

na Figura 8.15. As linhas de medida fixadas ao longo do contorno, empregadas no modelo de

observacao dos alvos sao mostradas na Figura 8.16. O grafico comparativo das coordenadas

reais e estimadas do centroide dos alvos e mostrado na Figura 8.17. A posicao real dos

objetos rastreados nas imagens foi determinada atraves da subtracao da cena de fundo em

todos os quadros da sequencia. O EQM entre a posicao dos centroides reais e estimados foi,

da esquerda para direita nas imagens, EQMAx = 0.55 e EQMAy = 2.21, para o Alvo A,

EQMBx = 1.38 e EQMBy = 1.72, para o Alvo B, EQMCx = 0.58 e EQMCy = 0.83, para

o Alvo C e EQMDx = 0.54 e EQMDy = 0.36, para o Alvo D.


Parametro Valor





Covariancia inicial do movimento q0vx = q0vy = 15, q0s = 0.5


Covariancia da estimacao do movimento qvx = qvy = 10, qs = 0.1

Covariancia da estimacao do contorno w = 0.001




do Teste 3 em imagens reais.

8.2 Alvos reais 76



Figura 8.15: Quadros da sequencia onde quatro robos moveis sao rastreados. O contorno

resultante e mostrado em torno dos alvos, bem como a trajetoria estimada de seu centroide

(linha contınua).

8.2 Alvos reais 77




de observacao fixadas ao longo dos contornos.

120 140 160 180 200 220 240 260 280 300 320

60

70

80

90

100

110

120

130

140

150

Coordenadas dos Centroides

Coordenada X

Co

ord

enad

a Y

RealEstimado

Alvo A

Alvo B Alvo C

Alvo D

k=1 k=1 k=1 k=1

k=338k=338 k=338 k=338

Figura 8.17: Comparacao entre a posicao real dos centroides (linhas contınuas) e a posicao

estimada (linhas pontilhadas) dos alvos A, B, C e D, da esquerda para direita.

8.2 Alvos reais 78

8.2.4 Analise dos Resultados

A abordagem proposta apresentou um bom desempenho no rastreamento de alvos reais nos

testes mostrados nas secoes anteriores. No Teste 1 uma pessoa e rastreada enquanto afasta-se

da camera atravessando uma sala. Os movimentos realizados sao de translacao e mudanca de

escala, visto que a area de sua projecao no plano da imagem diminui a medida que a mesma se

afasta da camera. O EQM entre as posicoes real e estimada do centroide foi aproximadamente

de 3 pixels, e suas trajetorias sao mostradas na Figura 8.11. A forma do contorno tambem

apresentou pequenas variacoes ao longo do rastreamento, devido a mudanca da posicao do alvo

em relacao a camera, e aos movimentos oscilatorios de bracos e pernas. Essas deformacoes

do contorno podem ser facilmente vistas na Figura 8.10.

No Teste 2, tres pessoas foram rastreadas enquanto caminham ao longo de um corredor

sensoriado por uma camera de vigilancia em um centro comercial. Os alvos (pessoas) ca-

minham em linha reta com velocidades similares aproximando-se da camera, como pode ser

visto nos quadros mostrados na Figura 8.12. Percebe-se que os movimentos realizados sao de

translacao vertical e mudanca de escala, a medida que o grupo aproxima-se do sensor optico.

A exemplo do que ocorreu no Teste 1, os contornos apresentam pequenas deformacoes ao

longo do rastreamento, novamente devido a mudanca de posicao na cena e a movimentacao

de bracos e pernas.

No Teste 3, quatro robos foram rastreados enquanto se moviam em uma sala, moni-

torados por uma camera fixa. Os robos movem-se em linha reta com velocidades similares

aproximando-se da camera, como pode ser visto nos quadros mostrados na Figura 8.15. Como

no Teste 2, os movimentos realizados sao de translacao vertical e mudanca de escala, a me-

dida que os alvos aproximam-se do sensor optico. Os contornos dos alvos apresentam leves

deformacoes devido a mudanca de suas posicoes na cena.

O ajuste dos parametros da abordagem empregada deve ser feito com base nas carac-

terısticas dos alvos, suas formas e movimentacao, e do ambiente em que os mesmos estao

inseridos. As consideracoes feitas na Secao 8.1.4 sobre os valores das covariancias tambem se

aplicam da mesma forma no caso do rastreamento de alvos reais. Dois parametros que exer-

cem especial influencia sobre o valor da covariancia no caso do rastreamento em sequencias

reais sao o comprimento L das linhas de medida e o desvio padrao σ da distribuicao Gaussiana

definida sobre essas mesmas linhas. O aumento do comprimento das linhas de medida e do

desvio padrao corresponde a um aumento da regiao de interesse de onde serao “buscadas” as

caracterısticas dos alvos nas imagens. Quanto maior o comprimento das linhas e o valor do

desvio padrao, maior a capacidade de lidar com variacoes bruscas de velocidade e deformacoes


do contorno, ja que ha uma maior probabilidade dos alvos permanecerem dentro da regiao

de interesse definida pelas linhas, viabilizando assim uma observacao correta de suas carac-

terısticas. Esta questao nao e tao relevante no caso de alvos em imagens controladas uma vez

que o fundo de cena e homogeneo. No entanto, em ambientes reais, a medida que o com-

primento das linhas aumenta, ha uma maior influencia do fundo de cena na observacao dos

alvos, visto que a probabilidade de caracterısticas do fundo, como uma borda de intensidade,

serem detectadas sobre as linhas aumenta, aumentando assim a incerteza da observacao. No-

vamente, como foi constatado no caso dos alvos em imagens controladas, ha um compromisso

entre a capacidade de lidar com a movimentacao descrita pelos alvos e a incerteza associada

ao modelo de observacao dos mesmos.


Neste capıtulo foram descritos os testes realizados com a abordagem proposta e apresentadas

as analises dos resultados obtidos. Como visto foram realizados testes com alvos em ambientes

controlados e reais. Constatou-se o desempenho satisfatorio da abordagem, ressaltando-se que

as suposicoes quando ao domınio de aplicacao da tecnica devem ser respeitadas para obtencao

de bons resultados. A pouca quantidade de informacao previa sobre os alvos rastreados gera a

necessidade da atribuicao de um peso maior para a observacao dos mesmos nos casos em que as

variacoes de velocidade e forma sao mais bruscas. No entanto, nos casos em que existem ruıdos

no ambiente, como por exemplo, em imagens com fundo de cena nao-homogeneo, variacoes

de iluminacao e situacoes de oclusao, os mesmos afetam o modelo de observacao do sistema

proposto prejudicando o desempenho do rastreamento. Dessa forma, em ambientes nos quais

ha um baixo nıvel de ruıdo a abordagem pode lidar com maiores variacoes de movimento dos

alvos, ja em ambientes onde o nıvel de ruıdo e maior, para que se tenha um bom desempenho,

as variacoes na movimentacao devem ser suaves.

80

9 Conclusao

Este trabalho apresentou uma abordagem livre de modelo para o rastreamento de objetos

em sequencias de imagens, com uso de pouca informacao a priori sobre os alvos a serem

rastreados. A abordagem proposta baseia-se no emprego de dois Filtros de Kalman combinados

no rastreamento de cada alvo: um para estimacao do movimento e outro para estimacao do

contorno dos alvos.

Para possibilitar o rastreamento de alvos com formas heterogeneas e desconhecidas foi

empregado um modelo de representacao do contorno dos alvos nas imagens baseado em

funcoes B-splines, que tem a capacidade de ajustar-se tanto a formas simples quanto a formas

complexas. No caso da estimacao do movimento, como a movimentacao dos alvos no ambiente

tambem nao e conhecida previamente, foi empregado um modelo de movimento simples,

baseado em translacao e mudanca de escala, e considerou-se que a velocidade dos alvos varia

suavemente ao longo do tempo.

O modelo de observacao dos alvos nas imagens e baseado em linhas de medida fixadas ao

longo dos contornos dos alvos, estimados no rastreamento. As linhas de medida definem uma

regiao de interesse para observacao dos alvos e permitem a extracao de informacoes de bordas

de intensidade e de movimento com baixo custo computacional, ja que reduzem a analise das

imagens a linhas unidimensionais.

Foram realizados testes com sequencias de imagens controladas e reais, considerando-se as

suposicoes sobre o domınio de aplicacao da abordagem, apresentadas no Capıtulo 1. Atraves

da analise dos resultados obtidos foi possıvel concluir que a abordagem apresentada e capaz

de rastrear alvos com formas heterogeneas e desconhecidas que apresentam variacoes suaves

de velocidade ao longo do tempo. Constatou-se tambem que ha uma relacao crıtica entre a

variacao da velocidade e da forma do contorno dos alvos que se pretende rastrear, e a incerteza

associada ao modelo de observacao.

Assim, o presente trabalho constitui uma contribuicao a area de rastreamento de objetos

em sequencias de imagens, pois apresenta uma abordagem simples, de baixo custo computa-

cional e que utiliza pouca informacao previa sobre os alvos, mostrando-se eficiente no rastre-

9.1 Trabalhos Futuros 81

amento de objetos em sequencias de imagens dentro do domınio de aplicacao da tecnica.

9.1 Trabalhos Futuros

Nesta secao sao apresentados os principais pontos que poderiam ser explorados em trabalhos

futuros a partir do que foi apresentado nesta pesquisa. E importante salientar que os com-

ponentes do sistema de rastreamento visual possuem uma certa independencia entre si, ou

seja, podem ser feitas modificacoes em alguns pontos do sistema, sem que haja necessidade

de alteracoes nos demais componentes, desde que os requisitos e limitacoes dos mesmo sejam

respeitados.

Considerando a representacao baseada nos contornos dos alvos, o emprego de shape-space

models (BLAKE; ISARD, 1998) poderia trazer maior estabilidade ao processo de rastreamento.

Esta tecnica, empregada usualmente em abordagens baseadas em modelos de forma, estabelece

limitacoes para as variacoes dos contornos dos objetos a partir de um modelo padrao pre-

determinado. Na presente abordagem, a estimativa inicial do contorno dos alvos poderia ser

usada como sendo este modelo padrao, estabelecendo uma limitacao as alteracoes da forma

do contorno, o que se configura uma perda de liberdade, mas por outro lado confere mais

estabilidade ao rastreamento.

No caso do modelo de observacao, as linhas de medida empregadas neste trabalho sao

usadas com base de uma abordagem probabilıstica eficiente para o tratamento de oclusoes

apresentada por MacCormick (2000). Porem, o emprego desta abordagem especıfica implicaria

no uso do algoritmo Condensation no processo de rastreamento dos alvos, uma vez que o

modelo de observacao definido e nao-Gaussiano. Independentemente da abordagem adotada,

o tratamento explıcito de oclusoes, tanto entre dois alvos, quanto entre um alvo e um elemento

estatico na cena, tornaria o sistema mais robusto, ou seja, menos vulneravel a estes tipos de

ruıdos nas observacoes, possibilitando maior exatidao na identificacao unica de cada objeto

rastreado em uma sequencia de imagens. Ainda sobre o modelo de observacao, uma maneira

de compensar o uso de pouca informacao a priori sobre os alvos, seria a utilizacao de mais

informacoes adquiridas durante o processo de rastreamento, como cor ou textura do alvos.

Estas podem ser agregadas no modelo de observacao apos a inicializacao do rastreamento,

um vez que as mesmas nao sao conhecidas previamente, possibilitando a construcao de um

distribuicao de probabilidade de cor, por exemplo, de cada alvo, que seria atualizada a cada

nova observacao.

O modelo de movimento, por sua vez, tambem pode ser estendido, de modo a considerar

movimentos mais complexos dos alvos, como rotacao e alteracoes de escala distintas nas

9.1 Trabalhos Futuros 82

direcoes x e y. Isto permitiria a flexibilizacao de algumas das suposicoes assumidas sobre

o domınio de aplicacao da abordagem, tornando-a menos restrita. No entanto, ressalta-se

que a abordagem proposta nao foi suficientemente testada em relacao a cada uma destas

suposicoes, ou seja, um ponto a ser explorado e a avaliacao do desempenho da abordagem em

mais situacoes em que o domınio de aplicacao nao e totalmente respeitado, como a utilizacao

de um camera movel, por exemplo.

Por fim, neste trabalho nao foram feitas avaliacoes quantitativas quanto ao tempo de

processamento gasto no rastreamento. Tendo em vista que, devido as solucoes empregadas, a

abordagem tem um baixo custo computacional, espera-se que nao haja uma grande demanda

de tempo de processamento, embora testes criteriosos devam ser realizados caso a abordagem

esteja sendo considerada para ser usada em aplicacoes de tempo-real.

83

REFERENCIAS BIBLIOGRAFICAS

ARULAMPALAM, M. S.; MASKELL, S.; GORDON, N.; CLAPP, T. A tutorial on particlefilters for online nonlinear/non-gaussian bayesian tracking. IEEE Transactions on SignalProcessing, v. 50, n. 2, p. 174–188, 2002.

BALLARD, D. H.; BROWN, C. M. Computer Vision. New Jersey, USA: Prentice-Hall, 1982.

BAR-SHALOM, Y.; FORTMANN, T. E. Tracking and Data Association. San Diego, USA:Academic Press, 1988.

BAR-SHALOM, Y.; LI, X. R.; KIRUBARAJAN, T. Estimation with Applications to Trackingand Navigation. New York, USA: John Wiley & Sons Inc., 2001.

BARTELS, R.; BEATTY, J.; BARSKY, B. An Introduction to Splines for use in ComputerGraphics and Geometric Modeling. Los Altos, USA: Morgan Kaufmann, 1987.

BAUMBERG, A. Hierarchical shape fitting using an iterated linear filter. Image and VisionComputing, v. 16, n. 5, p. 329–335, 1998.

BEM, R. A. de; COSTA, A. H. R. Rastreamento de visual de multiplos objetos utilizandouma abordagem livre de modelo. In: Anais do XVI Congresso Brasileiro de Automatica - CBA2006. Sao Paulo, Brasil: Sociedade Brasileira de Automatica, 2006. v. 1, p. 2760–2765.

BEM, R. A. de; COSTA, A. H. R. Rastreamento visual de multiplos objetos baseado emcontornos aplicado ao futebol de robos. In: Anais do XXVI Congresso da Sociedade Brasileirade Computacao. Campo Grande, Brasil: SBC, 2006. v. 1, p. 163–172.

BLAKE, A.; ISARD, M. Active Contours. Cambridge, England: Springer-Verlag, 1998.

CAMPOS, T. E. de. 3D Hand and Object Tracking for Intention Recogni-tion. Oxford, England: [s.n.], 2003. Acesso em 09/06/2006. Disponıvel em:<http://www.robots.ox.ac.uk/˜teo/TransferReport/deCampos report.pdf>.

CAVIAR. CAVIAR Test Case Scenarios - EC Funded CAVIAR pro-ject/IST 2001 37540. 2003. Acesso em 20/01/2007. Disponıvel em:<http://groups.inf.ed.ac.uk/vision/CAVIAR/CAVIARDATA1/Walk1/Walk1 jpg.tar.gz>.

CAVIAR. CAVIAR Test Case Scenarios - EC Funded CAVIAR pro-ject/IST 2001 37540. 2004. Acesso em 20/01/2007. Disponıvel em:<http://groups.inf.ed.ac.uk/vision/CAVIAR/CAVIARDATA2/ThreePastShop1cor/ThreePastShop1cor.tar.gz>.

COMANICIU, D.; RAMESH, V.; MEER, P. Real-time tracking of non-rigid objects usingmean shift. In: Proc. of IEEE Conf. on Computer Vision And Pattern Recognition. HiltonHead Island, USA: IEEE Computer Society, 2000. v. 2, p. 142–151.


COSTA, L. da F.; CESAR Jr., R. M. Shape Analysis and Classification: Theory and Practice.Boca Raton, USA: CRC Press LLC, 2000.

DUDEK, G.; JENKIN, M. Computational Principles of Mobile Robotics. Cambridge, UK:Cambridge Univ. Press, 2000.

FOLEY, J. D.; DAM, A. van; FEINER, S. K.; HUGHES, J. F. Computer Graphics: Principlesand Practice. 2nd. ed. New York, USA: Addison-Wesley, 1996.

FREDSLUND, J. Distributed Robot Formations - Line Formation. 2001. Acesso em12/04/2006. Disponıvel em: <http://robotics.usc.edu/robots/movies/formation3.avi>.

GAVRILA, D. M. The visual analysis of human movement: A survey. Computer Vision andImage Understanding, v. 73, n. 1, p. 82–98, 1999.

GELB, A.; KASPER, J. J. F.; NASH, J. R. A.; PRICE, C. F.; SUTHERLAND, J. A. A.Applied Optimal Estimation. Cambridge, USA: The MIT Press, 1974.

GOLDENSTEIN, S. K. A gentle introduction to predictive filters. Revista de InformaticaTeorica e Aplicada (RITA), v. 11, n. 1, p. 61–89, 2004.

GONG, S.; MCKENNA, S. J.; PSARROU, A. Dynamic Vision - From Images to FaceRecognition. London, England: Imperial College Press, 2000.

GONZALEZ, R. C.; WOODS, R. E. Digital Image Processing. USA: Addison-Wesley, 1992.

HAGER, G. D.; TOYAMA, K. X vision: A portable substrate for real-time vision applications.Computer Vision and Image Understanding, v. 69, n. 1, p. 23–37, 1998.

HARITAOGLU, I.; HARWOOD, D.; DAVIS, L. S. W4: A real-time system for detectingand tracking people in 2.5d. In: Proc. 5th European Conf. on Computer Vision. Freiburg,Germany: Springer-Verlag, 1998. v. 1, p. 877–892.

HU, W.; TAN, T.; WANG, L.; MAYBANK, S. A survey on visual surveillance of object motionand behaviors. IEEE Transactions on Systems Man and Cybernetics - Part C Applicationsand Reviews, v. 34, n. 3, p. 334–352, 2004.

ISARD, M.; BLAKE, A. Icondensation: Unifying low-level and high-level tracking in asthocastic framework. In: Proc. 5th European Conf. on Computer Vision. Freiburg, Germany:Springer-Verlag, 1998. v. 1, p. 893–908.

ISARD, M.; MACCORMICK, J. Bramble: A bayesian muliple-blob tracker. In: IEEE. Proc.Int. Conf. on Comp. Vision. Vancouver, Canada: IEEE Computer Society, 2001. v. 2, p.34–41.

JIN, H.; FAVARO, P.; SOATTO, S. Real-time feature tracking and outlier rejection withchanges in illumination. In: IEEE. Proc. Int. Conf. on Comp. Vision. Vancouver, Canada:IEEE Computer Society, 2001. v. 1, p. 684–689. ISBN 0-7695-1143-0.

JUNG, B.; SUKHATME, G. S. Real-time Motion Tracking from a Mobile Robot. Los Angeles,USA: Center for Robotics and Embedded Systems, Univ. of Southern California, 2005.Technical Report CRES-05-008.

KALMAN, R. E. A new approach to linear filtering and prediction problems. Transactions ofthe ASME - Journal of Basic Engineering, v. 82, n. Series D, p. 35–45, 1960.


KOLLER, D.; DANIILIDIS, K.; NAGEL, H.-H. Model-based object tracking in monocularimage sequences of road traffic scenes. Int. Journal of Computer Vision, v. 10, n. 3, p.257–281, 1993.

KOLLER, D.; WEBER, J.; MALIK, J. Robust Multiple Car Tracking with OcclusionReasoning. Berkeley, USA: California Path Program, Inst. of Transportation Studies, Univ. ofCalifornia, 1994. Working Paper UCB-ITS-PWP-94-1.

MACCORMICK, J. Probabilistic modelling and stochastic algorithms for visual localisationand tracking. Tese (Doutorado) — Department of Engineering Science, University of Oxford,Oxford, UK, Jan. 2000.

MACCORMICK, J.; BLAKE, A. Probabilistic exclusion principle for tracking multiple objects.Int. Journal of Computer Vision, v. 1, n. 39, p. 57–71, 2000.

MCKENNA, S. J.; JABRI, S.; DURIC, Z.; WECHSLER, H. Tracking interacting people. In:Proc. of Fourth IEEE Int. Conf. on Automatic Face and Gesture Recognition. Grenoble,France: IEEE Computer Society, 2000. p. 348–353.

MOESLUND, T. B.; GRANUM, E. A survey of computer vision-based human motion capture.Computer Vision and Image Understanding, v. 81, p. 231–268, 2001.

NGUYEN, H. T.; WORRING, M. Multifeature object tracking using a model-free approach.In: Proc. of IEEE Conf. on Comp. Vision and Pattern Recognition. Hilton Head Island, USA:IEEE Computer Society, 2000. v. 1, p. 145–150.

PARAGIOS, N.; DERICHE, R. Geodesic active contours and level sets for the detection andtracking of moving objects. IEEE Transactions on Pattern Analysis and Machine Intelligence,IEEE Computer Society, Los Alamitos, USA, v. 22, n. 3, p. 266–280, 2000. ISSN 0162-8828.

PATIL, R.; RYBSKI, P. E.; KANADE, T.; VELOSO, M. M. People detection and tracking inhigh resolution panoramic video mosaic. In: Proc. of 2004 IEEE/RSJ Int. Conf. on IntelligentRobots and Systems (IROS). Canada: IEEE Computer Society, 2004. v. 1, p. 1323–1328.

POLANA, R.; NELSON, R. Low level recognition of human motion. In: Proc. of IEEEWorkshop Motion of Non-Rigid and Articulated Objects. Austin, USA: IEEE ComputerSociety, 1994. v. 1, p. 77–82.

PRESS, W. H.; TEUKOLSKY, S. A.; VETTERLING, W. T.; FLANNERY, B. P. NumericalRecipes in C : The Art of Scientific Computing. 2nd. ed. Cambridge, USA: CambridgeUniversity Press, 1992.

SARKKA, S.; TAMMINEN, T.; VEHTARI, A.; LAMPIEN, J. Probabilistic Methods inMultiple Target Tracking. Helsinki, Finland: Lab. of Computational Engineering, HelsinkiUniv. of Technology, 2004. Research Report B36 - ISBN 951-22-6938-4.

SCHULZ, D.; BURGARD, W.; FOX, D.; CREMERS, A. B. Tracking multiple moving targetswith a mobile robot using particle filters and statistical data association. In: Proc. of 2001IEEE Int. Conf. on Robotics and Automation (ICRA). Seoul, Korea: IEEE Computer Society,2001. v. 2, p. 1665–1670.

SEIXAS, M. O.; COSTA, A. H. R. Estimativa de um modelo adaptativo de cena de fundopara segmentacao em tempo real de objetos de interesse. In: Anais do XXIII Congresso daSociedade Brasileira de Computacao. Campinas, Brasil: SBC, 2003. p. 31–40.


SHI, J.; TOMASI, C. Good features to track. In: Proc. of IEEE Conf. on Computer Visionand Pattern Recognition. Seattle, USA: IEEE Computer Society, 1994. v. 1, p. 593–600.

SIEBEL, N. T. Design and Implementation of People Tracking Algorithms for VisualSurveillance Applications. Tese (Doutorado) — Department of Computer Science, TheUniversity of Reading, Reading, UK, Mar. 2003.

TOMASI, C.; KANADE, T. Detection and tracking of point features. Pittsburgh, USA:Carnegie Mellon University, 1991. Technical Report CMU-CS-91-132.

TWEED, D.; CALWAY, A. Tracking many objects using subordinate condensation. In: Proc.of the British Machine Vision Conf. Cardiff, UK: BMVC, 2002. p. 283–292.

WREN, C.; AZARBAYEJANI, A.; DARREL, T.; PENTLAND, A. Pfinder: Real-time trackingof the human body. IEEE Transactions on Pattern Analysis and Machine Intelligence, v. 19,n. 7, p. 780–785, 1997.

Documents

Uma abordagem livre de modelo para rastreamento de objetos ... · anterior, somada ao deslocamento do centróide, dado por vk−1, e a altera¸cão da distância entre o ponto