Faculdade de Engenharia da Universidade do Porto - …ee98236/relatorio.pdf · 2004. 12. 23. · A análise da marcha humana 2.1 Marcha Humana Como forma de familiarização com alguns

Universidade do Porto

Faculdade de Engenharia

Caracterização e Visualização de Movimento paraAplicações em Biomecânica

João Campos Menezes Bateira

Relatório do Projecto Final de Curso

Dezembro de 2004

Agradecimentos

Quero agradecer ao Professor Miguel Velhote pela disponibilidade e pela orientação dada aotrabalho, à Sra Emília Mendes e ao Centro de Reabilitação Profissional de Gaia, pela disponibi-lização do material de aquisição, ao Ricardo Sousa, pelo apoio, e ao grupo de imagem do INEBpelas excelentes condições de trabalho proporcionadas.

iii

"Imaginar, primeiro, é ver.Imaginar é conhecer, portanto agir."

Alexandre O’Neill

Conteúdo

1 Introdução 11.1 Âmbito . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Motivação e Objectivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.3 Estrutura e resumo do relatório . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 A análise da marcha humana 52.1 Marcha Humana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.2 Reabilitação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72.3 Métodos de análise da marcha . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

3 Segmentação da imagem 113.1 Detecção de movimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.1.1 Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113.1.2 Subtracção do fundo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143.1.3 Método adaptativo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.2 Regiões em movimento e operações morfológicas . . . . . . . . . . . . . . . . . . 16

4 Caracterização do movimento 194.1 Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194.2 Técnica baseada em regiões - Template Matching . . . . . . . . . . . . . . . . . . 214.3 Filtro de Kalman vs Oclusão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224.4 Método Proposto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

5 Implementação e Resultados Obtidos 355.1 Aquisição da marcha . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355.2 Análise com marcadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365.3 Análise sem marcadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

6 Conclusões e Trabalho Futuro 45

i

Capítulo 1

Introdução

1.1 Âmbito

Amplamente estudado, o sistema de visão humana é um complexo sistema sensorial que per-

mite ao homem ter uma percepção da realidade e fazer uma posterior análise e interpretação

da mesma. As imagens captadas pela retina são uma fonte de informação emanente a partir

da qual cada indivíduo, consoante a sua sensibilidade, pode efectuar, com algum rigor, oper-

ações de estimação de distâncias, distinção de cores, percepção de movimento, identificação de

objectos e pessoas, entre outras. Como forma de aproximação ao sistema visual humano ten-

tando introduzir o rigor e a velocidade que caracterizam as máquinas, desenvolveu-se a visão

por computador. Através de um processo de captação, processamento, análise e interpretação

de imagens, a máquina é então capaz de retirar alguma informação da realidade como um ser

humano.

Deste modo a visão por computador torna-se uma ferramenta importante com aplicações

1

2 CAPÍTULO 1. INTRODUÇÃO

em muitas áreas, por exemplo: a medicina, a biologia, a segurança, as telecomunicações, a

automação. No caso específico da medicina são enúmeras as aplicações de ajuda ao diagnóstico

(Computer Aided Diagnosis) ou de biometria, baseadas em análise de imagem. Exemplo disso

são as análises de radiografias, de imagens ecográficas, de tomografia axial computorizada (TAC),

de cromatografia, tratando-se estes exemplos de imagens temporalmente fixas, bidimensionais

ou tridimensionais.

Outros casos há em que a informação é retirada de uma sequência temporalmente ordenada

de imagens, como quando é necessário o estudo de um dado movimento biomecânico. Tal

acontece, por exemplo, com a análise da marcha humana, havendo nesta áreas aplicações quer

ao nível do diagnóstico, quer ao nível da biometria.

Foi, pois, neste âmbito que se pretendeu combinar e desenvolver, e aqui apresentar, metodolo-

gias de processamento e análise de imagens digitais capazes de fornecer informação fiável e

enriquecedora para o estudo da marcha humana.

1.2 Motivação e Objectivos

A análise de movimentos biomecânicos, em particular o da marcha humana, é uma área que

merece a atenção da comunidade científica há já alguns anos. No entanto, a variedade e a

quantidade de métodos desenvolvidos mostram como é difícil arquitectar sistemas robustos que

demonstrem bons níveis de desempenho nas situações mais diversas. Alguns métodos efecti-

vamente robustos demonstram que na práctica, em aplicações clínicas, são-no em prejuizo das

exigências concretas destas aplicações: falta de automação no processo, falta de rigor e tempo

excessivo na produção de resultados — o que resulta em desconforto para o médico e para os

1.3. ESTRUTURA E RESUMO DO RELATÓRIO 3

pacientes analisados.

Assim, propõe-se neste trabalho desenvolver algoritmos de processamento e análise de im-

agem o mais robustos possível, tendo em vista aplicações automáticas de caracterização e análise

da marcha humana. Estes algoritmos passam pela detecção de objectos em movimento numa

sequência de imagens, pelo seu seguimento ao longo da sequência e pela extracção de infor-

mação útil dos mesmos. Não é objectivo do trabalho desenvolver alguma aplicação ou sistema

automático, mas apenas estudar, desenvolver e articular metodologias da análise automática de

movimento aplicadas ao estudo da marcha humana.

1.3 Estrutura e resumo do relatório

O presente relatório está essencialmente dividido em duas partes principais: uma parte teórica

(capítulos 2, 3 e 4), e uma parte prática (capítulo 5). Assim será feita uma apresentação de

cada metodologia com a respectiva fundamentação teórica, com a devida ilustração realizada no

capítulo 5.

Inicialmente, no capítulo 2, será apresentado um breve estudo sobre a marcha humana onde

é explicada a adequação de dois métodos distintos de análise de imagem para o seu estudo e qual

a importância que têm em áreas como a reabilitação. No terceiro capítulo serão apresentadas

metodologias de análise de imagem aplicadas à segmentação de regiões em movimento. Serão

também abordadas técnicas de filtragem morfológica, normalmente usadas em imagens fixas,

mas com interesse para o melhoramente da segmentação. No quarto capítulo apresentar-se-ão

métodos para a caracterização do movimento que passam por técnicas de correspondências de

regiões e pelo uso do filtro de Kalman. Neste capítulo é feita a distinção de metodologias que

4 CAPÍTULO 1. INTRODUÇÃO

correspondem às duas diferentes abordagens da caracterização da marcha. No quinto capítulo

serão apresentados os resultados do processamento final, onde serão incluídos aspectos específicos

da implementação das metodologias apresentadas. Com base nestes resultados, e por último,

serão tiradas conclusões e apresentadas propostas de trabalho a desenvolver no futuro.

Capítulo 2

A análise da marcha humana

2.1 Marcha Humana

Como forma de familiarização com alguns termos posteriormente relatados e de forma a facilitar

a interpretação dos resultados finais, será pertinente um estudo introdutório à marcha humana,

o qual será de seguida apresentado.

A dinâmica da marcha humana corresponde a um movimento periódico conjunto de juntas

ósseas, músculos e articulações, cujo ciclo está definido pelo intervalo de tempo entre dois con-

tactos do mesmo pé no solo. A este intervalo chama-se passada e, no seu tempo de duração, o

ciclo da marcha é composto por várias fases, cada uma com características muito particulares

e que servem para identificar comportamentos dos membros inferiores do indivíduo nalgumas

situações críticas. As duas fases principais são as de apoio (stence) e de balanço (swing).

Na fase de apoio o indivíduo encontra-se com o pé em contacto com o solo, sendo a sua

duração desde o apoio inicial do calcanhar até ao último contacto dos dedos do pé com o solo.

5

6 CAPÍTULO 2. A ANÁLISE DA MARCHA HUMANA

Esta fase está dividida em subfases que estão também definidas pois em cada uma se pode

extrair informação sobre cada membro inferior. Na fase de apoio encontram-se então definidas

as seguintes fases:

fase de contacto inicial — instante em que se dá o contacto do calcanhar com o solo;

fase de absorção do choque — instantes em que a planta do pé está em contacto total com

o solo, e em que todo o peso do corpo é transferido para a perna que inicia a fase de apoio;

fase média de apoio — quando o pé contrário deixa o contacto com o solo, passando o suporte

a ser feito apenas com um pé;

fase terminal de apoio — fase definida desde a altura em que o pé de suporte começa a deixar

o contacto com o solo, até existir o contacto inicial do pé contrário.

A fase de balanço compreende o intervalo desde que o pé começa a deixar o contacto com solo

até que um novo contacto aconteça. Nesta fase também estão definidas várias fases intermédias:

fase de pré-balanço — instantes em que há um duplo suporte (dois pés em contacto com o

solo), mas o pé analisado começa a elevar-se no ar.

fase de balanço inicial — com o pé no ar, começa a flexão do joelho até à posição máxima da

flexão (que não é necessariamente o limite físico da flexão do joelho pois a perna é apenas

dobrada parcialmente);

fase média de balanço — após a flexão do joelho, há um avanço rápido do calcanhar; esta

fase termina quando a tíbia se encontra na vertical;

2.2. REABILITAÇÃO 7

Figura 2.1: Fases da marcha humana

a tíbia continua a sua translação até atingir a extensão máxima do joelho; o balanço termina

com a preparação para o contacto do calcanhar com o solo.Do ponto de vista da análise de

imagem, o ciclo de marcha vai ser decomposto numa sequência de imagens através da captação

com uma câmara de vídeo de uma pessoa em marcha normal. Importa pois, conhecer aspectos

referentes à marcha que possam ajudar ao desenvolvimento de algoritmos com vista à sua car-

acterização. O conhecimento do comportamento dinâmico dos membros inferiores e das juntas

ósseas durante o círculo da marcha é sem dúvida um dos pontos de extrema importância. As

próprias características periódicas do movimento que à partida podemos inferir deste estudo são

informação que pode ser tida em conta.

2.2 Reabilitação

Uma das áreas em que o estudo da marcha humana é de maior relevo é a de reabilitação de

indivíduos com membros inferiores amputados que recorrem a próteses para recuperarem as suas


capacidades de marcha normal. As dificuldades em atingir de novo um comportamento normal da

articulação da perna prendem-se com a adaptação do indivíduo à prótese. Essa adaptação deve

ser acompanhada pelo profissional de saúde de forma a corrigir erros que o paciente cometa, pois

o desiquilíbrio e a instabilidade do caminhar podem provocar várias anomalias a nível ortopédico

(na coluna, por exemplo).

Assim torna-se muito útil a um profissional de saúde ter uma ferramenta que lhe dê in-

formação sobre a marcha do paciente. Através da análise da posição da anca, do joelho e do

tornozelo, podem observar-se, por exemplo, as suas trajectórias ao longo do tempo, os ângulos

que cada segmento da perna formam (com a vertical ou entre si), e assim perceber quais os

ajustes a fazer no comportamento do indivíduo em cada fase da marcha.

Esse ajuste muitas vezes é feito pela comparação de gráficos resultantes das medições referi-

das. Normalmente é construída uma base de dados com traçados recolhidos a partir de indivíduos

com membros sãos, que é depois utilizada na comparação. Um gráfico bastante usado que evi-

dencia a característica cíclica da marcha é o ciclograma, que apresenta o ângulo do fémur versus

o ângulo da tíbia [Goswami(1998)].

2.3 Métodos de análise da marcha

Em termos de análise de imagem, os algoritmos já desenvolvidos para a análise da marcha

humana dividem-se, de uma forma prática, em duas categorias: análise com marcadores e análise

sem marcadores.

Os marcadores são normalmente objectos adesivos com uma forma arredondada e de cor

branca ou fluorescente, que são colocados no corpo do paciente, de forma a ficarem visíveis pela

2.3. MÉTODOS DE ANÁLISE DA MARCHA 9

Figura 2.2: Ciclograma

câmara, nos pontos que se pretende analisar — por exemplo, na anca, no joelho e no tornozelo. A

colocação dos marcadores obdece às recomendações da Sociedade Internacional de Biomecânica

(International Society of Biomechanics) segundo o estipulado pelo Sistema de Coordenadas de

Juntas Ósseas (Joint Coordinate System [ISB(2002)]).

O uso ou não dos marcadores distingue de uma forma drástica as metodologias de análise

de imagem. No primeiro caso exige-se a detecção e o seguimento dos pontos da imagem cor-

respondentes aos marcadores. No segundo caso será necessário identificar os outros elementos

característicos em cada imagem (usando informação diferente da dada pelos marcadores) a partir

de contornos ou texturas, por exemplo.

Capítulo 3

Segmentação da imagem

3.1 Detecção de movimento

3.1.1 Introdução

A fase de partida para a maioria das aplicações de análise de movimento humano é a fase da

detecção do movimento. Numa sequência de imagens é necessário identificar as zonas consid-

eradas em movimento para que o processamento seguinte possa concentrar-se nessas regiões,

abstraindo-se das zonas complementares consideradas zonas de fundo. Este processo de segmen-

tação da imagem em regiões de interesse distingue-se de outros na medida em que aproveita a

informação temporal inerente à própria sequência de imagens. Aqui a segmentação não é vista

como um cálculo aplicado a cada imagem isolada tendo em conta apenas a informação dada por

essa imagem, mas antes reúne informação sobre imagens anteriores da sequência em que esta se

insere.

Como em qualquer processo operante em cadeia, cada fase deve introduzir o menor erro pos-

11

12 CAPÍTULO 3. SEGMENTAÇÃO DA IMAGEM

sível, sendo este postulado aplicado também à análise de movimento, cujo resultado é produto de

um conjunto de tarefas intermédias. A detecção de movimento (ou a segmentação propriamente

dita) sendo a primeira fase deste processo, torna-se importante que se lhe dedique toda a atenção

para que seja conseguido o melhor ponto de partida. O desempenho de muitas aplicações de

análise de movimento está fortemente dependente de uma boa segmentação.

Com este propósito foram já desenvolvidas várias metodologias que podem operar de forma

independente ou até combinada. Segundo o estudo apresentado em [Liang Wang(2002)], as

metodologias mais eficazes e por isso mais populares são: subtracção do fundo, diferenciação

temporal, métodos estatísticos e fluxo óptico. Como se pode inferir da diversidade das mesmas,

estas são aplicáveis a situações diferentes, sendo o resultado das suas aplicações muito particular.

Além disso o custo computacional de cada uma é bastante diferente, o que à partida se torna

uma condicionante à escolha.

Os algoritmos baseados em métodos estatísticos têm como suporte uma modelização es-

tatística do fundo da imagem, havendo uma actualização permanente desse modelo. Em cada

imagem é avaliada a classe de cada ponto através comparação com o modelo do fundo. São

métodos robustos em situações de grande variação de luminosidade, presença de ruído e de

sombras, sendo tipicamente as características representadas estatisticamente, os contornos e as

cores.

Já os algoritmos de fluxo óptico são usados para descrever o fluxo de movimento. Nesta

metodologia são calculados vectores que indicam a direcção, o sentido e a intensidade do movi-

mento numa sequência de imagens. Este método pode ser usado para uma inicialização da

segmentação, através do agrupamento de vectores de fluxo num grupo que corresponde a uma

3.1. DETECÇÃO DE MOVIMENTO 13

região em movimento. Todavia é um método mais apropriado para aplicações de percepção de

movimento com deslocação do observador, em que se pretende uma aproximação ao sistema de

visão humana, com o objectivo de quantificar a percepção psicofísica de movimento.

O conceito básico da diferenciação temporal consiste na observação de cada pixel em pelo

menos duas imagens consecutivas, avaliando se este está ou não em movimento consoante a

variação da sua intensidade for grande ou pequena. Assim pode concluir-se que este método

é pouco sensível a variações de luminosidade, existindo no entanto alguns defeitos que convém

registar. Em objectos relativamente grandes e de textura homogénea, os pixels centrais do in-

terior dos objectos são vistos como uma região que não se move, pois a sua variação ao longo

de algumas imagens é muito baixa ou mesmo nula. Como consequência disso, apenas serão

identificadas como zonas em movimento as que estiverem próximas dos contornos, deixando um

buraco dentro do objecto. Da mesma forma, no caso de movimentos exclusivamente horizon-

tais, os contornos horizontais de um objecto também não serão identificados como estando em

movimento.

Após o estudo das quatro técnicas enumeradas, estas três anteriores apresentaram-se como

as menos adequadas à segmentação que era pretendida para este trabalho. De facto, as se-

quências de imagens usadas para teste mostram zonas em movimento que nem sempre apresen-

tam um bom contraste com o fundo, dificultando deste modo a modelização estatística. Por

outro lado, os algoritmos de fluxo óptico, podem, ser usados numa inicialização da segmentação

[Dorthe Meyer and Niemann(1997)], mas pecam por serem computacionalmente muito pesados.

A diferenciação temporal pode ser usada em combinação com técnica da subtracção de fundo,

mas apenas em condições específicas (objectos pequenos, movimentos em várias direcções - ver


[Robert T. Collins(2000)]).

Desta forma a técnica escolhida para a segmentação da imagem em zonas de fundo e de

movimento foi a de subtracção de fundo, que será apresentada e explicada de seguida.

3.1.2 Subtracção do fundo

A técnica de segmentação por subtracção do fundo consiste em subtrair à imagem que se quer

segmentar (I) uma imagem de fundo (B). Por imagem de fundo entende-se uma imagem sem a

presença do objecto movente. A diferença entre esta imagem e uma com o objecto em movimento

é apenas esse mesmo objecto, e assim se consegue obter apenas a região da imagem que está em

movimento (BS).

BS = |I −B| (3.1)

Este método é, no entanto, muito sensível a variações da posição da câmara e de luminosidade,

pois logo o fundo da imagem em análise se torna diferente da imagem de fundo. Para ultrapassar

tais obstáculos pode recorrer-se a uma imagem de fundo adaptativa que será dinamicamente

actualizada de forma a compensar as variações referidas (ver “Método adaptativo”). Com o

mesmo objectivo pode ser introduzido um limiar para a diferença de imagens, ou seja, uma

região só será considerada região em movimento se a sua diferença para a imagem de fundo for

superior a um determinado limiar, definido constante ou alterado dinamicamente.

BS : |I −B| > T (3.2)

No âmbito deste trabalho estamos perante uma aquisição de imagens em ambiente controlado —

a iluminação é constante — pelo que se recorreu ao método mais básico de subtracção de fundo:

3.1. DETECÇÃO DE MOVIMENTO 15

foi recolhida uma imagem de fundo, sem nenhuma pessoa em cena, e seguidamente, nas mesmas

condições do início, foi adquirida a sequência de imagens com uma pessoa em marcha. A imagem

de fundo é portanto usada para a segmentação de todas as imagens da sequência, e o limiar da

diferença de imagens é igualmente constante.

3.1.3 Método adaptativo

Em condições de alguma variação de luminosidade em que seja impossível manter um ambiente

controlado (por exemplo, devido a um sistema inadequado de iluminação), sugere-se o uso de

uma imagem de fundo adaptativa bem como um limiar para a diferença de imagens variante com

o tempo. A imagem de fundo será actualizada ponderando a imagem de fundo actual e os pixels

que ao longo da sequência menos se movem. O método sugerido em [Robert T. Collins(2000)] é

composto pelas seguintes equações:

Bn+1 =

⎧⎪⎪⎨⎪⎪⎩αBn + (1− α) In se pixel está parado

Bn se pixel está em movimento

n = 1, 2, 3, ..

0 < α < 1

(3.3)

Tn+1 =

⎧⎪⎪⎨⎪⎪⎩αTn + (1− α) (5 |In −Bn|) se pixel está parado

Tn se pixel está em movimento

. (3.4)

em que α é uma constante de tempo que especifica a rapidez com que ocorrem mudanças de

imagem para imagem. Para cada pixel (x) parado, se α for maior que 0.5, é dada maior

importância ao fundo actual e este terá maior peso na próxima imagem de fundo (Bn+1(x)). Se

for inferior a 0.5, a próxima imagem de fundo terá maior presença de pixels “novos” considerados

parados. A mesma regra é aplicada à actualização do limiar adaptativo (Tn(x)). Deste modo

as variações de luminosidade serão permanentemente absorvidas pela imagem de fundo, fazendo


com que a diferença desta para a imagem seguinte seja sempre a menor possível.

3.2 Regiões em movimento e operações morfológicas

Devido ao facto de a segmentação resultante da subtracção de fundo não ser perfeita, foi preciso

recorrer a técnicas que de alguma forma aperfeiçoassem esse resultado de modo a conseguir-se

uma silhueta do objecto em movimento sem buracos e de contornos o mais regulares possível.

O método proposto em [Kameda and Minoh(1996)] baseado no agrupamento de pixels em

movimento, pode ser um bom ponto de partida. Uma boa forma de eliminar o ruído que

persistisse da subtracção do fundo e de ao mesmo tempo preencher espaços que não tivessem

sido vistos como regiões em movimento, seria analisar as vizinhanças de cada pixel da imagem

de subtracção de fundo. Se na vizinhança de cada pixel existir um número mínimo de pontos

considerados pontos em movimento, todos os vizinhos desse pixel passarão a ser considerados

moventes. Caso contrário, todos os pixels desse bloco serão eliminados. Torna-se então necessário

definir uma vizinhança adequada, para evitar que pontos de ruído sejam agregados a pontos

de movimento, e tentar que o maior número de buracos interiores aos objectos moventes seja

preenchido.

Um outro conjunto de operações que permite preencher buracos dos objectos ou eliminar

ruído exterior aos mesmos, é o das operações de filtragem morfológica no qual se inserem os

filtros de abertura e fecho. Este filtros apresentam bons resultados quando operam sobre imagens

binárias (apenas com dois níveis de intensidade) pelo que é necessário binarizar ou a silhueta

resultante das regiões em movimento, ou já a resultante da subtracção de fundo. Sobre uma

imagem binária, os filtros de fecho, numa primeira fase, expandem os pixels a preto até aos

3.2. REGIÕES EM MOVIMENTO E OPERAÇÕES MORFOLÓGICAS 17

limites de uma determinada vizinhança (normalmente definida por um elemento estruturante

onde é especificada a extensão da vizinhança e a sua forma — disco, quadrado, linha, etc). A

esta fase chama-se erosão, pois as áreas a branco com pequenas dimensões serão erodidas pela

expansão dos pixels das zonas pretas. De seguida é aplicado o mesmo processo aos pixels que

ainda persistirem das zonas a branco — fase conhecida por dilatação. Assim são eliminadas zonas

de ruído externo ao objecto e são mantidas as suas dimensões.

Os filtros de abertura são em tudo idênticos aos de fecho mas invertem a ordem de aplicação

das fases de erosão e dilatação. Desta forma conseguem-se preencher espaços internos ao objecto

mantendo também as suas dimensões.

Capítulo 4

Caracterização do movimento

4.1 Introdução

A caracterização do movimento da marcha humana passa pelo seguimento temporal dos pontos

fundamentais já referidos (anca, joelho e tornozelo). As trajectórias destes pontos serão tanto

mais verdadeiras quanto mais rigorosos forem os métodos de seguimento. Nesta fase, há uma

aproximação muito grande dos domínios da análise de imagem e da medicina, no que concerne

à informação retirada da sequência de vídeo. O diagnóstico e a análise clínica feita pelo médico

ou técnico de saúde estão fortemente dependentes do rigor e fiabilidade do seguimento. Dada a

responsabilidade e exigência postas nesta fase, foi necessário de entre muitas técnicas disponíveis

para o efeito, escolher a(s) mais adequada(s).

Existe já um vasto grupo de metodologias para o seguimento de objectos ou pontos em

movimento, e das quais se destacam as seguintes [Liang Wang(2002)]:

• figura de paus (stick figure) — técnica que implica a prévia obtenção da silhueta do objecto,

19

20 CAPÍTULO 4. CARACTERIZAÇÃO DO MOVIMENTO

a partir da qual se obtem o esqueleto. A esqueletização pode ser feita com a transformada

de distância (distance transform) ou com a transformada de eixos médios (medial axis

transform). Depois de identificadas as juntas ósseas no esqueleto, estas são ligadas por

segmentos de recta semelhantes a palitos.

• contornos — o seguimento dos contornos é muitas vezes aplicado ao seguimento e identifi-

cação de pessoas num determinado espaço. Resultante de uma boa segmentação, é uma

técnica muito usada também na análise da marcha. É também usada a técnica de segui-

mento por contornos activos, também conhecida por snakes. Estes são contornos que se

adaptam aos contornos reais dos objectos de uma forma dinâmica até atingirem um ponto

óptimo de paragem.

• regiões — o seguimento de regiões consiste numa correspondência (matching) entre um

modelo do elemento a seguir (template) e a imagem em que este se encontra. Essa cor-

respondência é feita através de uma correlação que deverá ser máxima no ponto em que

o padrão for encontrado. Existe também o seguimento de regiões pela análise das suas

propriedades e identificação das suas características (pontos, linhas, pontos de canto, cur-

vatura de pontos, etc).

Como forma de apoiar estas metodologias, existem ferramentas matemáticas que robustecem

o seguimento: filtro de Kalman, Algoritmo de Condensação, Redes Bayesianas Dinâmicas, entre

outras.

A escolha para a implementação de um algoritmo de seguimento com recurso a marcadores

recaiu sobre o seguimento de regiões (mais especificamente, o método de Template Matching).

4.2. TÉCNICA BASEADA EM REGIÕES - TEMPLATE MATCHING 21

Esta escolha torna-se óbvia quando temos como objectos de seguimento vários círculos, que

correspondem aos marcadores, sendo apenas necessário escolher o modelo do círculo e restringir

a área de correlação (ou de pesquisa) para que falsos pontos não sejam detectados. Para isso

e para resolver problemas que se prendem com a eventual oclusão de alguns marcadores, foi

escolhido o filtro de Kalman, cuja teoria será explicada no capítulo 4.3.

A abordagem sem recurso a marcadores baseia-se nos contornos e no esqueleto do objecto em

movimento. Esta metodologia também faz uso do filtro de Kalman e será devidamente explicada

e ilustrada no capítulo 4.4.

4.2 Técnica baseada em regiões - Template Matching

O algoritmo de template matching (ou block matching) baseia-se na correspondência entre um

modelo T e uma imagem I na qual este modelo possa ser identificado. Neste trabalho pretende-

se identificar os marcadores colocados na perna do caminhante. Para tal foi preciso definir um

modelo dos marcadores que correspondem aproximadamente a círculos brancos. Assim é definida

uma imagem de um círculo com o tamanho aproximado aos pontos dos marcadores visíveis na

imagem, e feita uma correlação matemática entre a matriz de intensidades da imagem e a matriz

de intensidades do modelo. Para cada posição do modelo (cada ponto da imagem) a correlação

é calculada pela multiplicação das intensidades do modelo e da imagem e pela soma desses

valores, sendo o resultado atribuído à posição na qual está centrado o modelo. Espera-se que

a correlação seja máxima nas posições em que se encontram os marcadores. A correlação num


bloco de dimensões MxN centrado em (i, j) é dado pela seguinte expressão:

Ci,j =

M/2Xk=−M/2

N/2Xl=−N/2

I (i+ k, j + l)T (k, l) (4.1)

Numa primeira abordagem, a correlação foi feita num só varrimento da imagem (rasto de TV

— de cima para baixo, da esquerda para a direita). No entanto um problema surgiu: dada a

pequena dimensão dos marcadores, e consequentemente do modelo, eram identificados também

pontos que nada tinham a ver com os marcadores — por exemplo, pontos pertencentes a zonas

claras, quase brancas como os marcadores. Tornou-se então necessário restringir a área de

pesquisa onde é efectuada a correspondência. A restrição da zona de pesquisa é importante não

só para evitar falsas correspondências, mas também para diminuir o tempo de processamento

computacional do algoritmo1.

Essa restrição foi feita, inicialmente, com a segmentação da imagem de movimento, usando

a técnica de subtracção de fundo, excluindo automaticamente as zonas de fundo. Por forma a

reduzir ainda mais a área de pesquisa (e também para resolver outros problemas de análise de

imagem) foi usado nas restantes imagens da sequência o filtro de Kalman que será apresentado

nas próximas páginas.

4.3 Filtro de Kalman vs Oclusão

O filtro de Kalman é uma ferramenta matemática inserida na área da teoria dos sistemas que tem

como principal função a estimação recursiva do estado de um dado sistema, através de métodos

estatísticos e de forma a minimizar o erro quadrático médio [Welch and Bishop(2004)]. Em cada

1Para optimização da pesquisa em imagens de alta resolução ver [António Mourão and Mendonça(2000)].

4.3. FILTRO DE KALMAN VS OCLUSÃO 23

iteração o filtro é capaz de prever o próximo estado de uma certa variável, sendo posteriormente

feita uma medição e uma actualização do estado da mesma. No entanto, o filtro de Kalman

impõe algumas restrições:

• o sistema deve ser linear ou, pelo menos, linearizável em torno de um certo ponto ;

• o ruído inerente ao sistema e às medições deve ser ruído branco de média nula e variância

constante.

O carácter recursivo do filtro permite, para além de um baixo custo computacional, pois em

cada iteração só é considerada a informação do estado anterior, também aperfeiçoa a estimação

com a evolução dinâmica do sistema. É um filtro há muito usado na análise de imagem pois

permite estimar posições e velocidades de elementos numa sequência de imagens, com uma

grande aproximação aos valores reais, e de uma forma rápida, sendo mesmo indicado para

aplicações em tempo real.

Na aplicação do filtro de Kalman é necessário definir inicialmente um modelo do sistema

que deve descrever o melhor possível a sua dinâmica. Esse modelo está incluído na equação da

dinâmica do sistema:

xt = Φxt−1 + ηt−1 (4.2)

Esta equação relaciona as variáveis de estado do sistema do instante anterior com as do instante

actual através da matriz Φ correspondente ao modelo do sistema. O sistema é afectado por

ruído branco de média nula e variância constante Q, e está representado na equação 4.2 pela

matriz η. É ainda necessário definir um modelo de medição que é incluído na equação seguinte:

ut = H.xt + ξt (4.3)


onde H é a matriz do modelo de medição que nos indica quais as variáveis do sistema que

são observáveis. Este modelo é também afectado por ruído branco de média nula e variância R,

representado na equação 4.3 pela matriz ξ. Na aplicação do filtro de Kalman à análise da marcha

humana, neste trabalho em particular, foram escolhidas para variáveis de estado as posições e

as velocidades dos pontos respectivos aos marcadores. As variáveis observáveis são apenas as

posições, visto ser impossível determinar numa imagem a velocidade de um determinado ponto.

A recursividade do filtro de Kalman está acente essencialmente em duas fases principais:

fase de previsão e fase de actualização.

Na fase de previsão é feita uma extrapolação do estado do sistema no próximo instante de

tempo a partir do conhecimento das variáveis de estado no instante actual. A simbologia relativa

às variáveis usada nas seguintes equações foi estabelecida da seguinte forma:

ˆ : associado à estimação

− : associado à previsão

+ : associado à medição

T : matriz transposta

I : matriz identidade

A previsão é então feita através das seguintes equações:

Previsão de Estado : x̂−t = Φx̂+(t−1) (4.4)

Previsão de Covariância : P−t = ΦP+(t−1)Φ

T +Qt (4.5)

4.3. FILTRO DE KALMAN VS OCLUSÃO 25

onde P é a matriz de covariância do sistema cujo significado será explicado mais à frente. A

fase de actualização é descrita pelas seguintes equações:

Ganho de Kalman: Kt = P−t HT£HP−t H

T +Rt¤−1

(4.6)

Actualização de Estado: x̂+t = x̂−t +Kt

£ut −Hx̂−t

¤(4.7)

Actualização de Covariância: P+t = [I −KtH]P−t (4.8)

Nesta fase são já conhecidas as medidas feitas ao sistema, ou seja, as variáveis de estado ob-

serváveis do vector ut da equação 4.3. A diferença£ut −Hx̂−t

¤da equação 4.7 é conhecida

por medida de inovação ou resíduo pois reflecte a discrepância entre a previsão e as medições

efectuadas. Pela equação 4.6 conclui-se que quanto menor for a variância do ruído da medição

Rt, maior será o peso dado pelo ganho de Kalman ao resíduo. Por outro lado, quanto menor for

P−t , menor peso será dado pelo ganho de Kalman ao resíduo. Dito de outro modo, terá maior

peso na fase de actualização a grandeza (medição ou previsão) que apresentar menor incerteza.

A matriz P reflecte a confiança que se pode depositar na estimação das variáveis de estado, ou

por outras palavras, a incerteza existente quanto à posição e velocidade.

Dado o facto de os marcadores se encontrarem colocados em zonas articulares com compor-

tamentos dinâmicos e posições diferentes, será necessário aplicar um filtro a cada marcador. Nas

especificações da dinâmica de cada marcador o modelo de transição de estados será igual para os

três, mas é necessário particularizar as matrizes de variância do erro de posição e velocidade Q.

Esta matriz parte de um conhecimento prévio do sistema e é definida com os valores respectivos


às variações da posição e velocidade segundo as direcções x e y:

Q =

⎡⎢⎢⎣ σ2r 00 σ2v

⎤⎥⎥⎦ ; σ2r =⎡⎢⎢⎣ σ2r_xx 0

0 σ2r_yy

⎤⎥⎥⎦ ; σ2v =⎡⎢⎢⎣ σ2v_xx 0

0 σ2v_yy

⎤⎥⎥⎦ (4.9)σ2r e σ

2v são matrizes com as variações previsíveis da posição e da velocidade segundo das duas

direcções ortogonais x e y. Pode ainda ser incluída informação sobre as direcções diagonais

xy e yx caso o conhecimento do sistema o permita. As unidades nas quais estas variações

são expressas podem ser, para a posição, o pixel ou o metro, e para a velocidade, o pixel por

segundo ou o metro por segundo, ou também o pixel por imagem ou o metro por imagem. Tanto

as unidades temporais como o conhecimento das variações de posição e velocidade dependem da

frequência de aquisição da câmara usada e da análise atenta da sequência adquirida.

Um dos problemas no seguimento dos marcadores usando técnicas baseadas em correspondên-

cia de regiões, é a oclusão dos marcadores provocada pelo balancear dos braços do indivíduo

quando este caminha. Na sequência de imagens da marcha humana natural, sem restrições, há

situações de oclusão dos marcadores que podem durar até três imagens, o que significa que o al-

goritmo de detecção de marcadores não os identifica nesse período de tempo. Uma solução para

esse problema consiste em aproveitar o carácter estimativo do filtro de Kalman, para estimar as

posições dos marcadores.

Outro problema enunciado no capítulo anterior e que também pode ser resolvido com o filtro

de Kalman tem a ver com a necessidade de diminuição da área de pesquisa dos marcadores de

forma a evitar que sejam feitas correspondências falsas entre o modelo dos marcadores e zonas

com a mesma intensidade. A abordagem feita em [Correia(1995)] sugere o uso da matriz P para

a definição de uma área de pesquisa mais restritiva. Como esta matriz reflecte a incerteza acerca

4.4. MÉTODO PROPOSTO 27

da posição e da velocidade do marcador em análise, pode projectar-se uma elipse de pesquisa

com base nos valores e vectores próprios da componente σ2r de P . No instante inicial P será

igual a Q pois a incerteza inicial é igual à variância do erro de posição.

Pt=0 =

⎡⎢⎢⎣ σ2r 00 σ2v

⎤⎥⎥⎦ (4.10)Os vectores próprios de σ2r indicarão as direcções dos eixos da elipse, e os seus valores próprios o

comprimento desses eixos. Quanto maior for a incerteza sobre a posição do marcador, maior será

a área de pesquisa. Este método permite o projecto de uma área com dimensões suficientemente

grandes para que se evite perder o rasto ao marcador, e que ao mesmo tempo elimine áreas onde

pudessem ocorrer falsas correspodências. No capítulo 5 serão abordadas questões específicas da

implementação dos métodos apresentados, bem como os resultados ilustrativos e comparações

entre metodologias.

4.4 Método Proposto

Como foi visto anteriormente as técnicas baseadas em regiões são bastante adequadas para o

seguimento dos marcadores, no entanto não podem ser usadas na abordagem sem marcadores.

Para este efeito propõe-se neste capítulo um método que visa identificar em cada imagem os

pontos de análise (anca, joelho e tornozelo) sem recurso à informação dada pelos marcadores.

O método baseia-se na análise da silhueta resultante da segmentação e na inclusão de in-

formação anatómica do corpo humano. De facto a silhueta e os seus contornos constituem

a informação mais valiosa e mais verdadeira sobre o indivíduo. Se a esta informação for adi-

cionado conhecimento sobre os segmentos do corpo humano, é possível desenvolver um algoritmo


de seguimento sem marcadores com alguma robustez.

Vários estudos sobre a anatomia humana contribuíram para um conhecimento aprofundado

sobre as características dimensionais do corpo humano [Yoo and Nixon(2003)]. Actualmente

é sabido que a altura a que se encontram as várias juntas ósseas de uma dada pessoa, está

relacionada com a altura da mesma através de uma proporção que pode ser generalizada com

bastante fiabilidade. No caso de uma pessoa com altura H, as proporções que indicam a altura

e as distâncias de algumas juntas ósseas são:

Tabela 4.1: Valores das distâncias e alturas anatómicasAltura Distância ao ponto anterior

Cabeça H −Pescoço 0.870H 0.13HOmbro 0.818H 0.052HCintura 0.530H 0.288HPélvis 0.480H 0.05HJoelho 0.285H 0.195HTornozelo 0.039H 0.246H

Esta informação anatómica é um bom ponto de partida para a determinação dos pontos

característicos, pois é informação que não se altera durante a sequência de imagens.

Numa fase inicial é feita uma medição da altura do indivíduo através da determinação dos

limites superior e inferior da silhueta. Depois inicia-se uma fase iterativa de determinação da

linha correspondente ao centro da silhueta. Nessa fase serão determinados os pontos das juntas

ósseas mencionados acima, mas só até à pélvis, pois o movimento das pernas é demasiado

complexo e requere outro tipo de abordagem. A determinação dos pontos até à pélvis é feito da

seguinte forma:

1. começando no topo da imagem, é feita a determinação do centro da cabeça; como a zona


Figura 4.1: Dimensões anatómicas da perna de um indivíduo com 1,8m de altura

de altura máxima do indivíduo não corresponde a um só ponto, é necessário encontrar

primeiro o limite direito e depois o limite esquerdo da linha de altura máxima, para só

então determinar-se a posição média.

2. esta posição média será usada como ponto de partida na linha seguinte para a nova de-

terminação dos limites direito e esquerdo; assim estes limites serão encontrados a partir

de um ponto interior à silhueta, tornando-se a determinação dos limites imune ao ruído

exterior (de ocorrência mais provável que o ruído interior); pode então ser calculado o

ponto central através da média das posições dos limites calculados.

3. em cada linha, logo após a determinação do seu ponto central, é calculada a distância

euclideana ao último ponto característico determinado — que inicialmente será apenas o

centro da cabeça ; se essa distância for maior ou igual ao comprimento anatómico calculado,

então esse ponto é marcado como ponto característico e servirá de referência para os pontos


calculados a partir dele.

4. as duas últimas fases são repetidas até estar determinado o ponto correspondente à pélvis.

A fase seguinte consiste numa análise de imagem mais complexa na qual é necessário extrair

informação sobre a posição de cada perna, a partir da silhueta segmentada previamente. Neste

caso não é possível aplicar o algoritmo anterior, porque quando as pernas estão relativamente

próximas, a silhueta torna-se uma zona homogénea onde é de todo impossível diferenciar as duas

pernas. Desta forma a única fonte de informação credível são os contornos da silhueta.

Esta segunda etapa está faseada da seguinte forma: primeiro é determinada a posição do

joelho direito a partir do contorno direito da silhueta2, e a partir dessa posição é depois de-

terminada a do tornozelo da mesma perna, também a partir do contorno direito. O mesmo

procedimento é feito para a outra perna, mas tendo por base os contornos esquerdos.

Para ser bem sucedida, esta abordagem necessita de medições iniciais cruciais para a de-

terminação da posição dos vários pontos: a distância do contorno ao centro do joelho dcj e a

distância do contorno ao centro do tornozelo dct, que se supõem iguais para as duas pernas.

Estas medições devem ser feitas numa imagem que apresente uma silhueta em que as pernas

estejam juntas. A dcj é determinada pela metade da largura das pernas na altura dos joelhos,

e a dct por uma medida ligeiramente inferior à da djt3.

Para a determinação da posição do joelho direito é utilizado um método de identificação do

2Quando se menciona joelho e contorno direitos, refere-se ao que é visível na imagem. Nem sempre o que estámais à direita na imagem corresponde à perna direita.

3No âmbito deste trabalho estas medidas são feitas de um modo automático mas pouco rigoroso, não havendo,no entanto, influência no desempenho dos algoritmos. No contexto de uma aplicação clínica, o rigor pode serincluído pelo ajuste manual deste parâmetros, bem como os das distâncias entre juntas ósseas. Interessa realçara robusteza do método, que permite esse ajuste — que é indispensável na análise e diagnóstico clínicos — semalterações ao desempenho das metodologias e à fiabilidade dos resultados.


contorno com base numa pesquisa radial feita pelo deslocamento de um pêndulo, como mostra

a figura 4.2(a). A posição inicial desse pêndulo é de zero graus, estando a sua origem fixada no

ponto respectivo à pélvis. O seu percurso será feito no sentido angular negativo (sentido dos

ponteiros do relógio) e dar-se-á por terminado quando encontrar o contorno da perna. O arco a

descrever do contorno até à posição do joelho é dado pela distância dcj.

O mesmo procedimento é usado na obtenção da posição do tornozelo direito (ver figura

4.2(b)), mas desta vez usando um pêndulo centrado no joelho direito, com um comprimento

igual à distância anatómica do tornozelo ao joelho (0.246H).

Para a determinação da posição do joelho e tornozelo esquerdos, o procedimento é em tudo

idêntico ao utilizado para a perna direita, sendo as únicas alterações feitas na posição inicial de

cada pêndulo e no sentido angular do seu deslocamento.

(a) (b)

Figura 4.2: Pesquisa radial dos pontos característicos


Com a implementação e teste do algoritmo chegou-se à conclusão que a simples identificação

dos pontos não é suficiente. Em muitas situações a identificação não respeitava as limitações

físicas inerentes ao corpo humano, nomeadamente os ângulos entre os segmentos de cada perna.

É sabido que o joelho tem uma flexão e uma extensão máximas o que equivale a dizer que o

ângulo da tíbia não deve ultrapassar o ângulo do fémur quando a abertura da perna é feita

no sentido do movimento. Na fase de contacto inicial (ver figura 2.1) onde ocorre a extensão

máxima dos dois joelhos, é necessário assegurar ângulos máximos de extensão. Esta restrição é

muito importante para corrigir a posição do joelho e do tornozelo da mesma perna.

Nesta metodologia de análise dos contornos surge uma outra situação crítica que corresponde

ao momento em que as pernas se cruzam. As posições das juntas ósseas de cada perna dependem

dos contornos respectivos pelo que, quando ocorre o cruzamento das pernas, é necessário efectuar

a mudança do contorno de análise, de forma a fazer-se o seguimento correcto de cada perna. Se

assim não fosse, o resultado apresentaria um movimento restringido e ambíguo.

Após um estudo de várias possibilidades, chegou-se à conclusão que a melhor forma de fazer

esta comutação de contornos passa pela determinação da distância euclideana entre juntas ósseas

de ambas as pernas. Quando a distância dos dois joelhos e, ao mesmo tempo, a distância dos

dois tornozelos for inferior a um dado valor, passa a considerar-se, a partir da imagem seguinte,

o contorno direito para a perna esquerda, e o contorno esquerdo para a perna direita. Sempre

que estas distâncias forem mínimas, esta comutação ocorrerá.

Na realidade, a comutação de contornos pode ocorrer mais que uma vez num curto intervalo

de tempo, pois a condição de comutação pode ser cumprida várias vezes até que os pontos se

afastem o suficiente. Para evitar esse problema, é usado um contador auxiliar que nos indica há


quantas imagens foi feita a última comutação. Assim esta só será realizada se tiver passado o

“tempo” considerado suficiente.

Como foi visto, nesta abordagem é exigida uma boa segmentação do corpo em movimento

para que exista o mínimo de ruído interior e exterior ao corpo. Se por um lado as medições podem

tornar-se menos rigorosas que as do método com marcadores, este método tem a vantagem de

permitir a extracção de informação sobre as duas pernas ao mesmo tempo, tornando ainda

dispensável a colocação dos marcadores no corpo do indivíduo.

Capítulo 5

Implementação e Resultados Obtidos

5.1 Aquisição da marcha

Todos os algoritmos de análise e processamento de imagem, bem como o filtro de Kalman, foram

implementados usando a linguagem de programação e a toolbox do Matlab 6.5. A sequência de

imagens usadas para o desenvolvimento e teste dos vários algoritmos foi adquirida no Centro

de Reabilitação Profissional de Gaia com uma câmara digital Canon MV730i a uma taxa de 25

imagens por segundo. Durante a aquisição a câmara manteve-se fixa e foi colocada de modo a

que o seu eixo óptico fosse perpendicular ao plano sagital do indivíduo. A trajectória foi feita

do modo mais rectilíneo possível para evitar erros de perspectiva que prejudicariam as medições

feitas sobre as imagens.

Foram usado marcadores de cartão em forma de círculos com côr amarela fluorescente e de

diâmetro aproximado de 6 cm. Com máximo de rigor possível, foram colocados três marcadores

conforme indicado no capítulo "Métodos de análise da marcha"(ver figura 5.1):

35

36 CAPÍTULO 5. IMPLEMENTAÇÃO E RESULTADOS OBTIDOS

Figura 5.1: Colocação dos marcadores reflectores

1. o primeiro foi colocado na zona correspondente ao centro de rotação da anca

2. o segundo colocado perpendicularmente ao eixo de rotação do joelho (e1)

3. o terceiro colocado no maléolo lateral (LM).

5.2 Análise com marcadores

Na análise feita com marcadores é inicialmente realizada uma subtracção de fundo para a de-

tecção das posições iniciais dos marcadores. A primeira imagem da sequência é subtraída a uma

imagem de referência que foi capturada antes de o caminhante aparecer em cena (figura 5.2).

Sobre esta imagem segmentada é feita uma correspondência com o modelo dos marcadores,

de modo a identificar as coordenadas iniciais dos três pontos característicos. Estas coordenadas

são depois usadas pelos filtros de Kalman que farão o seguimento ao longo da sequência. Como

5.2. ANÁLISE COM MARCADORES 37

Figura 5.2: Subtracção do fundo

foi dito em capítulo anterior, será usado um filtro de Kalman para cada ponto. O modelo

dinâmico definido é, no entanto, igual para todos, e é representado pela matriz Φ. As variáveis

de estado usadas encontram-se dispostas no vector xt da seguinte forma:

xt =

⎡⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣

xx

xy

ẋx

ẋy

⎤⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦;

xx/y : posição

ẋx/y : velocidade

; Φ =

⎡⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣

1 0 1 0

0 1 0 1

0 0 1 0

0 0 0 1

⎤⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦(5.1)

Assim a equação da dinâmica do sistema (4.2) pode ser representada sob forma das equações da

velocidade e posição de um movimento linear (5.2 e 5.3). A equação da posição (5.3) é obtida

por integração da velocidade (5.2) considerando um intervalo de tempo unitário. Na realidade o

movimento de cada marcador não é linear, na medida em que tem diferentes fases de aceleração.

A fase de balanço é um bom exemplo de um período em que a variação da velocidade é notória,

principalmente do tornozelo. No entanto, dado o intervalo de tempo entre imagens ser muito

curto, não são possíveis trajectórias muito grandes, sendo assim considerado o movimento linear.

ẋt = ẋt−1 (5.2)

xt = xt−1 + ẋt−1 (5.3)


Omodelo de medição referido na equação 4.3 pela matrizH corresponde ao conjunto de variáveis

de estado observáveis, que, no presente caso, são apenas as posições segundo x e y:

H =

⎡⎢⎢⎣ 1 0 0 00 1 0 0

⎤⎥⎥⎦ (5.4)Foi também necessário definir as várias matrizes de variância do erro de posição e velocidade Q.

De acordo com a representação dada pela expressão 4.9 o conhecimento a priori das variações

da posição e da velocidade segundo cada direcção e para cada um dos marcadores, resulta nas

seguintes matrizes:

Qanca =

⎡⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣

122 0 0 0

0 62 0 0

0 0 32 0

0 0 0 22

⎤⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦; Qjoelho =

⎡⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣

132 0 0 0

0 62 0 0

0 0 52 0

0 0 0 32

⎤⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦

Qtornozelo =

⎡⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣

142 0 0 0

0 72 0 0

0 0 52 0

0 0 0 32

⎤⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦(5.5)

Focando agora a atenção na figura 5.3 é bem visível em cada ponto a elipse a azul que representa

a área de pesquisa em que cada filtro de Kalman operará. Esta elipse é projectada pela matriz

das incertezas P que representa a variância do erro de posição de cada marcador (ver capítulo

4.3). No restante processamento a correspondência é feita dentro de cada elipse, sendo que a

medição feita pelo filtro de Kalman corresponde à posição de correlação máxima. Na figura 5.3

os círculos a amarelo representam a identificação dos marcadores e as elipses a azul representam

5.2. ANÁLISE COM MARCADORES 39

Figura 5.3: Elipses iniciais de pesquisa do filtro de Kalman

a àrea de pesquisa projectada no instante anterior.Uma fase crítica na análise com marcadores é

o intervalo de tempo em que há oclusão do marcador da anca pelo braço do caminhante. Nesta

situação é usada uma heurística que condiciona a determinação da posição de máxima correlação.

É considerado um limite inferior para o valor da correlação e se a correlação for mais baixa que

esse limite (85% do valor máximo da correlação calculado inicialmente) a posição de máxima

correlação será o centro da elipse. Deste modo a correspondência continua verdadeira para as

situações onde não há oclusão e evita que nas situações de oclusão a correspondência seja feita

com pontos da periferia da elipse, o que corresponderia a uma falsa identificação do marcador.

A figura 5.4 ilustra com bastante clareza a fase da oclusão e o seguimento do marcador da anca.

Depois da aplicação do filtro de Kalman e concluído o seguimento dos três marcadores,

é retirada alguma informação para a avaliação clínica da marcha humana. De seguida serão

apresentados gráficos com informação sobre os vários instantes da sequência de marcha. O

primeiro gráfico corresponde à trajectória dos marcadores (5.5), os três seguintes representam


Figura 5.4: Oclusão do marcador da anca

informação angular de e entre cada segmento da perna(5.6(a)), e o último apresentado (5.6(b))

é o ciclograma.

5.3 Análise sem marcadores

A abordagem sem recurso aos marcadores implica uma segmentação prévia que, como foi visto no

capítulo 3, é composta, no essencial, pelas fases de: subtracção de fundo, agrupamento de pixels

em movimento e operações morfológicas. No entanto o resultado final da segmentação é obtido

só depois de uma combinação das imagens resultantes destas fases. O algoritmo desenvolve-se

nas seguintes etapas:

1. é obtida a imagem resultante da subtracção de fundo, imagem essa que contem bastante

5.3. ANÁLISE SEM MARCADORES 41

0 50 100 150 200 250 300−220

−210

−200

−190

−180

−170

−160

−150

−140

−130

−120estimaçaoactualizaçao

Figura 5.5: Gráfico da posição dos marcadores

ruído (fig. 5.7(a))

2. nessa imagem é feito o agrupamento de pixels com blocos de 9x9 (fig. 5.7(b))

3. esta imagem funciona como máscara e vai ser aplicada à imagem da subtracção de fundo

eliminando desta forma todo o ruído externo ao corpo (fig. 5.7(c))

4. é finalmente aplicado um filtro de abertura com um elemento estruturante em forma de

disco com raio 8 de forma a eliminar o ruído interno ao corpo (fig. 5.7(d)); esta operação

só poderia ser efectuada depois da filtragem do ruído externo (pontos 2 e 3).

De seguida serão apresentadas algumas imagens que ilustram a identificação dos pontos

característicos em ambas as pernas (figuras 5.8). As imagens apresentadas apesar de terem sido

adquiridas com marcadores, servem apenas para avaliar o erro da identificação dos pontos.

A informação retirada deste método está representada pelos gráficos da figura 5.9 - quer

para a perna direita quer para a perna esquerda.


0 5 10 15 20 25 30 35 40−40

−20

0

20

40Angulo a partir da anca

0 5 10 15 20 25 30 35 40−100

−50

0

50Angulo a partir do joelho

0 5 10 15 20 25 30 35 40100

150

200Angulo entre femur e tibia

(a)

−30 −20 −10 0 10 20 30−70

−60

−50

−40

−30

−20

−10

0

10

20

30Ciclograma

Angulo a partir da anca

An

gu

lo a

pa

rtir d

o jo

elh

o

(b)

Figura 5.6: Informação angular dos segmentos da perna

(a) (b)

(c) (d)

Figura 5.7: Etapas da segmentação

5.3. ANÁLISE SEM MARCADORES 43

Figura 5.8: Identificação dos pontos característicos

50 100 150 200 250 300−220

−210

−200

−190

−180

−170

−160

−150

−140

−130

−120Movimento da perna direita

estimaçaoactualizaçao

(a) perna direita

50 100 150 200 250 300−220

−210

−200

−190

−180

−170

−160

−150

−140

−130

−120Movimento da perna esquerda

estimaçaoactualizaçao

(b) perna esquerda

Figura 5.9: Gráficos com posições dos pontos característicos das duas pernas


0 5 10 15 20 25 30 35 40−40

−20

0

20


0 5 10 15 20 25 30 35 40−50

0

50Angulo a partir do joelho direito

0 5 10 15 20 25 30 35 400

50

100

150

200Angulo entre femur direito e tibia direita

(a) perna direita

0 5 10 15 20 25 30 35 40−40

−20

0

20


0 5 10 15 20 25 30 35 40−50

0

50Angulo a partir do joelho esquerdo

0 5 10 15 20 25 30 35 400

50

100

150

200Angulo entre femur esquerdo e tibia esquerda

(b) perna esquerda

Figura 5.10: Informação angular sobre os segmentos das duas pernas

−40 −30 −20 −10 0 10 20 30 40−50

−40

−30

−20

−10

0

10

20

30

40Ciclograma perna direita


An

gu

lo a

pa

rtir d

o jo

elh

o d

ire

ito

(a) perna direita

−40 −30 −20 −10 0 10 20 30 40−50

−40

−30

−20

−10

0

10

20

30Ciclograma perna esquerda


An

gu

lo a

pa

rtir d

o jo

elh

o e

squ

erd

o

(b) perna esquerda

Figura 5.11: Ciclogramas

Capítulo 6

Conclusões e Trabalho Futuro

Através da análise dos resultados obtidos pode concluir-se que o objectivo principal foi con-

seguido com sucesso. Foram desenvolvidas e combinadas metodologias que permitem extrair

informação sobre a marcha humana, presente numa sequência de imagens, de uma forma prática

e precisa.

Comparando as duas abordagens, com e sem marcadores, os resultados por cada uma ap-

resentados mostram que a primeira (com marcadores) é a mais fiável. De facto este método

apresenta o rigor máximo permitido pela qualidade das imagens, já que consegue identificar

plenamente a posiçao de todos os pontos característicos. Por outro lado, o método sem mar-

cadores está dependente da qualidade da segmentação da imagem bem como da identificação

dos pontos subjacentes aos pretendidos. Nesta abordagem os resultados não são tão fiáveis como

os apresentados pelo outro método, não sendo, no entanto, impossível o seu desenvolvimento a

fim de se aumentar a sua qualidade.

A falta de fiabilidade deste método está patente nos gráficos das trajectórias que demostram

45

46 CAPÍTULO 6. CONCLUSÕES E TRABALHO FUTURO

como há restrições físicas que não foram respeitadas. Para além disso, os gráficos com infor-

mação angular apresentam linhas pouco curvilíneas, impróprias de movimentos naturais. Nota-se

também que pequenas imperfeições nas medições são reflectidas com grande notoriedade pelos

gráficos dos ciclogramas. Estas imperfeições são provocadas, em parte, pela determinação do

ponto correspondente à pélvis. A posição deste ponto é influenciada pelo cruzamento dos braços

com o tronco, quando é calculado o centro da silhueta. Como a posição dos pontos das pernas é

dependente da posição da pélvis, o seu erro de posição será reflectido na identificação dos outros

pontos característicos.

Há, porém, todo o interesse em realçar práticas que possam de alguma forma robustecer o

desempenho dos dois métodos, especialmente o método sem marcadores. Estas melhorias po-

dem ser efectuadas quer a nível de harware quer de software ou algoritmia. A nível de harware

podem criar-se condições para uma melhor aquisição de imagens, tentando criar um ambiente

de iluminação o mais difusa possível, ou seja, sem focos apontados directamente ao objecto em

cena, por forma a evitar o aparecimento de sombras indesejáveis. Devem ser usados marcadores

de material fluorescente, e não apenas brancos ou pintados com tinta fluorescente. Podem tam-

bém ser usadas câmaras digitais com frequência de aquisição de imagens superior a 25 imagens

por segundo. Desta forma, por um lado, é conseguida uma análise mais pormenorizada da

marcha, e por outro, são reduzidos os erros na identificação dos pontos característicos, pois os

deslocamentos efectuados entre imagens passam a ser muito mais curtos. A nível de melho-

ramentos no software e nos algoritmos, destaca-se, em primeiro lugar, mas não de uma forma

extremamente necessária, o uso de uma linguagem de programação que proporcione um menor

custo computacional (C ou C++, por exemplo) como forma de melhorar o desempenho tendo

47

em vista uma aplicação real. A complexidade dos algoritmos desenvolvidos em Matlab é, no

entanto, perfeitamente compatível com a fase de prototipagem. Em segundo lugar, e com vista

a um melhoramento do método sem marcadores, deve ser estudada a possibilidade de se in-

cluirem outras variáveis de estado no filtro de Kalman. Essas novas variáveis podem passar por

informação angular respectiva a cada segmento de cada perna (e não apenas à posição de cada

ponto): inclinação, deslocamento angular, entre outras. Por último, deve ser aperfeiçoada a fase

da segmentação de imagem, trabalho esse que pode ser bastante facilitado se forem trabalhadas

as condições de iluminação e aquisição de imagem.

As metodologias apresentadas podem ter aplicações várias ainda no âmbito da análise da

marcha, como, por exemplo, a visualização tridimensional dos movimentos da marcha ou o uso

da informação retirada da análise num classificador para ajuda ao diagnóstico. Na primeira

aplicação os métodos aqui apresentados são aplicados a pelo menos duas sequências de imagens

adquiridas com câmaras de diferentes direcções, sendo necessário fazer a posterior conjugação

da informação e a modelização computacional a três dimensões. Na segunda aplicação podem

ser usadas redes neuronais ou HMM (Hidden Markov Models) para desenvolver um classificador

da marcha, que, com recurso a uma base de dados, será capaz de classificar automaticamente a

marcha como contendo ou não patologias.

48 CAPÍTULO 6. CONCLUSÕES E TRABALHO FUTURO

Bibliografia

[ISB(2002)] ISB recommendation on definitions of joint coordinate system of various joints for

the reporting of human joint motion - part i: Ankle, hip, and spine. Journal of Biomechan-

ics, (35):543—548, 2002.

[António Mourão and Mendonça(2000)] P. M. P. António Mourão and A. M. Mendonça. Track-

ing in high temporal resolution image sequences using block matching techniques. In REC-

PAD2000, pages 179—183. 11th Portuguese Conference on Pattern Recognition, May 2000.

[Correia(1995)] M. V. Correia. Análise de movimento em sequências de imagens. Master’s

thesis, Faculdade de Engenharia da Universidade do Porto, Fevereiro 1995.

[Dorthe Meyer and Niemann(1997)] J. D. Dorthe Meyer and H. Niemann. Model based extrac-

tion of articulated objects in image sequences for gait analysis. 1997.

[Goswami(1998)] A. Goswami. A new gait parameterization technique by means of cyclogram

moments: Application to human slope walking. August 1998.

[Kameda and Minoh(1996)] Y. Kameda and M. Minoh. A human motion estimation method

using 3-successive video frames. 1996.

49

50 BIBLIOGRAFIA

[Liang Wang(2002)] T. T. Liang Wang, Weiming Hu. Recent developments in human motion

analysis. May 2002.

[Robert T. Collins(2000)] T. K. Robert T. Collins, Alan J. Lipton. A system for video surveil-

lance and monitoring. 2000.

[Welch and Bishop(2004)] G. Welch and G. Bishop. An introduction to kalman filter. April

2004.

[Yoo and Nixon(2003)] J.-H. Yoo and M. S. Nixon. Markerless human gait analysis via image

sequences. 2003.

Documents

Faculdade de Engenharia da Universidade do Porto - …ee98236/relatorio.pdf · 2004. 12. 23. · A análise da marcha humana 2.1 Marcha Humana Como forma de familiarização com alguns