Human Body Tracking. Flávio Juvenal – fjsj Lais Varejão – lvv Natália Cabral – ncs Paulo...

Rastreamento de ObjetosHuman Body Tracking

Equipe

Flávio Juvenal – fjsj

Lais Varejão – lvv

Natália Cabral – ncs

Paulo Oliveira – phslfo

Victor Alencar - vaca

Victor Lorena – vlfs

Roteiro

Motivação

Definição

Histórico

Rastreamento de objetos

Human Body Tracking

Técnicas

Aplicações

Desafios atuais

Motivação

Computadores mais potentes, câmeras de

vídeo de alta resolução a baixo custo e

uma crescente necessidade de

automatizar a análise de vídeos geraram

um grande interesse por algoritmos de

rastreamento de objetos.

Definição

Rastreamento de objetos é o problema

de estimar a trajetória do objeto no plano

da imagem à medida que ele se move na

cena.

Histórico

Histórico

Rotoscoping

• Envolve captura e projeção

•Desenha quadro por

quadro

• Inventado por Max

Felischer em 1914

Rotoscoping

Vídeo Capturado Decalque

Rotoscoping

Pós Processamento

• Transformação em desenho animado

• Inclusão do cenário

Forma primitiva de captura de movimento

Histórico

Início dos anos 70: Uso Militar

• Rastreamento da cabeça dos pilotos

de avião em manobras de combate

1982: Animação de Personagens

• Foi desenvolvido uma dançarina

computadorizada usando captura de

movimento (The Catherine Wheel) http://rallen.design.ucla.edu/newvideo/cathrine_wheel_ex.mov

Histórico 1985: Animação de Personagens

• Propaganda com captura de

movimento no Superbowl

(Brilliance)http://www.youtube.com/watch?v=HZY5_ZzRdbk

Fim dos anos 80: Motion Capture

• Sistemas computadorizados

auxiliavam na captura da posição e

forma dos objetos no espaço

Histórico

Anos 90: Filmes de Hollywood• Titanic• Batman and Robin• Real Adventures of Jonny Quest• The Mummy, The Mummy Returns• Final Fantasy• Lord of the Rings

http://www.youtube.com/watch?v=-PpV1KJ0Wsw

Rastreamento

Etapas do Rastreamento

Detecção dos objetos

Rastreamento quadro a

quadro

Análise do rastreamento

Desafios

Perda de informação ao projetar de 3D

para 2D

Ruído em imagens

Objetos com movimentos e formas

complexas

Natureza articulada dos objetos

Oclusão parcial ou total do objeto

Mudança de iluminação da cena

Processamento em tempo real

Fatores relevantes

Representações do objeto

Escolha das características da imagem

Modelagem do movimento, da aparência e

da forma do objeto

Quantidade de objetos na cena

Movimentação da câmera

Condições de iluminação

Representação dos objetos

Pontos

• Adequada para acompanhar objetos que ocupam

pequenas regiões em uma imagem.

Representação dos objetos

Formas geométricas primitivas

• Embora sejam mais adequadas para o

rastreamento de objetos rígidos, também são

utilizadas no rastreamento de objetos não rígidos.

Representação dos objetos

Objetos com silhuetas e contornos

•Adequada para o rastreamento de formas não

rígidas complexas.

Representação dos objetos

Modelos de forma articulada

• Formas geométricas representam partes do corpo e

são agrupadas através articulações.

Representação dos objetos

Modelos esqueléticos

• Esqueletos de objetos extraídos a

partir da aplicação de transformação

do eixo medial da silhueta do objeto.

•Úteis na modelagem de objetos

rígidos e articulados.

Escolha de características da imagem

Deve-se buscar a unicidade do objeto Cor • Exemplo:

http://www.youtube.com/watch?v=1iwvL83Cumo&NR=1

Contornos • Exemplo:

http://www.youtube.com/watch?v=_Dln257k2Sc

Escolha de características da imagem

Fluxo óptico• Exemplo:

http://www.youtube.com/watch?v=Q3gT52sHDI4&feature=related

Textura• Exemplo:

http://www.youtube.com/watch?v=lhUfo4Cyfgs

Mecanismos de detecção do objeto

Único frame

Múltiplos frames

• Point Detector

• Background Subtraction

• Segmentation

• Supervised Learning

Point Detector

Qualidade do ponto de interesse = grau invariância,

quanto a iluminação e ponto de vista da câmera.

Utilizado para solucionar problemas de movimento.

Background SubtractionRepresentação por modelo de cenaCapta movimentação através da mudança significativa de qualquer região do fundo

Representação por modelo de cena

Capta movimentação através da mudança

significativa de qualquer região do fundo

Segmentation

O algoritmo busca a segmentação da imagem

Problemas da técnica:

•Definir se as imagens são parecidas

• Partição eficiente

Supervised Learning

Aprendizagem supervisionada de determinado objeto

Rastreamento de objetos

Objetivo

•Determinar a posição do objeto a cada frame

• Região completa da imagem

Tipos de rastreamento

• Tracking point

• Tracking kernel

• Tracking silhouette

Tracking Point

Objetos representados por pontos

O rastreamento inclui a posição do objeto e sua

velocidade

Requer um mecanismo externo para detectar objetos

em cada frame

Tracking Point

Tracking Kernel

Kernel refere-se à forma e a aparência do objeto

Pode ser um modelo retangular ou uma forma elíptica

Os objetos são rastreados pelo cálculo do movimento do

kernel em frames consecutivos

Este movimento é geralmente sob a forma de uma

transformação paramétrica, como tradução, rotação e

afins.

Tracking Kernel

Tracking Silhouette

Monitoramento é realizado por meio da estimativa da

região objeto em cada frame.

Métodos de Tracking Silhouette usam a informação

codificada no interior da região objeto, e estas são

chamadas de mapas de contorno.

Silhuetas são rastreadas por qualquer forma de

correspondência.

Tracking Silhouette / Edges

Human body tracking

Definição

É o processo de captura de movimento, a partir de

dados de atores representando várias ações

diferentes, assim como, a tradução do movimento

para um modelo digital.

Rastreamento sem marcadores

Como funciona?

1. Várias câmeras capturam o movimento dos

objetos na cena.

2. Para cada quadro, um software encontra o

contorno dos objetos nas diferentes imagens e

captura o movimento.

3. O software então analisa as características das

imagens e realiza a modelagem do clone 3D.

Rastreamento sem marcadores

Vantagens

Na captura de movimento com marcadores,

alguns se deslocam requerendo uma correção

manual. O uso sem marcadores evita a correção.

Permite que o ator use o próprio figurino.

Desvantagens

É necessário o uso de várias câmeras.

A área ainda está em pesquisa.

Rastreamento sem marcadores

Exemplo:

•New Scientist

http://www.youtube.com/watch?v=dTisU4dibSc

Rastreamento com marcadores

O movimento dos atores é

capturado através de

sensores localizados em suas

articulações e extremidades.

Deve-se evitar músculos

rígidos.

Etapas do rastreamento

Calibração da

Câmera

Calibração do

objeto

Captura de

movimento

Cleanup dos

dados

Processamento dos ângulos

das articulaçõe

s

Mapeamento dos

modelos

Rastreamento com marcadores

Exemplo:

• Captive Motion – The Process http

://www.youtube.com/watch?v=I6P710hHx9c

Técnicas

Inercial

Roupa que acopla acelerômetros como

sensores de movimento e giroscópios como

sensores de inclinação.

Muito usado por empresas desenvolvedoras

de jogos, devido a facilidade de uso.

Inercial

Vantagens

Flexibilidade e facilidade de uso

Dispensa câmeras

Não sofre interferência de campos luminosos

e magnéticos

Visualização em tempo real

Inercial

Desvantagens

Possui menor precisão

Falhas de posicionamento podem aumentar

com o tempo

Não podem ser usados na face

Inercial

Exemplo:

http://www.youtube.com/watch?v=OlKBdTR

F61w

Óptico

O ator veste marcações refletivas ou de luz própria

que são seguidas por um conjunto de no mínimo três

câmeras.

Um software fornece as coordenadas 3D dos

refletores, a partir das imagens 2D geradas pelas

câmeras.

Óptico

Vantagens

Maior liberdade dos movimentos, pois não há

cabos presos ao corpo

Captura dos movimentos de mais de um ator

Alta taxa de amostragem de dados,

permitindo captura de movimentos rápidos

Óptico

Desvantagens

Interferência de fontes luminosas

Oclusão das marcações

Necessidade de calcular a rotação de certas

partes do corpo

Necessidade de pós-processamento

Óptico

Exemplos:

• http://crazymotion.net/3d-human-body-motion-s

alsa-dance/whHfKU3gFimIjAy.html

• http://www.youtube.com/watch?v=IxJrhnynlN8

Eletromagnético

O ator veste um conjunto de receptores magnéticos

que monitoram e identificam a posição 3D de cada

receptor em relação a um transmissor estático.

Cada receptor necessita de um cabo para se conectar

ao computador responsável pelos cálculos

Eletromagnético

Vantagens

Captura em tempo real

Baixo custo do equipamento

Baixo custo computacional

Não ocorrência de oclusão

Eletromagnético

Desvantagens

Distorções magnéticas

Interferências causadas por campos

magnéticos de objetos metálicos

Limitação dos movimentos

Sistemas novos no mercado com custo

elevado

Eletromagnético

Exemplo:

• http://www.polhemus.com/?page=Video

:_LATUS1_video

Mecânico

O ator veste um exoesqueleto preso em suas costas

que acompanha seus movimentos através de

sensores, alojados em cada uma das articulações e

responsáveis por captar a amplitude de seus

movimentos.

Outra opção são luvas de captura de dados e

marionetes articuladas.

Mecânico

Vantagens

Não sofre interferência dos campos

magnéticos ou luminosos

Dados rotacionais podem ser capturados em

tempo real, sem problemas de oclusão

Mecânico

Desvantagens

Necessita calibração

A posição absoluta do ator não é conhecida e

sim calculada a partir das rotações

Não são calculadas informações de distância

em relação ao chão

Mecânico

Exemplo:

• http://www.youtube.com/watch?v=8a-

FcGGEYyM&feature=related

Acústico

O sistema consiste de emissores sonoros são

anexados ao corpo do ator e três receptores fixos.

Os emissores são acionados em sequência e o

som produzido é captado pelos receptores, que então

calculam o posicionamento 3D.

Pode ser integrado com um mocap inercial para

melhorar a performance.

Acústico

Vantagens

Não sofre interferência

Não ocorre oclusão

Acústico

Desvantagens

Dificuldade de se obter uma descrição correta

dos dados num instante desejado.

Necessidade de cabos

Há reflexão dos sons emitidos pelos

transmissores

Interferência de ruídos externos

Aplicações

Aplicações

FilmesPossibilita movimentos humanos mais realistas em

personagens digitais. • http://www.youtube.com/watch?v=1wK1Ixr-UmM

Aplicações

Jogos Utiliza mocap para tornar os movimentos do

personagem mais reais• http://www.youtube.com/watch?v=IxJrhnynlN8

Projeto Natal• http://www.gossipgamers.com/microsofts-explanation-video-on-how-project-natal-w

orks/

Aplicações

Militares Monitora cenários para detecção de atividades

suspeitas ou eventos inesperados• http://www.youtube.com/watch?v=pMkV8E2re9U

Aplicações

MedicinaAnálise da reação das articulações• http://www.youtube.com/watch?v=ZEV3dj7ck9k

Aplicações

Monitoramento do tráfegoColeta em tempo real de estatísticas e informações do

trânsito • http://www.youtube.com/watch?v=4i3yDNEpwro

• http://www.youtube.com/watch?v=qkaySMJWb0s&NR=1

Aplicações

Navegação de automóveisCapacidade de planejar o caminho e evitar obstáculos• http://www.youtube.com/watch?v=eQTlhISzhOg&feature=related

• http://www.youtube.com/watch?v=DAcfOEINeKA&NR=1

Aplicações

Interação Humano-Computador

•Utiliza mocap para prover mecanismos avançados para

uso com pacientes tetraplégicos• http://www.eyewriter.org/

Conclusões

Tendências Futuras

Pressuposições atuais:• Suavidade do movimento•Quantidade mínima de oclusão• Constância de iluminação, de alto contraste em

relação ao fundo, etc.

Tendências Futuras Aplicações limitadas:• vigilância automática,• interação homem-computador,• recuperação de vídeo•monitoramento de tráfego• navegação do veículo

Desafio

•Desenvolver algoritmos para rastrear objetos em

vídeos sem restrições

• Ex.: vídeos barulhentos, comprimidos,

desestruturados e contêm trechos editados

obtidos por câmaras de visões múltiplas

Tendências Futuras

Desafio

• Integração de informações contextuais é pouco

abordada

• Rastreadores podem incorporar restrições gerais

no formato e no movimento do objeto

• Melhora o desempeho

Tendências Futuras

Tendências Futuras

Desafio

• Filmagens de reuniões

• Oclusão e pessoas parcialmente visíveis

• Há pesquisas para possibilitar adicionar áudio no

rastreamento

Conclusão

Uma abordagem baseada em integrar diferentes

fontes de informações resultará em um tracker geral,

útil a várias aplicações.

Em geral, características únicas do objeto são

melhores para o rastreamento. Contudo, informações

específicas adicionais podem ajudar a sintonizar o

tracker com um cenário específico.

Dúvidas

?

Bibliografia

http://www.cs.ucf.edu/vision/public_html/papers/Object%20Tracking.pdf

mo_cap_kowdeed.ppt

http://www.inf.ufrgs.br/~laffernandes/fernandes_TCC_2002.pdf

http://www.inf.furb.br/seminco/2005/artigos/134-vf.pdf

http://digitalacting.com/2009/10/27/the-future-of-motion-capture/

http://www.newscientist.com/article/dn14007

http://web.mit.edu/comm-forum/papers/furniss.html#fn32

Bibliografia

http://docs.autodesk.com/3DSMAX/13/ENU/Autodesk%203ds%20Max%2

02011%20Help/index.html?url=./files/WSf742dab041063133728b9b2112a

1ce7292-7eda.

htm,topicNumber=d0e262719

http://www.technovelgy.com/ct/Science-Fiction-News.asp?NewsNum=762

http://www.rebeccaallen.com/v2/work/work.php?ID=24

http://graphics.stanford.edu/courses/cs448a-00-fall/cs448a-lec01.pdf

http://accad.osu.edu/~bwindsor/AC694Z_Spring2004/Class1_brian_bw.pdf

http://web.mit.edu/comm-forum/papers/furniss.html#fn3