Embed Size (px)
Citation preview
Rastreamento de ObjetosHuman Body Tracking
Equipe
Flávio Juvenal – fjsj
Lais Varejão – lvv
Natália Cabral – ncs
Paulo Oliveira – phslfo
Victor Alencar - vaca
Victor Lorena – vlfs
Roteiro
Motivação
Definição
Histórico
Rastreamento de objetos
Human Body Tracking
Técnicas
Aplicações
Desafios atuais
Motivação
Computadores mais potentes, câmeras de
vídeo de alta resolução a baixo custo e
uma crescente necessidade de
automatizar a análise de vídeos geraram
um grande interesse por algoritmos de
rastreamento de objetos.
Definição
Rastreamento de objetos é o problema
de estimar a trajetória do objeto no plano
da imagem à medida que ele se move na
cena.
Histórico
Histórico
Rotoscoping
• Envolve captura e projeção
•Desenha quadro por
quadro
• Inventado por Max
Felischer em 1914
Rotoscoping
Vídeo Capturado Decalque
Rotoscoping
Pós Processamento
• Transformação em desenho animado
• Inclusão do cenário
Forma primitiva de captura de movimento
Histórico
Início dos anos 70: Uso Militar
• Rastreamento da cabeça dos pilotos
de avião em manobras de combate
1982: Animação de Personagens
• Foi desenvolvido uma dançarina
computadorizada usando captura de
movimento (The Catherine Wheel) http://rallen.design.ucla.edu/newvideo/cathrine_wheel_ex.mov
Histórico 1985: Animação de Personagens
• Propaganda com captura de
movimento no Superbowl
(Brilliance)http://www.youtube.com/watch?v=HZY5_ZzRdbk
Fim dos anos 80: Motion Capture
• Sistemas computadorizados
auxiliavam na captura da posição e
forma dos objetos no espaço
Histórico
Anos 90: Filmes de Hollywood• Titanic• Batman and Robin• Real Adventures of Jonny Quest• The Mummy, The Mummy Returns• Final Fantasy• Lord of the Rings
http://www.youtube.com/watch?v=-PpV1KJ0Wsw
Rastreamento
Etapas do Rastreamento
Detecção dos objetos
Rastreamento quadro a
quadro
Análise do rastreamento
Desafios
Perda de informação ao projetar de 3D
para 2D
Ruído em imagens
Objetos com movimentos e formas
complexas
Natureza articulada dos objetos
Oclusão parcial ou total do objeto
Mudança de iluminação da cena
Processamento em tempo real
Fatores relevantes
Representações do objeto
Escolha das características da imagem
Modelagem do movimento, da aparência e
da forma do objeto
Quantidade de objetos na cena
Movimentação da câmera
Condições de iluminação
Representação dos objetos
Pontos
• Adequada para acompanhar objetos que ocupam
pequenas regiões em uma imagem.
Representação dos objetos
Formas geométricas primitivas
• Embora sejam mais adequadas para o
rastreamento de objetos rígidos, também são
utilizadas no rastreamento de objetos não rígidos.
Representação dos objetos
Objetos com silhuetas e contornos
•Adequada para o rastreamento de formas não
rígidas complexas.
Representação dos objetos
Modelos de forma articulada
• Formas geométricas representam partes do corpo e
são agrupadas através articulações.
Representação dos objetos
Modelos esqueléticos
• Esqueletos de objetos extraídos a
partir da aplicação de transformação
do eixo medial da silhueta do objeto.
•Úteis na modelagem de objetos
rígidos e articulados.
Escolha de características da imagem
Deve-se buscar a unicidade do objeto Cor • Exemplo:
http://www.youtube.com/watch?v=1iwvL83Cumo&NR=1
Contornos • Exemplo:
http://www.youtube.com/watch?v=_Dln257k2Sc
Escolha de características da imagem
Fluxo óptico• Exemplo:
http://www.youtube.com/watch?v=Q3gT52sHDI4&feature=related
Textura• Exemplo:
http://www.youtube.com/watch?v=lhUfo4Cyfgs
Mecanismos de detecção do objeto
Único frame
Múltiplos frames
• Point Detector
• Background Subtraction
• Segmentation
• Supervised Learning
Point Detector
Qualidade do ponto de interesse = grau invariância,
quanto a iluminação e ponto de vista da câmera.
Utilizado para solucionar problemas de movimento.
Background SubtractionRepresentação por modelo de cenaCapta movimentação através da mudança significativa de qualquer região do fundo
Representação por modelo de cena
Capta movimentação através da mudança
significativa de qualquer região do fundo
Segmentation
O algoritmo busca a segmentação da imagem
Problemas da técnica:
•Definir se as imagens são parecidas
• Partição eficiente
Supervised Learning
Aprendizagem supervisionada de determinado objeto
Rastreamento de objetos
Objetivo
•Determinar a posição do objeto a cada frame
• Região completa da imagem
Tipos de rastreamento
• Tracking point
• Tracking kernel
• Tracking silhouette
Tracking Point
Objetos representados por pontos
O rastreamento inclui a posição do objeto e sua
velocidade
Requer um mecanismo externo para detectar objetos
em cada frame
Tracking Point
Tracking Kernel
Kernel refere-se à forma e a aparência do objeto
Pode ser um modelo retangular ou uma forma elíptica
Os objetos são rastreados pelo cálculo do movimento do
kernel em frames consecutivos
Este movimento é geralmente sob a forma de uma
transformação paramétrica, como tradução, rotação e
afins.
Tracking Kernel
Tracking Silhouette
Monitoramento é realizado por meio da estimativa da
região objeto em cada frame.
Métodos de Tracking Silhouette usam a informação
codificada no interior da região objeto, e estas são
chamadas de mapas de contorno.
Silhuetas são rastreadas por qualquer forma de
correspondência.
Tracking Silhouette / Edges
Human body tracking
Definição
É o processo de captura de movimento, a partir de
dados de atores representando várias ações
diferentes, assim como, a tradução do movimento
para um modelo digital.
Rastreamento sem marcadores
Como funciona?
1. Várias câmeras capturam o movimento dos
objetos na cena.
2. Para cada quadro, um software encontra o
contorno dos objetos nas diferentes imagens e
captura o movimento.
3. O software então analisa as características das
imagens e realiza a modelagem do clone 3D.
Rastreamento sem marcadores
Vantagens
Na captura de movimento com marcadores,
alguns se deslocam requerendo uma correção
manual. O uso sem marcadores evita a correção.
Permite que o ator use o próprio figurino.
Desvantagens
É necessário o uso de várias câmeras.
A área ainda está em pesquisa.
Rastreamento sem marcadores
Exemplo:
•New Scientist
http://www.youtube.com/watch?v=dTisU4dibSc
Rastreamento com marcadores
O movimento dos atores é
capturado através de
sensores localizados em suas
articulações e extremidades.
Deve-se evitar músculos
rígidos.
Etapas do rastreamento
Calibração da
Câmera
Calibração do
objeto
Captura de
movimento
Cleanup dos
dados
Processamento dos ângulos
das articulaçõe
s
Mapeamento dos
modelos
Rastreamento com marcadores
Exemplo:
• Captive Motion – The Process http
://www.youtube.com/watch?v=I6P710hHx9c
Técnicas
Inercial
Roupa que acopla acelerômetros como
sensores de movimento e giroscópios como
sensores de inclinação.
Muito usado por empresas desenvolvedoras
de jogos, devido a facilidade de uso.
Inercial
Vantagens
Flexibilidade e facilidade de uso
Dispensa câmeras
Não sofre interferência de campos luminosos
e magnéticos
Visualização em tempo real
Inercial
Desvantagens
Possui menor precisão
Falhas de posicionamento podem aumentar
com o tempo
Não podem ser usados na face
Inercial
Exemplo:
http://www.youtube.com/watch?v=OlKBdTR
F61w
Óptico
O ator veste marcações refletivas ou de luz própria
que são seguidas por um conjunto de no mínimo três
câmeras.
Um software fornece as coordenadas 3D dos
refletores, a partir das imagens 2D geradas pelas
câmeras.
Óptico
Vantagens
Maior liberdade dos movimentos, pois não há
cabos presos ao corpo
Captura dos movimentos de mais de um ator
Alta taxa de amostragem de dados,
permitindo captura de movimentos rápidos
Óptico
Desvantagens
Interferência de fontes luminosas
Oclusão das marcações
Necessidade de calcular a rotação de certas
partes do corpo
Necessidade de pós-processamento
Óptico
Exemplos:
• http://crazymotion.net/3d-human-body-motion-s
alsa-dance/whHfKU3gFimIjAy.html
• http://www.youtube.com/watch?v=IxJrhnynlN8
Eletromagnético
O ator veste um conjunto de receptores magnéticos
que monitoram e identificam a posição 3D de cada
receptor em relação a um transmissor estático.
Cada receptor necessita de um cabo para se conectar
ao computador responsável pelos cálculos
Eletromagnético
Vantagens
Captura em tempo real
Baixo custo do equipamento
Baixo custo computacional
Não ocorrência de oclusão
Eletromagnético
Desvantagens
Distorções magnéticas
Interferências causadas por campos
magnéticos de objetos metálicos
Limitação dos movimentos
Sistemas novos no mercado com custo
elevado
Eletromagnético
Exemplo:
• http://www.polhemus.com/?page=Video
:_LATUS1_video
Mecânico
O ator veste um exoesqueleto preso em suas costas
que acompanha seus movimentos através de
sensores, alojados em cada uma das articulações e
responsáveis por captar a amplitude de seus
movimentos.
Outra opção são luvas de captura de dados e
marionetes articuladas.
Mecânico
Vantagens
Não sofre interferência dos campos
magnéticos ou luminosos
Dados rotacionais podem ser capturados em
tempo real, sem problemas de oclusão
Mecânico
Desvantagens
Necessita calibração
A posição absoluta do ator não é conhecida e
sim calculada a partir das rotações
Não são calculadas informações de distância
em relação ao chão
Mecânico
Exemplo:
• http://www.youtube.com/watch?v=8a-
FcGGEYyM&feature=related
Acústico
O sistema consiste de emissores sonoros são
anexados ao corpo do ator e três receptores fixos.
Os emissores são acionados em sequência e o
som produzido é captado pelos receptores, que então
calculam o posicionamento 3D.
Pode ser integrado com um mocap inercial para
melhorar a performance.
Acústico
Vantagens
Não sofre interferência
Não ocorre oclusão
Acústico
Desvantagens
Dificuldade de se obter uma descrição correta
dos dados num instante desejado.
Necessidade de cabos
Há reflexão dos sons emitidos pelos
transmissores
Interferência de ruídos externos
Aplicações
Aplicações
FilmesPossibilita movimentos humanos mais realistas em
personagens digitais. • http://www.youtube.com/watch?v=1wK1Ixr-UmM
Aplicações
Jogos Utiliza mocap para tornar os movimentos do
personagem mais reais• http://www.youtube.com/watch?v=IxJrhnynlN8
Projeto Natal• http://www.gossipgamers.com/microsofts-explanation-video-on-how-project-natal-w
orks/
Aplicações
Militares Monitora cenários para detecção de atividades
suspeitas ou eventos inesperados• http://www.youtube.com/watch?v=pMkV8E2re9U
Aplicações
MedicinaAnálise da reação das articulações• http://www.youtube.com/watch?v=ZEV3dj7ck9k
Aplicações
Monitoramento do tráfegoColeta em tempo real de estatísticas e informações do
trânsito • http://www.youtube.com/watch?v=4i3yDNEpwro
• http://www.youtube.com/watch?v=qkaySMJWb0s&NR=1
Aplicações
Navegação de automóveisCapacidade de planejar o caminho e evitar obstáculos• http://www.youtube.com/watch?v=eQTlhISzhOg&feature=related
• http://www.youtube.com/watch?v=DAcfOEINeKA&NR=1
Aplicações
Interação Humano-Computador
•Utiliza mocap para prover mecanismos avançados para
uso com pacientes tetraplégicos• http://www.eyewriter.org/
Conclusões
Tendências Futuras
Pressuposições atuais:• Suavidade do movimento•Quantidade mínima de oclusão• Constância de iluminação, de alto contraste em
relação ao fundo, etc.
Tendências Futuras Aplicações limitadas:• vigilância automática,• interação homem-computador,• recuperação de vídeo•monitoramento de tráfego• navegação do veículo
Desafio
•Desenvolver algoritmos para rastrear objetos em
vídeos sem restrições
• Ex.: vídeos barulhentos, comprimidos,
desestruturados e contêm trechos editados
obtidos por câmaras de visões múltiplas
Tendências Futuras
Desafio
• Integração de informações contextuais é pouco
abordada
• Rastreadores podem incorporar restrições gerais
no formato e no movimento do objeto
• Melhora o desempeho
Tendências Futuras
Tendências Futuras
Desafio
• Filmagens de reuniões
• Oclusão e pessoas parcialmente visíveis
• Há pesquisas para possibilitar adicionar áudio no
rastreamento
Conclusão
Uma abordagem baseada em integrar diferentes
fontes de informações resultará em um tracker geral,
útil a várias aplicações.
Em geral, características únicas do objeto são
melhores para o rastreamento. Contudo, informações
específicas adicionais podem ajudar a sintonizar o
tracker com um cenário específico.
Dúvidas
?
Bibliografia
http://www.cs.ucf.edu/vision/public_html/papers/Object%20Tracking.pdf
mo_cap_kowdeed.ppt
http://www.inf.ufrgs.br/~laffernandes/fernandes_TCC_2002.pdf
http://www.inf.furb.br/seminco/2005/artigos/134-vf.pdf
http://digitalacting.com/2009/10/27/the-future-of-motion-capture/
http://www.newscientist.com/article/dn14007
http://web.mit.edu/comm-forum/papers/furniss.html#fn32
Bibliografia
http://docs.autodesk.com/3DSMAX/13/ENU/Autodesk%203ds%20Max%2
02011%20Help/index.html?url=./files/WSf742dab041063133728b9b2112a
1ce7292-7eda.
htm,topicNumber=d0e262719
http://www.technovelgy.com/ct/Science-Fiction-News.asp?NewsNum=762
http://www.rebeccaallen.com/v2/work/work.php?ID=24
http://graphics.stanford.edu/courses/cs448a-00-fall/cs448a-lec01.pdf
http://accad.osu.edu/~bwindsor/AC694Z_Spring2004/Class1_brian_bw.pdf
http://web.mit.edu/comm-forum/papers/furniss.html#fn3
