Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Interação baseada em gestos de mãos ecabeça para ambientes de realidade virtual
utilizando visão computacional
Candidato: Marcio Calixto CabralOrientador: Carlos Hitoshi Morimoto
Departamento de Ciência da ComputaçãoInstituto de Matemática e Estatística
Universidade de São Paulo
Defesa de Mestrado
M.C. Cabral 25 de maio de 2005 - Transparência 1
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Organização
1 Gestos como forma de interaçãoMotivaçãoObjetivosDesafios
2 Detecção e rastreamento de mãos e faceDefinição do problemaTeoria e algoritmos
3 Sistema interativo baseado em gestosObjetivoDetalhamento
4 Resultados Experimentais
5 Conclusão
M.C. Cabral 25 de maio de 2005 - Transparência 2
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Organização
1 Gestos como forma de interaçãoMotivaçãoObjetivosDesafios
2 Detecção e rastreamento de mãos e faceDefinição do problemaTeoria e algoritmos
3 Sistema interativo baseado em gestosObjetivoDetalhamento
4 Resultados Experimentais
5 Conclusão
M.C. Cabral 25 de maio de 2005 - Transparência 3
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Organização
1 Gestos como forma de interaçãoMotivaçãoObjetivosDesafios
2 Detecção e rastreamento de mãos e faceDefinição do problemaTeoria e algoritmos
3 Sistema interativo baseado em gestosObjetivoDetalhamento
4 Resultados Experimentais
5 Conclusão
M.C. Cabral 25 de maio de 2005 - Transparência 4
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Organização
1 Gestos como forma de interaçãoMotivaçãoObjetivosDesafios
2 Detecção e rastreamento de mãos e faceDefinição do problemaTeoria e algoritmos
3 Sistema interativo baseado em gestosObjetivoDetalhamento
4 Resultados Experimentais
5 Conclusão
M.C. Cabral 25 de maio de 2005 - Transparência 5
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Organização
1 Gestos como forma de interaçãoMotivaçãoObjetivosDesafios
2 Detecção e rastreamento de mãos e faceDefinição do problemaTeoria e algoritmos
3 Sistema interativo baseado em gestosObjetivoDetalhamento
4 Resultados Experimentais
5 Conclusão
M.C. Cabral 25 de maio de 2005 - Transparência 6
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
MotivaçãoObjetivosDesafios
Outline
1 Gestos como forma de interaçãoMotivaçãoObjetivosDesafios
2 Detecção e rastreamento de mãos e faceDefinição do problemaTeoria e algoritmos
3 Sistema interativo baseado em gestosObjetivoDetalhamento
4 Resultados Experimentais
5 Conclusão
M.C. Cabral 25 de maio de 2005 - Transparência 7
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
MotivaçãoObjetivosDesafios
Motivação
Dispositivos de interação para ambientes de RV namaioria das vezes são invasivos
Mouse e teclado não são adequados para RV
Necessidade de novas formas de interação, naturais efáceis de aprender
Gestos são utilizados de forma natural durante umaconversação
M.C. Cabral 25 de maio de 2005 - Transparência 8
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
MotivaçãoObjetivosDesafios
Outline
1 Gestos como forma de interaçãoMotivaçãoObjetivosDesafios
2 Detecção e rastreamento de mãos e faceDefinição do problemaTeoria e algoritmos
3 Sistema interativo baseado em gestosObjetivoDetalhamento
4 Resultados Experimentais
5 Conclusão
M.C. Cabral 25 de maio de 2005 - Transparência 9
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
MotivaçãoObjetivosDesafios
Objetivos
Alternativas mais naturais para interação em ambientes deRV
Criar uma forma não invasiva de interação
Não substituir as interfaces atuais, mas agregar novasformas de interação
Detectar e interpretar gestos em tempo real
Desenvolver um protótipo para testes e avaliação deinterface
M.C. Cabral 25 de maio de 2005 - Transparência 10
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
MotivaçãoObjetivosDesafios
Outline
1 Gestos como forma de interaçãoMotivaçãoObjetivosDesafios
2 Detecção e rastreamento de mãos e faceDefinição do problemaTeoria e algoritmos
3 Sistema interativo baseado em gestosObjetivoDetalhamento
4 Resultados Experimentais
5 Conclusão
M.C. Cabral 25 de maio de 2005 - Transparência 11
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
MotivaçãoObjetivosDesafios
Desafios
Grande variedade de movimentos das mãos e cabeça
Sistema não invasivo → câmeras
oclusãodesempenhoiluminação
Desenvolver uma interface baseada em gestos com boausabilidade
M.C. Cabral 25 de maio de 2005 - Transparência 12
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Outline
1 Gestos como forma de interaçãoMotivaçãoObjetivosDesafios
2 Detecção e rastreamento de mãos e faceDefinição do problemaTeoria e algoritmos
3 Sistema interativo baseado em gestosObjetivoDetalhamento
4 Resultados Experimentais
5 Conclusão
M.C. Cabral 25 de maio de 2005 - Transparência 13
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Definição do problema
Imagem de entrada → identificar e rastrear mãos e face(sem a utilização de dispositivos ou marcadores) - VisãoComputacional
Utilizar estas informações para criação de uma interface -Interface
M.C. Cabral 25 de maio de 2005 - Transparência 14
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Definição do problemaVisão computacional
M.C. Cabral 25 de maio de 2005 - Transparência 15
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Definição do problemaInterface
M.C. Cabral 25 de maio de 2005 - Transparência 16
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Outline
1 Gestos como forma de interaçãoMotivaçãoObjetivosDesafios
2 Detecção e rastreamento de mãos e faceDefinição do problemaTeoria e algoritmos
3 Sistema interativo baseado em gestosObjetivoDetalhamento
4 Resultados Experimentais
5 Conclusão
M.C. Cabral 25 de maio de 2005 - Transparência 17
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Espaço de cor
Diferentes etnias possuem aproximadamente a mesma corporque a diferença reside na intensidade e não nacromaticidadeYang et al. [1] “as diferenças de intensidade podem serreduzidas normalizando o espaço de cor RGB”Eles também mostram que a cor de pele formaaglomerados que podem ser caracterizados por umadistribuição normal neste espaço RGB normalizado
Espaço RGB-normalizado
r =R
R + G + B(1)
g =G
R + G + B(2)
M.C. Cabral 25 de maio de 2005 - Transparência 18
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Distribuição de cor de peleEspaço RGB normalizado
M.C. Cabral 25 de maio de 2005 - Transparência 19
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Segmentação de cor de pele
Métodos empíricos e estatísticos
Baseados em comparação de pixels da imagem comvalores obtidos a partir do conjunto de treinamento
M.C. Cabral 25 de maio de 2005 - Transparência 20
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Método Empírico
Limiarização da distância do pixel ao modelo de cor depele
A variação de iluminação do ambiente deve ser pequenadurante a fase de treinamento e a fase de segmentação
Parâmetros intrínsecos da câmera devem ser os mesmos:brilho, contraste, abertura e ganho.
M.C. Cabral 25 de maio de 2005 - Transparência 21
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Método Empírico
λ(r , g) =
Pele se r + x > r > r − x E g + x > g > g − x ,
Pele caso contrário(3)
M.C. Cabral 25 de maio de 2005 - Transparência 22
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Resultados
Threshold x = 0.02 Threshold x = 0.04
M.C. Cabral 25 de maio de 2005 - Transparência 23
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Método da máxima verossimilhança
Pode-se aproximar a distribuição de cor de pele por umadistribuição normal
Figura: Aproximando-se cor de pele por uma distribuição normal
M.C. Cabral 25 de maio de 2005 - Transparência 24
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Método da máxima verossimilhança
A aproximação é feita com os seguintes parâmetros
Média:
r =1N
N∑i=i
ri (4)
g =1N
N∑i=i
gi (5)
Covariância: ∑=
[σrr σrg
σgr σgg
](6)
onde σab é a covariância de a e b.M.C. Cabral 25 de maio de 2005 - Transparência 25
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Método da máxima verossimilhança
A probabilidade de cada pixel da imagem de entrada sercor de pele é dada através da função de máximaverossimilhança
MV (r , g) = e−0.5(x−m)′P−1(x−m) (7)
onde x =[r g
]e m =
[r g
].
M.C. Cabral 25 de maio de 2005 - Transparência 26
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Resultados
M.C. Cabral 25 de maio de 2005 - Transparência 27
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Rastreamento
Uma vez detectadas as regiões candidatas a mãos e face,utilizamos filtros de Kalman para o rastreamento destesobjetos na imagem
Para verificarmos se os objetos rastreados realmentecorrespondem a um usuário, o blob correspondente a faceé comparado a um modelo de faces através da técnica deanálise de componentes principais (PCA)
M.C. Cabral 25 de maio de 2005 - Transparência 28
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Filtros de Kalman
Dado nosso conhecimento sobre o comportamento de umdeterminado sistema e as nossas medições, qual é amelhor estimativa para o comportamento deste sistema?A definição dada pelo livro de Maybeck [3] diz: é umalgoritmo ótimo para processamento de dados recursivoProcessa todas as medidas disponíveis de forma a estimaro valor corrente das variáveis de interesse com o uso de
conhecimento do sistema e dos dispositivos de medidadescrição estatística de ruídos, erros e incertezascondições iniciais do sistema
xk = Ak−1xk−1 + wk−1, (8)
zk = Hxk + vk , (9)
M.C. Cabral 25 de maio de 2005 - Transparência 29
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Reconhecimento de facesUtilizando PCA
Método desenvolvido por Turk et al. [5]Idéia principal
transformar imagens em vetoresutilizar PCA para encontrar o espaço de facesprojetar imagens de entrada neste espaçoverificar se estas imagens estão “perto o suficiente” doespaço
M.C. Cabral 25 de maio de 2005 - Transparência 30
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Definição do problemaTeoria e algoritmos
Reconhecimento de facesUtilizando PCA
Fase de treinamentoReunir conjunto de treinamento com imagens de facesCalcular as autofaces deste conjunto, selecionando as commaior autovalor associado. Este subconjunto é chamadode espaço de faces
Reconhecimento de facesProjetar a imagem de entrada no espaço de faces,calculando os pesos wi , que representam a contribuição decada face na representação da imagem de entradaCalcular a distância entre a imagem de entrada e suaprojeção no espaço de faces
M.C. Cabral 25 de maio de 2005 - Transparência 31
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Outline
1 Gestos como forma de interaçãoMotivaçãoObjetivosDesafios
2 Detecção e rastreamento de mãos e faceDefinição do problemaTeoria e algoritmos
3 Sistema interativo baseado em gestosObjetivoDetalhamento
4 Resultados Experimentais
5 Conclusão
M.C. Cabral 25 de maio de 2005 - Transparência 32
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Sistema Interativo baseado em gestos
Implementar protótipo para reconhecer gestos emambientes de RV
Avaliar a usabilidade da interface criada
M.C. Cabral 25 de maio de 2005 - Transparência 33
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Outline
1 Gestos como forma de interaçãoMotivaçãoObjetivosDesafios
2 Detecção e rastreamento de mãos e faceDefinição do problemaTeoria e algoritmos
3 Sistema interativo baseado em gestosObjetivoDetalhamento
4 Resultados Experimentais
5 Conclusão
M.C. Cabral 25 de maio de 2005 - Transparência 34
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Segmentação de cor de pele
Método empíricomais robusto a mudança de iluminação do que o espaçoRGBapresentou melhores resultados do que método da máximaverossimilhança
Treinamento utilizando imagens de pessoas de diferentesetnias (16 pessoas utilizadas)
Pré-processamento de imagens com um filtro da medianae um filtro gaussiano
Operadores morfológicos de erosão e dilatação
M.C. Cabral 25 de maio de 2005 - Transparência 35
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Segmentação de cor de pele
Resultados
Figura: A partir do canto superior esquerdo em sentido horário:imagem original, segmentação de cor de pele por limiarização,operação de erosão e operação de dilatação.
M.C. Cabral 25 de maio de 2005 - Transparência 36
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Rotulação das componentes conexas
Identificação das componentes conexas encontradas nafase de segmentação
Determinação de posições chave para restringir o espaçode busca
Dentro da área delimitada para face, o algoritmo PCA éutilizado para identificar a componente conexa com maiorprobabilidade de ser face
Dentro da área delimitada para as mãos, a componenteconexa com maior área é selecionada
M.C. Cabral 25 de maio de 2005 - Transparência 37
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Rotulação das componentes conexas
a b
Figura: Posição inicial do sistema: mãos na altura do peito. a) CAVEb) Quiosque.
M.C. Cabral 25 de maio de 2005 - Transparência 38
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Adaptação do modelo de cor de pele
A rotulação permite que o modelo de cor de pele utilizadono treinamento seja refinado
Informações da cor de pele da face do usuário sãoutilizadas
Aumenta a região de cor de pele segmentada
M.C. Cabral 25 de maio de 2005 - Transparência 39
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Rastreamento de mãos e face
Iniciado assim que todos os objetos (mãos e face) sãorotulados
Um filtro de Kalman por objeto
Estima a posição do objeto no próximo passo deprocessamento
Não são robustos a oclusão de objetos
Para manter a robustez a oclusão, um grafo deconsistência espaço-temporal é utilizado
M.C. Cabral 25 de maio de 2005 - Transparência 40
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Rastreamento de mãos e faceGrafo de consistência
Permite estados de sobreposição e oclusãoAssumimos que estado de oclusão e sobreposição nãoocorrem simultaneamente
Figura: Grafo de consistência espaço-tempo. Os valores dentro decada estado representam os objetos sendo rastreados.M.C. Cabral 25 de maio de 2005 - Transparência 41
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Interpretação de gestosInterface
Informações obtidas a partir do rastreamento (posição demãos e face) são utilizadas para a interpretação de gestos
Posições chave podem ser atingidas com as mãos
Gestos pré-definidos são ativados quando as mãosatingem as posições chave
M.C. Cabral 25 de maio de 2005 - Transparência 42
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Interpretação de gestos
a b c
Figura: a) Posição Inicial b) Posição Norte c) Posição Leste
M.C. Cabral 25 de maio de 2005 - Transparência 43
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Interpretação de gestos
d e
Figura: d) Posição Sul e) Posição Oeste
M.C. Cabral 25 de maio de 2005 - Transparência 44
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Interpretação de gestosComandos
Simulação de um interface de “apontar e clicar”
A mão direita controla a posição do mouse
A mão esquerda funciona para a ativação de comandos
M.C. Cabral 25 de maio de 2005 - Transparência 45
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Interpretação de gestosComandos
Posição Sul e Descanso não são utilizadas para comando
Posição Norte usada para mudança do modo de controledo cursor
Posição Oeste para mudança de modo dentro um modoespecifico
Posição Leste usada para simular um clique
M.C. Cabral 25 de maio de 2005 - Transparência 46
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Interpretação de gestosMapeamento Tela-Imagem
Mapeamento das coordenadas da imagem da câmerapara a telaTraduz a movimentação da mão direita ao lado do corpodo usuário para as coordenadas do ponteiro do mouse(Kjeldsen [2])
M.C. Cabral 25 de maio de 2005 - Transparência 47
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Interpretação de gestosRedução de ruídos de movimentação do cursor
Devido a grande área de visão da câmera, pequenosdeslocamentos de um objeto na imagem causam grandesvariações na movimentação do cursor
Pequenos erros de estimação da posição do cursor criamtremores no controle do cursor
Filtro digital de resposta impulsiva finita (Finite ImpulseResponse - FIR) com uma componente de freqüênciaspassa baixas
M.C. Cabral 25 de maio de 2005 - Transparência 48
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Interpretação de gestosResultados do FIAR
Figura: Trecho da ordenada x antes da aplicação do filtro e depois daaplicação do filtro.
M.C. Cabral 25 de maio de 2005 - Transparência 49
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Vantagens do Sistema
O sistema é robusto a pequenas variações de iluminação;
O fundo pode ser arbitrário;
O usuário pode ter altura ou dimensões anatômicasbastante variáveis;
Não utilização de câmeras especiais;
A câmera não precisa ser calibrada e não precisa estar emaltura ou ângulo específico para o usuário, contanto que ousuário esteja de frente para ela.
M.C. Cabral 25 de maio de 2005 - Transparência 50
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ObjetivoDetalhamento
Limitações do Sistema
Apenas um usuário pode utilizar o sistema de cada vez;
As mãos e face do usuário devem ser as únicas partes docorpo que podem estar visíveis;
A cor do vestuário não pode se assemelhar com tons decor de pele;
As condições de iluminação iniciais devem ser próximasas usadas para a fase de treinamento de cor;
O usuário deve estar posicionado de frente para a câmera.
M.C. Cabral 25 de maio de 2005 - Transparência 51
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Resultados ExperimentaisAspectos de Implementação
Laptop Pentium IV
Câmeras Firewire (640x480@30fps)
Linux
OpenCV Intel
M.C. Cabral 25 de maio de 2005 - Transparência 52
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Resultados ExperimentaisExperimentos com a interface baseada em gestos
Experimentos realizados em dois ambientes de RV: CAVEe QuiosqueCAVE: Sistema de multi projeção imersivoQuiosque: Sistema de projeção com apenas uma tela,mais simples que um Powerwall (Regh et al. [4])
M.C. Cabral 25 de maio de 2005 - Transparência 53
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Resultados ExperimentaisInterface utilizada nos experimentos - Quiosque
A mão direita (R) controla a posição do cursor;
Quando a mão esquerda (L) se posiciona na posiçãoNorte, o modo de controle é seqüencialmente alterado. Osmodos de controle disponíveis são: escala, rotação etranslação;
Quando (L) se posiciona na posição Oeste, o status domodo de controle atual é seqüencialmente alterado. Porexemplo, se o modo de controle atual for Escala, então ostatus de modo varia entre Escala X-Y, Escala X-Z eEscala Y-Z;
Quando (L) se posiciona na posição Leste, um clique égerado.
M.C. Cabral 25 de maio de 2005 - Transparência 54
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Resultados ExperimentaisInterface utilizada nos experimentos - CAVE
A mão direita (R) controla o ponto de vista da câmera;
A mão esquerda (L) controla a translação da câmera.Quando (L) se posiciona na posição Norte, a câmera semovimenta na direção do ponto de vista determinado por(R). Quando (L) se posiciona na posição Sul, a câmera semovimenta ao contrário da direção do ponto de vista.
M.C. Cabral 25 de maio de 2005 - Transparência 55
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Resultados ExperimentaisExperimentos
Três experimentos foram realizados para testar ausabilidade do sistema
Comparação da interface de gestos com mouse através daLei de FittsAvaliar a satisfação do usuário com aplicações devisualizaçãoAvaliar a satisfação do usuário com aplicações denavegação
M.C. Cabral 25 de maio de 2005 - Transparência 56
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Resultados ExperimentaisExperimento de apontar e clicar
Baseado na Lei de Fitts
T = a + b log2(AW + 1) (10)
T = tempo de execução do movimento
A = amplitude
W = tamanho ou diâmetro do alvo
a e b são determinados empiricamente através deregressão linear.1b = Índice de Desempenho (IP)
log2(AW + 1) = Índice de Dificuldade (ID)
M.C. Cabral 25 de maio de 2005 - Transparência 57
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Resultados ExperimentaisExperimento de apontar e clicar
Clicar em botões de diferentes tamanhos,um por vez
Aparecem em locais aleatórios
Sessão de controle com mouse
M.C. Cabral 25 de maio de 2005 - Transparência 58
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Resultados ExperimentaisExperimento de apontar e clicar
Media de tempo para mouse = 7,3 segundosMedia de tempo para gestos = 26,1 segundos
M.C. Cabral 25 de maio de 2005 - Transparência 59
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Resultados ExperimentaisExperimento de avaliação subjetiva - Visualizador
Avaliar a usabilidade de interfaces baseadas em gestospara ambientes de RVManipular objetos 3D
M.C. Cabral 25 de maio de 2005 - Transparência 60
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Resultados ExperimentaisResultados
Sistema robusto
50 % dos usuarios reportaram que o tempo de resposta dosistema é excelente
40 % dos usuarios reportaram a fadiga dos bracos durantea utilização do sistema
M.C. Cabral 25 de maio de 2005 - Transparência 61
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Resultados ExperimentaisExperimento de avaliação subjetiva - Navegador
Sistema de gestos substitue joystick e teclado paranavegação em ambientes de RVPermite mudança de ponto de vista e navegação
Figura: Aplicação utilizada para teste na CAVERNA DigitalM.C. Cabral 25 de maio de 2005 - Transparência 62
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Resultados ExperimentaisResultados
Sistema menos robusto devido a variação grande deiluminação, intrínseca ao sistema
Liberdade de movimentos
Maior naturalidade
M.C. Cabral 25 de maio de 2005 - Transparência 63
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ConclusãoContribuições
Levantamento bibliográfico
Experimentos com segmentação de cor de pele
Desenvolvimento de uma técnica robusta para orastreamento de mãos e face
Desenvolvimento de uma técnica de interação utilizandogestos
Implementação de aplicativos para teste
Experimentos realizados com usuários para avaliação dainterface desenvolvida
M.C. Cabral 25 de maio de 2005 - Transparência 64
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ConclusãoAmbiente Quiosque
Apresenta melhores resultados devido as condições deiluminaçãoFundo e arbitrárioPessoas podem permanecer na área de alcance decâmera, após a inicialização do sistema
M.C. Cabral 25 de maio de 2005 - Transparência 65
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ConclusãoAmbiente CAVE
Iluminação variável e não controladaRuído elevado na imagemPCA não foi utilizado neste ambiente
M.C. Cabral 25 de maio de 2005 - Transparência 66
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Conclusão
Apresentamos uma técnica para reconhecimento degestos baseada em visão computacional
robustanão invasivacom boa usabilidade
Criamos interfaces e aplicativos para teste
Avaliamos de forma analítica e subjetiva a utilização destatécnica
M.C. Cabral 25 de maio de 2005 - Transparência 67
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
ConclusãoTrabalhos futuros
ImplementaçãoExperimentar câmeras mais robustas a iluminaçãoRealizar experimentos em outros ambientes fora dolaboratório.Rastreamento utilizando mais de uma câmera (3D).Realizar experimentos com um número maior de pessoas,incluindo medidas definidas pelos padrões de usabilidadeem IHC.
AlgoritmosReconhecer gestos de mais de uma pessoa paraaplicações colaborativas.Melhorar a robustez à variação de iluminação para osistema de segmentação de cor de pele.Refinar o algoritmo de PCA
M.C. Cabral 25 de maio de 2005 - Transparência 68
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Yang Jie and Waibel Alex.A real-time face tracker.In Proceedings of WACV’96, pages 142–147, 1996.
Frederick Kjeldsen.Visual interpretation of hand gestures as a practicalinterface modality.Phd Thesis - Columbia University, 1997.
Peter Maybeck.Stochastic Models, Estimation, and Control.Academic Press, Inc., 1979.
James Rehg, Maria Loughlin, and Keith Waters.Vision for a smart kiosk.Proc. IEEE Conf. on Computer Vision and PatternRecognition, pages 690–696, 1997.
M.C. Cabral 25 de maio de 2005 - Transparência 69
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
Matthew Turk and Alan Pentland.Face recognition using eigenfaces.Proceedings of the 1991 Conference on Computer Visionand Pattern Recognition - CVPR, 1991.
M.C. Cabral 25 de maio de 2005 - Transparência 70
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
PCA
Conjunto de treinamento dado pelas imagensI = [I1, I2...IM ], com tamanho n×n
A imagem média é dada por Ψ = 1M
∑Mn=1 In
E cada imagem difere da média por Φi = Ii −Ψ
Calcular autovalores e autovetores de C = 1M
∑Mn=1 ΦnΦ
Tn
M.C. Cabral 25 de maio de 2005 - Transparência 71
Gestos como forma de interaçãoDetecção e rastreamento de mãos e face
Sistema interativo baseado em gestosResultados Experimentais
Conclusão
PCA
Projetar a imagem de entrada no espaço de faces com aoperaçãoωk = uk
T (Γ−Ψ) para k = 1, ..., M′, onde Ψ é a imagem
média do conjunto de treinamento, Γ é a imagem deentrada e u são os autovetores calculados a partir doconjunto de treinamento.
Estes pesos, ωi , formam um vetor de padrõesΩT = [w1, w2 . . . wM′ ] que representam a contribuição decada eigenface na representação da imagem Γ.
A distância entre a imagem de entrada ajustada pelaimagem média Φ = Γ−Ψ e sua projeção no espaço defaces é dado por ε2 = ‖ Φ− Φf ‖2
M.C. Cabral 25 de maio de 2005 - Transparência 72