1 UMA APLICAÇÃO DE VISÃO COMPUTACIONAL QUE UTILIZA GESTOS DA MÃO PARA INTERAGIR COM O COMPUTADOR...

1

UMA APLICAÇÃO DE VISÃO COMPUTACIONAL QUE UTILIZA GESTOS DA

MÃO PARA INTERAGIR COM O COMPUTADOR

Defesa de Dissertação

Dissertação de Mestrado Michel Alain Quintana TruyenqueOrientador: Prof. Marcelo Gattass

2

ROTEIRO

•Introdução.•Conceitos Básicos.•Trabalhos Relacionados.•Subtração de Fundo.•Detecção de Silhueta.•Reconhecimento.•Aplicações.•Conclusões.•Demonstração.

3

Introdução

•Motivação.•Interação sem restrições.

•Equipamentos Caros.•Ambiente.

•Objetivos.•Mão Limpa.•Restrições do ambiente.•Câmeras Web.

•Escopo.•Identificação de gestos predefinidos.•Localização da posição de certos dedos.

4

Conceitos Básicos.

•Sistemas Baseados em Visão.•Interfaces

•Tradicionais.•Digitais.

Bérard [1]

5

Conceitos Básicos.

•Requisitos Funcionais.•Detecção.•Identificação.•Rastreamento.

•Requisitos Não-Funcionais•Latência.•Resolução.•Estabilidade.

•Visão Computacional na Interação Humano-Computador.•Vantagens.•Desafios.

6

Trabalhos Relacionados.

•Diversas Abordagens.•Não existe nenhuma amplamente difundida.

•Baseados no Reconhecimento de Gestos.•Interação baseado no reconhecimento de alguns gestos.

•Baseado na Detecção dos Dedos.•Interação leva em conta além de gestos posições dos dedos.

7

Trabalhos Relacionados.

•Baseados no Reconhecimento de Gestos.•Modelo 3D.

Regh e Kanade [30]

8

Trabalhos Relacionados.

•Baseados no Reconhecimento de Gestos.•Baseado na aparência da imagem 2D.

Freeman [30] (a)Heap [12],(b)Segen [33],(c)Laptev [22]

9

Trabalhos Relacionados.

•Baseados na Detecção dos Dedos.

Mackormic [26]

(a)Handenberg [11], (b)Oka[27]Queck [29]

10

Trabalhos Relacionados.

• Natureza do Sistema Proposto. •Sistema Base de reconhecimento de alguns gestos.•Ambientes de trabalho convencionais.•Não existem aplicações especificas.•Sistema baseado na detecção dos dedos.

11

Subtração de Fundo

• Motivação.•Segmentação de objetos diferentes ao fundo.•Problemas na mudança e latências das fontes de iluminação.•No contexto do trabalho o objeto é a MÃO.

12

Subtração de Fundo

• Segmentação por Subtração de Fundo.•Existem muitos enfoques.

•Baseados na Cor, [14] [15] [6] [13] [2] [3].•Movimento [17]; Estéreo [45]; logarítmica [46]; Markov [20] •Híbridas [17][46][5].

•Requisitos para o Algoritmo.•Tempo Real.•Mudanças globais e locais ocasionadas pela fontes de iluminação.•Detecção aproximada do objeto.

13

Subtração de Fundo

•Algoritmos Susceptíveis a sombras.•[46][2]

•Algoritmos que lidam com sombras.•[6][13]

P

P d

d

14

Subtração de Fundo

•Algoritmos Robustos .•Lidam razoavelmente com as sombras.•Algoritmo de Horprasert [14](Distorção de Brilho e Cor)•Algoritmo de Cheung,Kanade[3](Medida do Angulo)

•Modelos de Cor.

θ

Ei

Ii

R

B

G

O

15

Subtração de Fundo

•Modelagem do Fundo.•Para o algoritmo de Cheung, Kanade [3], utiliza a media.

•Modelagem de Fundo Horprasert [14].

, , ,i i i iE s a b

[ ( ), ( ), ( )]i R G BE i i i )(),(),( iiiS BGRi

• Ei = Imagem Media.• Si = Desvio Padrão.• ai = Distorção de brilho.• bi = Distorção de Cor.

16

Subtração de Fundo

•Modelagem de Fundo Horprasert [14].

222

222

222

)(

)(

)(

)(

)(

)(

)(

)()(

)(

)()(

)(

)()(

)(

)()(

)(

)()(

)(

)()(min)(arg

i

i

i

i

i

i

i

iiI

i

iiI

i

iiI

i

iiI

i

iiI

i

iiI

B

B

G

G

R

R

B

BB

G

GG

R

RR

B

BiB

G

GiG

R

RiRi

2 2 2( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( )

R i R G i G B i Bi

R G B

I i i I i i I i iCD

i i i

(1)

(2)

17

Subtração de Fundo

•Modelagem de Fundo Horprasert [14].

(3)

NRMSa

N

iI

ii

0

21)(

2

0

( )( )

N

i

ii i

CDb RMS CD

N

(4)

18

Subtração de Fundo

•Subtração ou Segmentação.•Algoritmo Horprasert [14].

•Fundo Original (B).•Fundo com baixa iluminação ou Sombra (S).•Fundo com alta iluminação(H).•Objeto (F).

19

Subtração de Fundo

•Subtração ou Segmentação.•Algoritmo Horprasert [14].

1ˆ

ˆ

ii

i

ii

i

a

CDCD

b

contráriocasoH

senãoS

senãoeB

senãoDCF

iMi

ii

CDi

:

,0ˆ:

,ˆˆ:

,ˆ:

)( 21

20

Subtração de Fundo

•Subtração ou Segmentação.•Algoritmo Horprasert [14].

Ei

R

B

G

O

Ii

CDi

αiEi

d

contráriocasoH

senãoS

senãoeB

senãoouDCF

iMi

ii

loiCDi

:

,0ˆ:

,ˆˆ:

,ˆˆ:

)( 21

21

Subtração de Fundo

•Subtração ou Segmentação.•Algoritmo Cheung, Kanade [3].

θ

Cr

Cb

R

B

G

O

22

Subtração de Fundo

•Seleção dos Limiares.•Algoritmo Cheung, Kanade [3], tentativa e erro.•Algoritmo de Horprasert [14], aprendizado estatístico.

1ˆ

ˆ

ii

i

ii

i

a

CDCD

b

(a)Adaptada de [14]Estabelecer Valores Mínimos do:Desvio padrão.Distorção de Brilho.Distorção de Cor.

23

Subtração de Fundo

•Resultados.•320x240 pixels, câmera WebCam Logitech QuickCamPro 4000, USB, processador Pentium III de 800Mhz ,com 128 MB RAM

•Algoritmo Cheung, Kanade [3].

17.49

255UT

30qps

10LT

24

Subtração de Fundo

•Resultados.•Algoritmo Horprasert [14].

43qps

' 1.0 ' 0.75CD

' 0.01

14.1CD 80.5LO

25

Subtração de Fundo

•Resultados.•Algoritmo Horprasert [14].

60qps

' 1.0 ' 0.75CD

' 0.01

14.1CD 80.5LO

26

Subtração de Fundo

•Algoritmo Horprasert [14].

27

Detecção de Silhueta

•Motivação.•Quais pontos da imagem representam a silhueta.•Representação do objeto.•Extração de Feições.

•Três Etapas.•Refinamento da Segmentação.•Detecção das Bordas.•Detecção, Coleta e Estruturação do Pontos que conformam a silhueta.

28

Detecção de Silhueta

•Refinamento da Segmentação.•Filtros Morfológicos.•Dilatação e Erosão [34].•Aplica primeiro Dilatação e depois a Erosão na imagem dilatada.•Máscara utilizada N8

29

Detecção de Silhueta

•Refinamento da Segmentação.•Resultados.

•(a)Resultado da segmentação.•(b)Dilatação em (a).•(c)Erosão em (b).

30

Detecção de Silhueta

•Detecção de Bordas.•Localizar os contornos internos e externos.•Diferentes abordagens.

•Abordagem.•Diferença das imagens da Dilatação e Erosão.

31

Detecção de Silhueta

•Detecção de Bordas.

32

Detecção de Silhueta

•Detecção de Contornos.•Relacionado com o reconhecimento.

•Duas Etapas.•Percorre e armazena as bordas.•Seleção das silhuetas.

•Representação.•Listas de Códigos (Chain Codes) [40].

33

Detecção de Silhueta

•Percurso e Armazenamento.•Ordem pré estabelecida (anti-horária).•Utilizando 8 direções.•Um ponto de cada vez.

34

Detecção de Silhueta

•Percurso e Armazenamento.•Caso particular.

35

Detecção de Silhueta

•Seleção da Silhueta da Mão.•Problema de seleção.•Quais Silhuetas selecionar?•Único Objeto a Mão.

•Abordagem.•Maior Silhueta representa a silhueta externa da Mão.

36

Detecção de Silhueta

•Sub-Amostragem•Um quinto dos pontos originalmente detectados.