Gabriel Schade Cardoso

Desenvolvimento com Kinect

2

Sobre

GUI

Dev - 5 anos Dev – 2 anos

.NET

Graduado em ciência da computação Mestrando em inteligência artificial

aplicada Certificações Microsoft

C# ASP .NET MVC HTML 5 + CSS 3 + JavaScript

Programador desde 2009 Palestrante desde 2012 Autor dos livros sobre Kinect e Windows

Phone da editora Casa do Código

3

Interfaces

GUICommand Line Interface

Natural User Interface

Graphical User Interface

4

Microsoft Kinect

5

Kinect for Windows SDK

6

Reconhecimento de voz; (necessita do SpeechRecognition SDK)

Reconhecer a direção de uma fonte de

áudio;

Reconhecer o volume de uma entrada de áudio;

Kinect Audio Source

Microfones

7

Detecção da Mão

Cursor padrão

Pressionando

Pressionado

Segurando

8

Skeleton Stream Apesar de reconhecer 6 usuários o Kinect rastreia as articulações de no máximo 2 usuários.

9

Skeleton Stream

Pose / Postura Gestos

10

Detecção de Poses Não há nenhuma forma simples nativa para se fazer a detecção de poses ou gestos genéricos.

Qual a grande dificuldade?

11

Produto Escalar• Utiliza-se três articulações e suas posições espaciais (X, Y e

Z) para definir os vetores 3D utilizados para calcular o ângulo.

12

Detecção de Gestos A detecção de gestos é baseada em uma lista encadeada de poses, que possuem tempo limite inferior e superior e uma taxa de percentual de acerto.

Essas informações são baseadas em um motor de reconhecimento que inferi quais foram as poses reconhecidas e as dispara para a aplicação

13

Detecção de Gestos Cada elemento na lista é chamado de quadro chave (keyframe), é uma técnica utilizada em outras áreas que decidi aplicar no Kinect

14

Detecção de Gestos

15

Demo – Final

16

www.casadocodigo.com.br

TDC2014

17

Muito Obrigado!!

/gabrielschade

www.programadorpoliglota.com.br

/twoplayersoficial

/gabrielschade

/gabrielschade

/gabrielschade