Kinect

Kinect Thiago Gouveia Rocha

Kinect 2

• Histórico dos Move Controllers

• Kinect

• Componentes de hardware

• Software

• Aplicações

• Como integrar o Kinect a um projeto pessoal

Índice

Kinect 3

• Histórico dos Move Controllers

• Kinect

• Componentes de hardware

• Software

• Aplicações

• Como integrar o Kinect a um projeto pessoal

Índice

Kinect 4

• Power Glove – 1989 - Nintendo 8 bits

– Impreciso e difícil utilização

• Wii Remote – 2006 - Nintendo Wii

– Sem fio

– Console mais vendido

• PSMove + Playstation Eye – 2009 - Playstation 3

– Maior precisão que o Wii Remote

Move Controllers

Kinect 5

Move Controllers

Power Glove PS Move Wii Remote

Kinect 6

• Histórico dos Move Controllers

• Kinect

• Componentes de hardware

• Software

• Aplicações

• Como integrar o Kinect a um projeto pessoal

Índice

Kinect 7

• E3 2009 – Microsoft - Project Natal – Alex Kipman

• NUI – Natural User Interface

• “You are the controller”

• Xbox 360 tornou-se o console mais vendido

O que é o Kinect?

Kinect 8

Efeitos do Kinect no Xbox 360

Kinect 9

• Características Básicas: – Distância: 1,2 à 4 metros para o Kinect for Xbox

– Distância: 40 cm à 4 metros para o Kinect for Windows

– Detecta até 6 pessoas simultaneamente

– Detecta até 2 jogadores ativos

O que é o Kinect?

Kinect 10

• http://www.youtube.com/watch?v=-Cy3mTk0srw

Kinect

Kinect 11

• Histórico dos Move Controllers

• Kinect

• Componentes de hardware

• Software

• Aplicações

• Como integrar o Kinect a um projeto pessoal

Índice

Kinect 12

Hardware Kinect

Kinect 13

Hardware Kinect

Kinect 14

• Resolução 640x480

• 30 fps

Câmera RGB

Kinect 15

• Emissor infravermelho

• Sensor CMOS Monocromático

• Intensidade do Pixel representa a distância do objeto em relação ao Kinect

• Gera o mapa de profundidade

Sensor de Profundidade 3D

Kinect 16

Sensor de Profundidade 3D

Kinect 17

• Microfone Multi-vetorial – 4 microfones auto direcionáveis

– Beam Forming - Isola o som ambiente da fala do jogador

– Controlar por voz

• Base motorizada – Adaptar-se a vários ambientes

– 27º de inclinação

Outros componentes:

Kinect 18

Qual é o diferencial do Kinect?

Hardware comum Hardware comum

Software poderoso

Kinect

Kinect 19

• Histórico dos Move Controllers

• Kinect

• Componentes de hardware

• Software

• Aplicações

• Como integrar o Kinect a um projeto pessoal

Índice

Kinect 20

• Inicialização do aparelho – Mapeia do ambiente

• Detecção de 20 pontos do corpo de cada jogador

• Interpolação de partes do corpo

• Rápido reconhecimento de posição

• Técnicas de aprendizado de máquina – Software aprende a resolver problemas por exemplos

– Trilhões de possibilidades de corpos

Software Kinect

Kinect 21

Software Kinect

Kinect 22

• Histórico dos Move Controllers

• Kinect

• Componentes de hardware

• Software

• Aplicações

• Como integrar o Kinect a um projeto pessoal

Índice

Kinect 23

• 2010 - Hackearam o Kinect

• OpenNI – Biblioteca não oficial para desenvolvimento

• Utilização do Kinect em diversas áreas

Aplicações

Kinect 24

• http://www.youtube.com/watch?v=L7jeJSdJPpk

Aplicações

Kinect 25

• http://www.youtube.com/watch?v=oq98_35sQko

Aplicações

Kinect 26

• Histórico dos Move Controllers

• Kinect

• Componentes de hardware

• Software

• Aplicações

• Como integrar o Kinect a um projeto pessoal

Índice

Kinect 27

• 2011 – SDK Kinect (Software Development Kit)

• Fins não comerciais

• Download Gratuito

• C++ ou C#

Integrando o Kinect

Kinect 28

• Documentação

• Drivers

• Bibliotecas

• Samples e tutoriais

SDK

Kinect 29

• Atua esperando eventos – listener 1. Achar o Kinect ativo

2. Ativar recursos do Kinect que você irá usar a) SkeletonStream

b) DepthStream

c) AudioStream

3. Eventos para tratar os sensors

4. KinectSensor.Start()

Procedimentos básicos

Kinect 30

• http://www.youtube.com/watch?v=7vq-1TiXi3g

Exemplos

Kinect 31

Exemplos

• http://www.youtube.com/watch?v=ho8KVOe_y08

Kinect 32

Dúvidas

Thiago Gouveia Rocha tgr@labmetro.ufsc.br