Conhecendo o Kinect: Muito além do XBOX - InfoTech 2012

  • Published on
    07-Nov-2014

  • View
    845

  • Download
    2

Embed Size (px)

DESCRIPTION

Aprenda a usar o Kinect e bibliotecas de fisica como a Farseer Physic para criar jogos e at mesmo aplicaes dinmicos em .NET. Aprenda conceitos de NUI e veja um pouco sobre o que o futuro nos reserva com relao a interao homem-maquina..

Transcript

<ul><li> 1. Kinect: muito alm do XboxAndr Luiz de Rocha Castro | Andr Paulovich | Idevar Junior </li> <li> 2. Andr Castro@alrcastroandrecastro@100loop.comwww.100loop.comwww.raptors.com.br </li> <li> 3. Andr Paulovich@andrepaulovichpaulovich@100loop.comwww.100loop.comwww.raptors.com.br </li> <li> 4. Idevar Junior@idevarjridevarjr@hotmail.comidevar.wordpress.comwww.raptors.com.br For Windows 7 </li> <li> 5. Viso Geral Cmera RGB Cmera de Profundidade (Depth) Rastreio de Esqueleto (Skeletal Tracking) Microfone Emissor do InfraVermelho Cmera RGB Sensor do InfraVermelho Tilt Motor Microfones Channel9 </li> <li> 6. NUI Natural User InterfaceNUI um sistema que facilita a interao Homem-Maquinacriando uma interface natural para o usurio. </li> <li> 7. NUI Natural User Interface Essa interface supimpa em! </li> <li> 8. Kinect SDK - Nvel de dificuldadeO SDK trabalha com muitas coisas que a maioria dos desenvolvedoresno esta acostumado.O kinect no retorna Imagens, apenas bytes, que devem serconvertidos/interpretados pelo aplicativo. O que voc imagina quando v os primeiros cdigos: </li> <li> 9. Kinect SDK - Nvel de dificuldadeA API do NUI detecta tudo automtico.A nica coisa que voc tem que preocupar so com as conversesde valores. Como de verdade: </li> <li> 10. O que iremos usar?Kinect SDK v1.0http://kinectforwindows.orgCoding4Fun Toolkithttp://channel9.msdn.com/coding4fun/kinect </li> <li> 11. ProcedimentoPegar o Kinect ativo no sistema.KinectSensorAtivar os recursos do Kinect que voc vai usar:KinectSensor.SkeletonStream.Open()KinectSensor.DepthStream.Open()Adicionar evento para tratar os sensores:KinectSensor.AllFrameReady += ...E finalmente dar um Start no Kinect.KinectSensor.Start(); </li> <li> 12. EventosQuando cada imagem detectada ele invoca um evento:DepthFrameReady;ColorFrameReady;SkeletonFrameReady;AllFrameReady;AllFrameReady sempre que todos os frames so detectados,sempre no tempo do mais lento. </li> <li> 13. ColorStream e Tilt DEMOHabilitar o ColorStream.Converter o array de bytes para uma imagem ou usar abiblioteca Coding4Fun.Jogar o Bitmap em um componente de imagem.Controle do motor do Kinect. </li> <li> 14. Srio, no fique usando muitoo motor, ele no um rob! </li> <li> 15. Skeletal TrackingDetecta at 6 pessoas no sensor do kinectDestes, apenas 2 so inteiramenteCompreendidos (20 articulaes)Valores das posies de cada articulao est em metros.Os outros 4 so parcialmente compreendidos(somente a localizao) </li> <li> 16. Skeletal Tracking - DemoCada esqueleto possui um TrackingID.Articulaes:Cada articulao conta com X, Y e Z e um estado:Tracked, Not Tracked, InferredSendo Inferred quando o Kinect no consegue achara articulao e presume sua posio baseado nasoutras. </li> <li> 17. Sensor de Profundidade (Depth) - DemoCaptura a distncia e o jogador de cada ponto.Distncia entre o ponto e Kinect em milmetros.De 1 a 6 jogadores. Eu vim em paz </li> <li> 18. Trabalhando o Audio - DemoO Kinect composto por vrios microfones, aumentandoassim a confiabilidade da deteco de voz.Ativar o AudioStream:AudioStream.Start()Criar varivel para reconhecimento de voz:SpeechRecognitionEngineAdicionar as palavras que vo ser entendidas:var words = new Choices();words.Add("green");words.Add("blue");Adicionar o evento:sre.SpeechRecognized += this.SreSpeechRecognized; </li> <li> 19. Posio e confiabilidade do som O Kinect retorna a confiabilidade de uma sentena: e.Result.Confidence de 0 a 1. Posio: possvel pegar o ngulo da o onde o som vem. O resultado gerado automaticamente dentro do AudioSensor. KinectSensor.AudioSensor.SoundSourceAngle KinectSensor.AudioSensor.SoundSourceAngleConfidence </li> <li> 20. Concluso Os sensores de movimentos vieram para ficar. E o Kinect abre uma gama de possibilidades, que os desenvolvedores no tinham antes. Sua utilizao vai muito alm dos games. </li> <li> 21. Perguntas? </li> <li> 22. Procurando um desafiante? Teste sua sorte com esses aqui:Andr Castro alrcastro BloodGlocks </li> <li> 23. 12/05/12 </li> </ul>