Integrando Delphi XE2com Kinect
Victory Fernandes
Victory Fernandes
• Engenheiro, Diretor Técnico da TKS Software• Autor da ActiveDelphi, TheClub e ClubeDelphi• Autor de componentes para– Sintegra, SPED, Nfe, Cte, FCONT, SEF...
• Colaborador do projeto TKinect• Edição 88 da ActiveDelphi
Quem jogou XBOX360 com Kinect?
Quem já integrou Kinect com PC?
Project Natal lançado nos EUA em 04.11.2010
lançado nos Brasil em 18.11.2010
R$350 US$110
R$1.100 US$300
Especificações do Hardware
• Câmera de vídeo RGB (Red-Green-Blue)– Imagens RGB em alta resolução (1600x1200 pixels)
• Hardware de scanner 3D– Imagens com informação de profundidade (640x480 pixels)– Resolução de 3mm; 1cm de precisão a 2m de distância
• Sensores acelerômetros– Detecta movimentação e inclinação (eixos X, Y e Z)
• Microfones– Reconhecimento e controle de voz
• Ajustes de altura com servo-motor instalado na base• Controle do LED frontal
+
=
Por dentro do Kinect...
• PrimeSense (www.primesense.com) – Empresa Israelense; Patente americana: 2010/0118123-A1
Produto equivalente...
• D-IMager (Panasonic)– US$1,967.00 (digikey.com)
• Wavi Xtion (Asus)– US$189.00 (us.estore.asus.com)
Kinect muito além do XBOX360...
Real Time Lightsaberhttp://youtu.be/3EeJCln5KYg
Stanford ‘JediBot’http://youtu.be/VuSCErmoYpY
Humanoid Robot by Kinecthttp://youtu.be/w8BmgtMKFbY
Kinect muito além do XBOX360...
Kinect muito além do XBOX360...
NAO Robot + Kinecthttp://youtu.be/TmTW61MLm68
Quadrocopter Ball - ETH Zurichhttp://youtu.be/3CR5y8qZf0Y
Kinect muito além do XBOX360...
? ?
Kinect muito além do XBOX360...
• Inspeção 3D em planta industrial• Manipulação Hands-Free– Ambiente industrial– Mídia Publicitária
Kinect + PC
• 06.11.2010 na semana do lançamento...– AlexP é o primeiro a hackear o Kinect no Windows– KinectHacks (http://kinecthacks.net/)– Ladyada (http://ladyada.net/learn/diykinect/)
• Algumas semanas depois...– Code Labs libera CLNUI - drivers estáveis para Windows– Aleks da IT Security Lab divulga videos (http://itsecuritylab.eu/)– Simons J. Stuart converte Headers em C para Delphi e libera
TKinect v1.00– 29.12.2010 – Andreano e ActiveDelphi noticiam no Brasil
Kinect + Delphi = TKinect
• Download CLNUI– http://codelaboratories.com/nui/
• Download .NET Redistributable – http://www.microsoft.com/download/en/details.aspx?id=65
• Download TKinect– Freeware, Opensource– www.simonjstuart.com/delphi-stuff/tkinect/
CLNUI self-test
+ +
TKinect v1
TKinect v1
TKinect v1
TKinect v1
01: Conectando DelphiXE2 e Kinect
• Conexão com múltiplos Kinects
• Controle de LEDs– MyKinect.Motor.LEDColor– TKinectLEDColor = (klcOff, klcGreen, klcRed, klcOrange,
klcBlinkGreen, klcBlinkRedOrange);
• Controle de Motor– myKinect.Motor.SetPosition()
02: Imagens e acelerômetro
• Imagens– myKinect.Camera.RGB.Output.Bitmap– myKinect.Camera.Depth.Output.Bitmap– myKinect.Camera.Start;– myKinect.Camera.RGB.GrabFrame;– myKinect.Camera. Depth.GrabFrame;
• Acelerômetro– myKinect.Accelerometer.Update– myKinect.Accelerometer.X;– myKinect.Accelerometer.Y;– myKinect.Accelerometer.Z;
03: Processamento das imagens
• Detecção de mãos e dedos• Movimento do Mouse e Clicks• Controle de sliding
TKinect v2 – Futuro Próximo...
• Integração SDK oficial Microsoft– http://kinectforwindows.org/– Atenção: Incompatível com CLNUI; Não executa em VMachines
• Acesso a Stream de dados para RGB, 3D e Audio• Recursos de Joint e Skeletal Tracking
C:\Users\Public\Documents\
C:\Program Files (x86)\
06: DelphiXE2 Skeletal Viewer
TKinect v2 – Futuro Próximo...
• Joint e Skeletal Tracking funcionais • Problemas na captura de imagens em formato Stream• Dificuldades na conversão Headers em C# para Delphi
TKinect v2 – Futuro Próximo...
• Disponível na próxima semana para download (AS-IS)– www.simonjstuart.com
• Componente nativo no Delphi XE3?– Empowering new hands free UI
• The Kinect Accelerator Project– Ten Startups. Three Months in Seattle. $20,000– www.microsoft.com/bizspark/kinectaccelerator/
Perguntas?
• Referências– ActiveDelphi - Edição 88
www.activedelphi.com.br/mostra_edicao.php?ed=88
• Exemplos utilizados na palestra– www.igara.com.br/delphiconference
• Slides na EDN–Embarcadero Developer Network– http://edn.embarcadero.com/br
• Favor preencher ficha de avaliação
Obrigado!
Victory [email protected]/victory@victoryjorge