30 May 2007

1

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

Animando Humanos Virtuais

em Tempo-Real usando Visão Computacional e Redes Neurais

Nelson F. Souza Jr.

Thiago Kehl

Fernando S. Osório

Cláudio R. Jung

Soraia R. Musse

Apresentado por:Apresentado por:

Prof. Dr. Fernando S. Prof. Dr. Fernando S. OSÓRIOOSÓRIO - - PPG Computação Aplicada / UnisinosPPG Computação Aplicada / Unisinos

UNISINOS - UNISINOS - PUC/RSPUC/RSRBV - Rede Brasileira de Visualização / FINEPRBV - Rede Brasileira de Visualização / FINEP

HP Brasil HP Brasil

30 May 2007

2

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

1. Motivação / Histórico

2. Objetivos

> Interface Homem-Máquina

> Visão Geral do Projeto

3. Visão Computacional> Reconhecimento de Posturas> Extração de Atributos> Aprendizado e Classificação Neural (ANN)> Resultados: Rede Neural

4. Simulação com Humanos Virtuais

> Modelos de Comportamento (ações)

5. Arquitetura do Sistema

6. Conclusões e Perspectivas

Agenda

30 May 2007

3

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

1. Motivação / Histórico

SVR 2000

30 May 2007

4

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

2. Objetivos

IHC - Interface Homem-Máquina

• Interface usando dispositivos diferentes... ConvencionaisConvencionais => Teclado, Mouse, Joystick Novos dispositivosNovos dispositivos => Interação Gestual - Uso de data-gloves - Uso de sensores de movimento (encoders, acelerômetros) - Uso de câmeras • Diferencial: - Custo - Facilidade de uso / Simplicidade da Interação

30 May 2007

5

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

2. Objetivos

Visão Computacional Pré-processar imagens de posturas de mãos

coletadas através de uma Webcam

Construir um classificador capaz de identificar tais posturas

Simulação com Humanos Virtuais Servir como entrada para sistemas de simulação de

comportamento de humanos virtuais em ambientes povoados

Definir para cada classe de posturauma ação selecionada dentro de uma série de comportamentos estruturados

30 May 2007

6

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

2. Objetivos

Visão Computacional Pré-processar imagens de posturas de mãos

coletadas através de uma Webcam

Construir um classificador capaz de identificar tais posturas

Simulação com Humanos Virtuais Servir como entrada para sistemas de simulação de

comportamento de humanos virtuais em ambientes povoados

Definir para cada classe de posturauma ação selecionada dentro de uma série de comportamentos estruturados

30 May 2007

7

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

Visão Computacional

Simulação com Humanos Virtuais

2. Objetivos - Visão Geral do Projeto

WebCam: Processamento de Imagens

Rede Neural:Treino / Uso na classificação

Ações: Grupos de Humanos Virtuais

30 May 2007

8

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

2. Objetivos - Visão Geral do Projeto

MatlabAquisição,

procesamento e medidas

TreinamentoRNA

[SNNS/C++]

ClassificadorRNA[C++]

Aplicaçãode multidõesde humanos

virtuais [C++]

= Sockets e MemóriaCompartilhada

Integração: Aquisição das Imagens, Classificação, Ações

30 May 2007

9

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

3. Visão Computacional

3.1 Reconhecimento de Posturas

3.2 Extração de Atributos

3.3 Aprendizado e Classificação Neural (ANN)

3.4 Resultados: Rede Neural

Posturas escolhidas para utilização no experimento• 5 dedos (mão aberta)• 0 dedos (mão fechada)• 1 dedo (indicador)• 1 dedo (polegar)• 2 dedos (v – vitória)• 1 dedo (mínimo)

30 May 2007

10

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

3. Visão Computacional

3.1 Reconhecimento de Posturas

3.2 Extração de Atributos

3.3 Aprendizado e Classificação Neural (ANN)

3.4 Resultados: Rede Neural

Posturas escolhidas para utilização no experimento• 5 dedos (mão aberta)• 0 dedos (mão fechada)• 1 dedo (indicador)• 1 dedo (polegar)• 2 dedos (v – vitória)• 1 dedo (mínimo)

PosturasGestos

30 May 2007

11

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

3. Visão Computacional

3.1 Reconhecimento de Posturas

3.2 Extração de Atributos

3.3 Aprendizado e Classificação Neural (ANN)

3.4 Resultados: Rede Neural

Posturas escolhidas para utilização no experimento• 5 dedos (mão aberta)• 0 dedos (mão fechada)• 1 dedo (indicador)• 1 dedo (polegar)• 2 dedos (v – vitória)• 1 dedo (mínimo)

Aquisição das imagens:- Aquisição das imagens a partir da Webcam- Pré-processamento das imagens no MATLAB- A limiarização e segmentação das imagens- Extração das referência (métricas/atributos)

30 May 2007

12

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

3. Visão Computacional

3.1 Reconhecimento de Posturas

3.2 Extração de Atributos

3.3 Aprendizado e Classificação Neural (ANN)

3.4 Resultados: Rede Neural

Exemplo de extração de atributos:(a) Intensidade do canal azul. (b) Resultado da binarização. (c) Resultado do fechamento morfológico. (d) Imagem binária final restrita ou bounding box.

Aquisição das imagens:- Aquisição das imagens a partir da Webcam- Pré-processamento das imagens no MATLAB- A limiarização e segmentação das imagens- Extração das referência (métricas/atributos)

30 May 2007

13

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

3. Visão Computacional

3.1 Reconhecimento de Posturas

3.2 Extração de Atributos

3.3 Aprendizado e Classificação Neural (ANN)

3.4 Resultados: Rede Neural

Extração de Atributos (feições): Procedimentos que, aplicados a uma imagem retornam um valor numérico capaz de diferenciar os tipos de imagens - Histograma Vertical - Histograma Horizontal - Densidade de P/B - Alternância de P/B - Bounding Box

Aquisição das imagens:- Aquisição das imagens a partir da Webcam- Pré-processamento das imagens no MATLAB- A limiarização e segmentação das imagens- Extração das referência (métricas/atributos)

30 May 2007

14

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

3. Visão Computacional

3.1 Reconhecimento de Posturas

3.2 Extração de Atributos

3.3 Aprendizado e Classificação Neural (ANN)

3.4 Resultados: Rede Neural

Extração de Atributos (feições): Procedimentos que, aplicados a uma imagem retornam um valor numérico capaz de diferenciar os tipos de imagens - Histograma Vertical - Histograma Horizontal - Densidade de P/B - Alternância de P/B - Bounding Box

Histograma Horizontal

Aquisição das imagens:- Aquisição das imagens a partir da Webcam- Pré-processamento das imagens no MATLAB- A limiarização e segmentação das imagens- Extração das referência (métricas/atributos)

30 May 2007

15

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

3. Visão Computacional

3.1 Reconhecimento de Posturas

3.2 Extração de Atributos

3.3 Aprendizado e Classificação Neural (ANN)

3.4 Resultados: Rede Neural

Extração de Atributos (feições): Procedimentos que, aplicados a uma imagem retornam um valor numérico capaz de diferenciar os tipos de imagens - Histograma Vertical - Histograma Horizontal - Densidade de P/B - Alternância de P/B - Bounding Box

Histograma Vertical

Aquisição das imagens:- Aquisição das imagens a partir da Webcam- Pré-processamento das imagens no MATLAB- A limiarização e segmentação das imagens- Extração das referência (métricas/atributos)

30 May 2007

16

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

3. Visão Computacional

3.1 Reconhecimento de Posturas

3.2 Extração de Atributos

3.3 Aprendizado e Classificação Neural (ANN)

3.4 Resultados: Rede Neural

Entradas adotadas: Atributos das imagensAtributos das imagens 10 projeções verticais 10 projeções horizontais Dimensões da largura e altura do bounding box

Base de treinamento e teste/validação do classificador: 22 entradas e 1 saída (a sua respectiva classe (1 dentre as 6 posturas) 600 exemplos (imagens) - 420 de treino (70%) e 180 de validação (30%) 70 exemplos de cada classe = 70 x 6 = 420 exemplos na base de treino

Rede Neural: 22-22-6 (22 Input, 22 Hidden, 6 Output) Aprendizado: RProp (Resilent Propagation ~ BackProp acelerado)

Softwares:JavaNNSSNNSAnalyzeSNNS2C

30 May 2007

17

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

3. Visão Computacional

3.1 Reconhecimento de Posturas

3.2 Extração de Atributos

3.3 Aprendizado e Classificação

3.4 Resultados: Rede Neural

Taxa média de acertos - aprendizado : 99,95% Taxa média de erro - abaixo de 0,05%. Taxa de acertos (treino/teste): muito próxima a 100%

30 May 2007

18

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

3. Visão Computacional

3.1 Reconhecimento de Posturas

3.2 Extração de Atributos

3.3 Aprendizado e Classificação

3.4 Resultados: Rede Neural

Taxa média de acertos - aprendizado : 99,95% Taxa média de erro - abaixo de 0,05%. Taxa de acertos (treino/teste): muito próxima a 100%

30 May 2007

19

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

4. Simulação com Humanos Virtuais

Simulação de grupos - "Crowds"

Aplicação de simulação militar:- Formação: Linha, Quadrado, Divisão de grupo, Junção- Agrupamento: Denso, Esparso

Comando das tropas através de gestos- Reconhecimento de posturas- Associação da postura às ações

30 May 2007

20

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

5. Arquitetura do Sistema

– Exportação da rede com o melhor resultado Utilização do SNNS2C para exportar a rede que apresentou o melhor resultado dentre todos os

testes

– Integração das aplicações via sockets e

memória compartilhada Aquisição da Imagem Pré-Processamento: extração de atributos Classificação com a rede (snns2c) Classe identificada gera código da ação Geração das ações => Animação do Humanos Virtuais

30 May 2007

21

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

6. Conclusões e Perspectivas

Tópicos abordados:- Interface Humano-Computador- Aprendizado e Reconhecimento de Posturas- Aplicação em Tempo Real- Visão Computacional- Simulação de Humanos Virtuais

Trabalhos Futuros:- Reconhecimento de GESTOS (dinâmica do movimento)- Explorar mais o uso de interfaces gestuais

Trabalhos relacionados...A tool for teaching musical metrics based on computer vision - CGI2007Rodrigo Schramm e Claudio Jung

30 May 2007

22

Animando Humanos Virtuaisem Tempo-Real usando

Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al.

Proc. Imagens / Visualização 3D