Captura de expressões faciais para identificação da emoção de alegria em humanos São Leopoldo,...

Preview:

Citation preview

Captura de expressões faciais para identificação da emoção de alegria em

humanos

São Leopoldo, dezembro de 2007

Eduardo de OliveiraEduardo de Oliveira

Patrícia A. Jaques (orientadora)Patrícia A. Jaques (orientadora)

UNISINOSUNISINOS

Plano da apresentaçãoPlano da apresentação

Introdução Referencial teórico Objetivos Metodologia Métodos Etapas do trabalho proposto Conclusões

2

IntroduçãoIntrodução

Motivação Evolução computacional; Melhor interface; Estados afetivos.

3

Plano da apresentaçãoPlano da apresentação

Introdução Referencial teórico Objetivos Metodologia Métodos Etapas do trabalho proposto Conclusões

4

Referencial TeóricoReferencial Teórico

Visão Computacional Detecção de Faces; Detecção de Características.

Computação Afetiva x Psicologia Emoções x Estados Afetivos; Classificação de expressões

faciais; Inferência da emoção. 5

Plano da apresentaçãoPlano da apresentação

Introdução Referencial teórico Objetivos Metodologia Métodos Etapas do trabalho proposto Conclusões

6

ObjetivosObjetivos

Objetivo principal Detectar da face do usuário a

manifestação da emoção alegria: através de uma webcam se baseando nas imagens estáticas

7

ObjetivosObjetivos

Objetivos específicos Aprofundar e agregar

conhecimento dos referenciais teóricos;

Encontrar métodos para detecção de face, características faciais, classificação de expressões faciais e inferência de emoções;

Implementar e avaliar aplicativo que execute os objetivos;

Propor evoluções.

8

Plano da apresentaçãoPlano da apresentação

Introdução Referencial teórico Objetivos Metodologia Métodos Etapas do trabalho proposto Conclusões

9

MetodologiaMetodologia

10

MetodologiaMetodologia

11

Webcam

Detecção da faceDetecção da face

MetodologiaMetodologia

12

Webcam

Detecção da faceDetecção da face

MetodologiaMetodologia

13

Webcam

Detecção da faceDetecção da face

Detecção de características faciais

Detecção de características faciais

MetodologiaMetodologia

14

Webcam

Detecção da faceDetecção da face

Detecção de características faciais

Detecção de características faciais

MetodologiaMetodologia

15

Webcam

Detecção da faceDetecção da face

Detecção de características faciais

Detecção de características faciais

Classificação da Expressão facialClassificação da Expressão facial

MetodologiaMetodologia

16

Webcam

AU 12+6 (Sorriso)

Detecção da faceDetecção da face

Detecção de características faciais

Detecção de características faciais

Classificação da Expressão facialClassificação da Expressão facial

MetodologiaMetodologia

17

Webcam

AU 12+6 (Sorriso)

Detecção da faceDetecção da face

Detecção de características faciais

Detecção de características faciais

Classificação da Expressão facialClassificação da Expressão facial

Inferência da EmoçãoInferência da Emoção

MetodologiaMetodologia

18

Webcam

AU 12+6 (Sorriso)

Detecção da faceDetecção da face

Detecção de características faciais

Detecção de características faciais

Classificação da Expressão facialClassificação da Expressão facial

Inferência da EmoçãoInferência da Emoção Alegria

MetodologiaMetodologia

19

Webcam

AU 12+6 (Sorriso)

Detecção da faceDetecção da face

Detecção de características faciais

Detecção de características faciais

Classificação da Expressão facialClassificação da Expressão facial

Inferência da EmoçãoInferência da Emoção Alegria

Visão Computacional

MetodologiaMetodologia

20

Webcam

AU 12+6 (Sorriso)

Detecção da faceDetecção da face

Detecção de características faciais

Detecção de características faciais

Classificação da Expressão facialClassificação da Expressão facial

Inferência da EmoçãoInferência da Emoção Alegria

Visão Computacional

Computação Afetiva

MetodologiaMetodologia

21

Webcam

AU 12+6 (Sorriso)

Detecção da faceDetecção da face

Detecção de características faciais

Detecção de características faciais

Classificação da Expressão facialClassificação da Expressão facial

Inferência da EmoçãoInferência da Emoção Alegria

Visão Computacional

Computação Afetiva

Interação Humano-Computador

Plano da apresentaçãoPlano da apresentação

Introdução Referencial teórico Objetivos Metodologia Métodos Etapas do trabalho proposto Conclusões

22

MétodosMétodos

Detecção da faceDetecção da face

Detecção de características

faciais

Detecção de características

faciais

Classificação da Expressão facialClassificação da Expressão facial

Inferência da Emoção

Inferência da Emoção

- Métodos baseados em aparência- Haar-like features (OpenCV)

- Métodos baseados em aparência- Haar-like features (OpenCV)

- Métodos de aprendizado de máquina- Métodos heurísticos

- Interpretação- Mapeamento

23

Plano da apresentaçãoPlano da apresentação

Introdução Referencial teórico Objetivos Metodologia Métodos Etapas do trabalho proposto Conclusões

24

Etapas do trabalho Etapas do trabalho propostoproposto

1. Revisão bibliográfica Interação Humano-Computador; Visão Computacional; Computação Afetiva.

2. Detecção de face e suas características Detecção de face; Detecção de características.

25

Etapas do trabalho Etapas do trabalho propostoproposto

3. Classificação das expressões faciais e inferência da emoção Sistemas de codificação.

4. Desenvolvimento da aplicação Planejamento e implementação.

5. Testes da aplicação Teste sobre bases de faces.

26

Etapas do trabalho Etapas do trabalho propostoproposto

6. Finalização Ajustes na aplicação; Avaliações sobre o trabalho; Sugestões futuras.

27

Plano da apresentaçãoPlano da apresentação

Introdução Referencial teórico Objetivos Metodologia Métodos Etapas do trabalho proposto Conclusões

28

ConclusõesConclusões

Realizações Revisão bibliográfica; OpenCV; Bancos de faces e expressões.

Dificuldades encontradas Revisão bibliográfica; Detecção de características; Bancos de faces.

29

ConclusõesConclusões

Desafios Classificação de expressões

faciais; Inferência da emoção; Implementação de aplicativo.

30

Captura de expressões faciais para identificação da emoção de

alegria em humanos

Eduardo de Oliveira Eduardo de Oliveira

Patrícia A. Jaques (orientadora)Patrícia A. Jaques (orientadora)

UNISINOSUNISINOS

CronogramaCronograma

dddd

32