Elizabeth Duane Santos da CostaVisão Computacional – 1º/2010

PPGCC – Universidade Federal de Minas Gerais

17 de Junho de 2010

Classificação de Expressões Faciais◦ Interação humano-computador◦ Estudos na área psicologia, medicina◦ Interesses comerciais

Características Desejáveis◦ Rápido◦ Simples◦ Precisão invariante aos ambientes

2

Dificuldades: ◦ Pouca expressividade e Similaridade

3

Dificuldades◦ Classificação é confusa até entre os seres

humanos

4

6 Expressões básicas e Face Neutra

Neutro Alegria

Tristeza

MedoDesgosto

Raiva Surpresa

5

Características Locais◦ Pontos de interesse◦ Detecção de olhos, boca, sobrancelha◦ Posição e relação entre distâncias do rosto◦ Métodos mais complexo

Características Globais◦ Face inteira◦ Filtros e outras técnicas para representar a face e

normalmente tem uma fase de aprendizado Possíveis Técnicas

◦ Aprendizado◦ Template Matching

6

Classificar uma determinada imagem de acordo com as classes de expressões definidas

7

Sorci, M., Antonini, G., Cruz, J., Robin, T., Bierlaire, M., & Thiran, J. P. Modelling

human perception of static facial expressions. Image and Vision

Computing, 2009.

Lee B., Chun J., Park P. Classification of Facial Expression Using SVM for

Emotion Care Service System, ACIS International Conference on, pp. 8-12,

2008 Ninth ACIS International Conference on Software Engineering, Artificial

Intelligence, Networking, and Parallel/Distributed Computing, 2008

M. Turk and A. Pentland, Eigenfaces for Recognition, Journal of Cognitive

Neuroscience,vol. 3, no. 1, pp. 71-86, 1991

8

SVM (Support Vector Machine)◦ Aprendizagem Supervisionada◦ Matriz de treinamento onde cada coluna

representa uma característica e cada linha uma instância de treinamento

◦ Vetor de resposta que classifica cada linha em uma determinada classe

◦ Uma forma de regressão para ajustar os dados de treinamento de acordo com a classe do vetor de resposta

9

Autovetores de um conjunto de imagens de face

Imagens normalizadas pela diferença da média

Autovetores são derivados da matriz de co-variância das imagens normalizadas

Os autovetores mais representativos (de maior auto valor) são usados para a tarefa em questão.

10

11

Pré - Processamento:◦ Detecção da Face: HaarCascade (OpenCv)◦ Ajuste da Dimensão e Filtro Gaussiano

SVM◦ Treinamento do SVM Para cada expressão◦ Classificação para cada grupo treinado

Eigenface◦ Cálculo dos Eigenfaces◦ Cálculo de Similaridade - Distância Euclidiana

12

Pré - Processamento:◦ Detecção da Face◦ Ajuste da Dimensão e Filtro Gaussiano

Eingenface: 100 x 100256 x 256

SVM: 50 x 50

13

SVM◦ Vetorização das imagens e montagem da matriz

de treinamento◦ Treinamento por expressão

Expressão treinada (1) X todas outras expressões(0) 7 treinamentos

◦ Classificação Imagem de teste é comparada para cada um dos

SVM treinados e verifica-se em qual expressão foi classificada;

14

Eigenfaces

◦ Vetorização das imagens de treinamento;

◦ Redução da dimensão com PCA;

◦ Componentes principais (autovetor com maior autovalor);

◦ Projeção das imagens de treinamento e teste (representação

em termos de componentes principais);

◦ Distância euclidiana entre a projeção das imagens de teste e

das imagens de treino;

◦ Menor distância é escolhida;

◦ A imagem de teste estará no mesmo grupo da imagem de

treino que obteve menor distância

15

Banco de Dados – JAFFE (Japanese Female Facial Expressions)◦ 213 imagens de 7 expressões faciais (6 expressões

básicas + normal) referentes a 10 modelos japonesas.

16

Imagens para o experimento◦ 143 imagens para Treinamento◦ 69 imagens para Teste

SVM◦ Não Reconheceu Tristeza e Surpresa◦ Taxa de Acerto Geral: 11%◦ Dupla classificação: 26%

Razões◦ Entrada dos dados?◦ Falta de extração de características?◦ Metodologia de treinamento ineficiente?

17

Eigenface Taxa de Acerto Geral: 72%

Expressão Taxa de Acerto

Alegria 40%

Desgosto 80%

Medo 90%

Neutro 70%

Raiva 80%

Surpreso 80%

Tristeza 60%

18

SVM ◦ Não obteve bons resultados para o experimento

proposto Eigenface

◦ Rápido◦ Simples◦ Taxa de classificação aceitável

19

SVM com Eigenface Outros métodos de Aprendizagem Banco de Dados Variação da Face Sequência de Imagens Aprendizado Online – Novas Faces e

Expressões Características Globais e Locais

20

21

Rosário, S.V.P.G., Facial Emoticons:Reprodução de Informação associada

a expressões faciais por via do seu reconhecimento. Dissertação. Mestre

em Engenharia Informática e de Computadores. Instituto Superior Técnico.

Universidade Técnica de Lisboa, 2008.

B. Fasel, J. Luettin, Automatic facial expression analysis: a survey, Pattern

Recognition 36 (2003)

R. Gottumukkal and V.K. Asari, An improved face recognition technique

based on modular PCA approach, Pattern Recogn. Lett. 25 (2004)

M. Pantic and L.J.M. Rothkrantz. Expert system for automatic analysis of

facial expression. In Image and vision computing J., volume 18, pages 881–

905, 2000.

22