Reconhecimento Automático de Emoções

Adilmar Coelho Dantas | Mestrando em Ciência da Computação

Sistema de Reconhecimento de Emoções Usando Plataforma OpenWeb

PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO | UNIVERSIDADE FEDERAL DE UBERLÂNDIA –

UFU

FACULDADE DE COMPUTAÇÃO - FACOM/UFU

Artigo de estudo

• .

Introdução

Objetivo do artigo

• Propor um modelo para o reconhecimento de emoções através da teoria FACS

(Movimento dos Músculos), implementado em ambiente computacional Web.

Solução Apresentada

Utilização Haar Cascade para detecção da face Utilização da teoria FACS para determinação das UA’S Fluxo óptico para rastreamento dos pontos Estrutura de decisão para classificação

Introdução

• Expressões faciais e a Inteligência Artificial

• A utilização de sistemas não verbais é considerado um grande avanço para a interação homem e máquina, a face além de emoções fornecem informações extremamente importantes para outros estudos como: sexo, idade.

• Analisar a face é apresentado como uma boa proposta pelo fato de ser um método não invasivo ou menos invasivo se

comparado com outras técnicas.

Fundamentação teórica

• FACS ( Relembrando)O FACS consiste de 46 Unidades de Ação que são divididos em duas regiões faciais, a primeira contendo olhos, sobrancelhas e testa e a segunda por bochechas, queixo, nariz e boca.

Fundamentação teórica

• FACS ( Relembrando)A combinação de duas ou mais Unidades de Ação (UA) representam uma determinada emoção.

Ex: UA6+UA12 = Alegria

Fundamentação teórica

• Detecção da face

• Utilização do algoritmo Vaiola and Jones• É classificador que aprende caraterísticas de um objeto • Aplicado em imagens estáticas e em tempo real

• Etapas do Viola and Jones

• Integral da imagem • Adabosst• Árvore ( cascata de classificador)

Materiais e Métodos • Detecção da faceTodos os rostos humanos compartilham algumas propriedades semelhantes. Este conhecimento é usado para construir certas características conhecidas como características Haar.

• As propriedades que são semelhantes para um rosto humano são as

seguintes.

• A região dos olhos é mais escura do que as bochechas superiores. • A região da ponta do nariz é mais brilhante do que os olhos.

Materiais e Métodos

• Detecção da face

Materiais e Métodos

Regiões de interesse

Aplica-se o filtro Sobel para a detecção dos contornos presentes na imagem.

Para a localização das regiões dos olhos, sobrancelhas, nariz e boca.

O filtro Sobel calcula o gradiente da intensidade da imagem em cada ponto, dando a direção da maior variação de claro para escuro e a quantidade de variação nessa direção.

Assim, obtém-se uma noção de como varia a luminosidade em cada ponto, de forma mais suave.

Materiais e Métodos

• Localização dos pontos

Para que fosse possível localizar estas UA’S na face utilizou-se de 20 pontos de leitura na face que podem se mover em 8 direções diferentes, divididos em ângulos de 45º.

Materiais e Métodos

• Rastreamento dos pontos – Fluxo Óptico

• Para o rastreamento dos pontos Lukas-Kanade propôs um modelo piramidal que permite a análise de movimentos em regiões do vídeo utilizando

fluxo óptico.

• Neste modelo cria-se uma pirâmide Gaussiana onde no topo se encontra a parte com menos detalhes equanto a base contém a imagem com

mais riqueza de detalhes.

Materiais e Métodos

• Rastreamento dos pontos – Fluxo Óptico

Calcula-se o fluxo óptico no primeiro nível, para que este sirva de base para o cálculo do nível seguinte.

Esta técnica permite capturar com mais precisão estes movimentos.

Materiais e Métodos

Pontos e emoções

A tabela apresenta a estrutura de decisão, dada vinte pontos de leitura (1a a 10b), considerando-seoito possíveis direções de movimento de cada ponto para as emoções felicidade (H), nojo (Di), surpresa (Su), raiva (A), tristeza (Sa) e medo (F).

*O autor não deixou esclarecida esta estruturade Decisão utilizada.

Materiais e Métodos

ImplementaçãoO sistema foi implementado utilizando plataforma WEB aberta, tecnologias Utilizadas:

- GetUserMedia ( WebCam )- HTML5- OpenCv- ECMAScript - suporte opencv

Implementação

Opencv

É uma biblioteca totalmente livre para desenvolvimento acadêmico, empresarial de aplicativos de visão computacional.

Algumas funcionalidades

Filtros de imagem, calibração de câmera, reconhecimento de objetos, análise estrutural e outros. O seu processamento é em tempo real de imagens.

Experimentos e Resultados

• Testes

O sistema foi testado com 16 voluntários do sexo masculino e feminino, com idades entre 10 e 60 anos de nacionalidades Brasileira e Chinesa.

Foi realizado dois tipos de testes

• Emoções não espontâneas • Emoções espontâneas

Experimentos e Resultados

• Primeiro Teste

• Voluntários que expressaram emoção não espontânea felicidade (H), Nojo (di),surpresa (Su), raiva (A), tristeza (Sa) e medo (F) duas vezes consecutivas.

76.60%

Experimentos e Resultados

• Segundo Teste

No segundo teste os voluntários foram submetidos a dois testes com vídeos: • O primeiro que contém uma cena engraçada de uma

criança que assustada faz uma careta.

• O segundo contendo uma cena que repele as pessoas, onde uma pessoa agride um cão.

Experimentos e Resultados• Segundo Teste Podemos observar que para o primeiro vídeo a emoção alegria foi detectada 100%.

Considerando que as reações esperadas foram nojo, surpresa, raiva e tristeza pode-se dizer que o sistema atingiu 84,4% de acurácia.

Conclusões

O trabalho demostrou que sistemas computacionais com o apoio de algoritmos de aprendizagem de máquinas são capazes de identificar pessoas e características diversas.

Mesmo com uma estrutura simples o trabalho é funcional em sistemas Web, um ambiente que poderia ser um fator limitante para solução do problema.

É possível a partir desses resultados analisar se uma pessoas se encontra em algum estado de desconforto com uma determinada situação.

Conclusões

Os autores não exploraram bem os testes.

Não utilizou-se nenhuma base de dados para explorar esses

testes e talvez obter resultados melhores.

A técnica de classificação ou a lógica da estrutura de condição utilizada foi omitida.

Trabalhos futuros

Desenvolvimento de um sistema OpenWeb para detecção das emoções, utilizando técnicas de inteligência artificial e tecnologias mais avançadas.

Integração em ambientes educacionais (Moodle) e ambientes virtuais de aprendizagem (AVA).

Fim

Maiores informações em

www.inteligenciaartificial.facom.ufu.br