PADSPersonal Activity Detection System

Sérgio ValeOrientador: Prof. Doutor José Torres

Coorientador: Prof. Doutor Rui Silva Moreira

O Problema

Taxa de natalidade

Espectativa média de vida

• O número de pessoas idosas irá exceder a

capacidade de resposta da sociedade atual

• Importância da atividade física

• monitorização é fundamental

• As quedas são um dos problemas mais

graves na assistência geriátrica

Qualidade de vida

Promoção da saúde

Independ-ência do

idoso

28% 34%

Objetivos

• Deteção e monitorização de atividade– Deteção de atividade física

– Deteção de presença em locais estratégicos

• Fusão de informação de várias fontes

• Desenvolvimento de um protótipo– câmaras web

– um smartphone

– servidores

• Inferência probabilística

Estado da arte

• Sistemas sensíveis ao contexto compreendem módulos de aquisição

• Agentes inteligentes

• Sensores

Módulo de aquisição

Acelerómetro

Magnetómetro

Giroscópio

Interpretação da perceção dos sensores

Tomada de decisão

Aceleração

Direção

localizaçãotemperatura

visão

Software

• OpenCV– biblioteca open source de visão por computador desenvolvida em c/c++

– Análise e interpretação da atividade humana (frame)

– Eficiência computacional com um forte direcionamento para as aplicações em tempo real

• Weka– Coleção de algoritmos de aprendizagem

– Métodos para todos os problemas standard de data mining de regressão, classificação, clustering, association rule mining e seleção de atributos

– Aplicar um método de aprendizagem a um conjunto de dados e apresenta resultados

– Os conjunto de dados são pré-formatados num ficheiro ARFF

• Mocapy++– Inferência e aprendizagem de redes bayesianas

– Usa a Técnica Markov chain Monte Carlo (MCMC), designada Gibbs sampling.

– Utiliza o método expectation maximization (EM)

Software

• Exemplo de um ficheiro ARFF

Técnicas de Inferência

• Métodos baseados em heurísticas– Este método depende inevitavelmente de um conjunto de dados completo

– Método aplicado a através de regras

– Simple Reflex Agent - é muito limitado a nível de inteligência e sem memória

– Model-Based Agent - contém alguma inteligência devido a possuir memória

• Métodos baseados em aprendizagem– Saber como atuar no presente mas também no futuro

– A aprendizagem indutiva é uma classe de algoritmos para aprendizagem supervisionada determinística

– Teoria da aprendizagem computacional

– Atributos nominais ou numéricos

– Logit Boost que utiliza a técnica additive logistic regression

• Inferência probabilística– Processo de inferir um resultado a partir de várias observações

– No PADS são utilizadas as redes bayesianas que são um modelo gráfico

– A componente gráfica serve como suporte para alcançar eficiência computacional

Trabalhos relacionados

Acel. Gyrosc. Magnet. Outro

sensor

Indoor /

outdoor

Objetivo Dispositivo

(Dai et al., 2010) Sim Não Não Magnético ambos Detetar quedas smartphone

(Ryder et al., 2009) Sim Não Não GPS ambos Monitorizar atividade e

localização

smartphone

(Anderson et al.,

2007)

Não Não Não GSM ambos Monitorizar atividade física Cell phone

(Torres et al., 2012) Sim Não Não - ambos Monitorizar atividade física customized

(Kwapisz et al.,

2010)

Sim Não Não - ambos Monitorizar atividade física Cell phone

(Luštrek & Kaluža,

2009)

Sim Sim Não Radio tag ambos Monitorização da atividade

física e reconhecimento de

quedas

customized

(Gonçalves et al.,

2009)

Sim Não Não Temperatura e

luminosidade

indoor Monitorização da atividade

física e sinais vitais

customized

(Mccall et al., 2012) Sim Sim Sim - ambos Detetar atividades físicas

variadas (cozinhar)

smartphone

Own Application Sim Sim Sim - ambos Monitorização da atividade

física

smartphone

Componentes do PADS

• relação de dependência estatística entre resultados

Modelo Estatístico

Activity Detection Module

Activity Detection Module

• Objectivo: Atividade física do utilizador do dispositivo móvel

• Aplicação 1: Recolha e tratamento de informação

– Execução de atividades

– Recolha dos dados

– Modelo de aprendizagem (Weka)

• Aplicação 2: Leitura de informação e classificação de atividades

– Modelo de aprendizagem (ADM)

– Recolha de dados

– Classificação em tempo real

– Envio da classificação para o servidor

Activity Detection Module

• Algoritmo principal de classificação da Aplicação 2

Sistema de deteção de atividade

Presence Detection Module

Presence Detection Module

• Algoritmo principal de deteção de presença

Information Fusion Module

Information Fusion Module

• Algoritmo principal para fusão de informação

H

O O O

H

Avaliação da atividade física

EventoClassificado como:

A B C D E

A 100% 0% 0% 0% 0%

B 0% 98,5% 1,5% 0% 0%

C 0% 2% 97,5% 0% 0,5%

D 0,7% 1,4% 0% 94,3% 3,6%

E 0% 3,8% 7,7% 23,1% 65,4%

A: Parado B: Andar C: Correr D: Deitado E: Queda

• Samsung Nexus S– Android

– Processador ARM de 1Ghz

– 512 Mb de RAM

• Taxa de amostragem: 10Hz

• Intervalo de aquisição: 100s/10s

• Algoritmo classificador: Logit Boost

• Técnica: 10-fold cross validation

• Precisão de 96,73%-5.00

0.00

5.00

10.00

15.00

20.00

25.00

1 2 3 4 5 6 7 8 9 10

Segundos

X

Y

Z

Avaliação da determinação de

atividade por fusão

• Componentes utilizados:– Activity Detection Module

– Presence Detection Module

• Cenário: “A Mary circula pela sala em

direção à televisão e senta-se na sua

frente a ver o seu programa favorito”

• Estados possiveis:– “Em frente à TV”

– “A tomar medicação”

– “A fazer exercício em frente à TV”

– “Ao telefone”

– “Queda”

– “Outra”

Avaliação da determinação de

atividade por fusão

MomentoActivity Detection

Module

Presence Detection

Module

Information Fusion Module

(Output do sistema)Ground Truth

1 Parado - Outra O utilizador está parado perto da

porta da sala.

2 Andar - Outra Movimenta-se em direção ao sofá.

3 Andar - Outra Movimenta-se em direção ao sofá.

4 Andar - Outra Movimenta-se em direção ao sofá.

5 Andar - Outra Movimenta-se em direção ao sofá e

senta-se no mesmo.

6 Parado TV Em frente à TV Sentado no sofá a ver televisão.

7 Parado Outra Em frente à TV Sentado no sofá a ver televisão.

8 Parado TV Em frente à TV Sentado no sofá a ver televisão.

9 Parado TV Em frente à TV Sentado no sofá a ver televisão.

10 Parado TV Em frente à TV Sentado no sofá a ver televisão.

Conclusões

• Contribuições– Activity Detection Module

– Presence Detection Module

– Information Fusion Module

– Protótipo integrando todos os componentes anteriores

• Trabalho futuro– Aperfeiçoamento da interface gráfica na apresentação de resultados

– utilização de outros meios de comunicação

– Introdução de novos módulos sensores