Detecção de padrões de leitura com baixa taxa de amostragem · Referências MAC0499 – Trabalho de Formatura Supervisionado 22/22 Bridgeman, Bruce, Derek Hendry, and Lawrence

Detecção de padrões de leitura com baixa taxa de amostragem

Aluno: Carlos Eduardo Leão ElmadjianOrientador: Prof. Dr. Carlos Hitoshi Morimoto

IME-USP

MAC0499 – Trabalho de Formatura Supervisionado

Tópicos

2/22MAC0499 – Trabalho de Formatura Supervisionado

Tópicos

2/22

Introdução


Tópicos

2/22

Introdução

Características da leitura


Tópicos

2/22

Introdução


Baixa taxa de amostragem


Tópicos

2/22

Introdução



Algoritmos de detecção


Tópicos

2/22

Introdução




Algoritmo proposto


Tópicos

2/22

Introdução




Algoritmo proposto

Avaliação


Tópicos

2/22

Introdução




Algoritmo proposto

Avaliação

Resultados


Tópicos

2/22

Introdução




Algoritmo proposto

Avaliação

Resultados

Aplicações


Introdução


Motivação

Introdução


Motivação

Aplicações para computação vestível

EN

GA

DG

ET.

CO

M

Introdução


Motivação


Consumo de energia

EN

GA

DG

ET.

CO

M

AN

DR

OID

CO

MM

UN

ITY

.CO

M

Introdução


Motivação


Consumo de energia

Qualidade das interações

EN

GA

DG

ET.

CO

M

AN

DR

OID

CO

MM

UN

ITY

.CO

M

MA

KE

US

EO

F.C

OM

Nova mensagem!

Leia-me!

Atualiza-ção!

Urgente!

Introdução


Por que a leitura?

Introdução


Por que a leitura?

Uma das interações mais frequentes

Jogando ou baixando jogos, imagens, filmes, música

Acessando o banco

Usando serviços de viagem ou acomodação

Lendo notícias, jornais ou revistas

Procurando informações sobre produtos e serviços

Mandando ou lendo emails

FONTE: Office for National Statistics – Reino Unido

Introdução


Por que a leitura?


Jogando ou baixando jogos, imagens, filmes, música

Acessando o banco






Introdução


Por que a leitura?


Indicativo de atividade primáriaJogando ou baixando jogos,

imagens, filmes, música

Acessando o banco






Introdução


Por que a leitura?


Indicativo de atividade primária

Feedback de relevânciaJogando ou baixando jogos,

imagens, filmes, música

Acessando o banco








Comportamento típico




Fixações de 200 a 300 ms

fixação





Sacadas curtas à direita

fixação

sacada





Sacadas curtas à direita

Regressões em transições de linha

fixação

regressão

sacada



Processamento de informações




Supressão sacádica

NV

IDIA

.CO

M





NV

IDIA

.CO

M





Visão foveada

NV

IDIA

.CO

M

CC – Bruce Blausen

Anatomia do olho

Vasos

Fóvea

Mácula

Cristalino

Pupila

Córnea

Íris





Visão foveada

Acuidade limitada

NV

IDIA

.CO

M

CC – Bruce Blausen

Anatomia do olho

Vasos

Fóvea

Mácula

Cristalino

Pupila

Córnea

Íris



Como rastrear esse comportamento?

PU

PIL

-LA

BS

.CO

M




Câmera infravermelho

PU

PIL

-LA

BS

.CO

M





Processamento de imagens do olho

PU

PIL

-LA

BS

.CO

M






Função de calibração para superfície

PU

PIL

-LA

BS

.CO

M







Problema: alto custo computacional

PU

PIL

-LA

BS

.CO

M







Problema: alto custo computacionalSolução: redução da taxa de amostragem



Mas se a taxa for baixa...




Movimentos não rastreados





Calibração com baixa acurácia





Calibração com baixa acurácia

Aliasing



Ideias gerais



Ideias gerais

Filtragem dos pontos do olhar



Ideias gerais


Identificação dos movimentos



Ideias gerais



“Tokenização” + pontuação



Ideias gerais




Somatória de evidências



Ideias gerais





Mudança de estado



Mas com frequência baixa...





Mudança de estado








Mudança de estado

→ não há amostras suficientes








Mudança de estado

→ não há amostras suficientes

→ não é possível diferenciá-los

Algoritmo proposto


Conceitos principais

Algoritmo proposto



Quociente diferencial entre amostras

Algoritmo proposto




Janela de quocientes

Algoritmo proposto





Máquina de estados

Algoritmo proposto





Máquina de estados


Algoritmo proposto





Máquina de estados


Mudança de estado

Algoritmo proposto





Máquina de estados


Mudança de estadoA mesma ideia dos anteriores

Algoritmo proposto


Como funciona?

Algoritmo proposto


Como funciona?

Quociente diferencial é robusto a taxas baixas

30 Hz 10 Hz 5 Hz

Algoritmo proposto


Como funciona?

Quociente diferencial é robusto a taxas baixas

Sacadas se tornam picos limiarizáveis

30 Hz 10 Hz 5 Hz

Algoritmo proposto


Como funciona?

Algoritmo proposto


Como funciona?

Máquina de estados atribui pontuações

+

+ + ++

+

Sacada à direita regressão

Algoritmo proposto


Como funciona?

Máquina de estados atribui pontuações

Aliasing se torna irrelevante

+

+ + ++

+

Sacada à direita regressão

Avaliação


Experimento com leitores

Avaliação



9 participantes

Avaliação



9 participantes

45 textos aleatórios curtos

Avaliação



9 participantes


45 imagens aleatórias (controle)

Avaliação



9 participantes



Coleta a 30 Hz e subamostragem a posteriori

Avaliação



9 participantes




Questionário para nível de compreensão

Avaliação



9 participantes




Questionário para nível de compreensão

Comparação com Campbell e Maglio (2001) e Buscher et al. (2008)

Resultados


Sensibilidade

Resultados


Sensibilidade

Resultados


Sensibilidade

Resultados


Especificidade

Resultados


Especificidade

Resultados


Especificidade

Aplicações


Prova de conceito

Aplicações


Prova de conceito

Aplicação web

Aplicações


Prova de conceito

Aplicação web

Reconhecimento de leitura como mediação de estados

indicador de estado

Aplicações


Prova de conceito

Aplicação web


Leitura ferramentas de auxílio e bloqueio de mensagens→

autorrolagem

indicador de estado

marcador

tradução de termos

Aplicações


Prova de conceito

Aplicação web


Leitura ferramentas de auxílio e bloqueio de mensagens→

Sem leitura interação convencional→

Referências


Bridgeman, Bruce, Derek Hendry, and Lawrence Stark. "Failure to detect displacement of the visual world during saccadic eye movements." Vision research 15.6 (1975): 719-722.

Buscher, Georg, Andreas Dengel, and Ludger van Elst. "Eye movements as implicit relevance feedback." In CHI'08 extended abstracts on Human factors in computing systems, pp. 2991-2996. ACM, 2008.

Campbell, Christopher S., and Paul P. Maglio. "A robust algorithm for reading detection." In Proceedings of the 2001 workshop on Perceptive user interfaces, pp. 1-7. ACM, 2001.

ONS / Relatório de atividades na internet – 2014: http://www.ons.gov.uk/ons/rel/rdit2/internet-access---households-and-individuals/2014/stb-ia-2014.html#tab-Internet-Activities

Rayner, Keith. "Eye movements in reading and information processing: 20 years of research." Psychological bulletin 124, no. 3 (1998): 372.

Shannon, Claude E. "Communication in the presence of noise." Proceedings of the IRE 37, no. 1 (1949): 10-21.

Documents

Detecção de padrões de leitura com baixa taxa de amostragem · Referências MAC0499 – Trabalho de Formatura Supervisionado 22/22 Bridgeman, Bruce, Derek Hendry, and Lawrence