O uso de rastreador ocular em investigações linguísticas

II Simpósio Internacional sobre Linguagem e Cognição (II LinCog)

UFF, novembro de 2016

Profa. Dra. Márcia Schmaltz (PNPD/PosLin-UFMG)

1

Sumário

• O que é um rastreador ocular (eye tracking) ◦ Fisiologia e movimento oculares ◦ Indicadores processuais • Preparação e execução de experimento

◦ Equipamentos ◦ Desenho experimental • Preparação e análise dos dados

◦ Ferramentas para análises quantitativas e qualitativas ◦ Dados brutos ◦ Qualidade dos dados • Alguns exemplos de estudos

2

Processamento da informação

3 Adaptado de Baars e Gage (2010: 32, 240, 309).

Memória de longo prazo

Memória sensorial

< 500ms 60ms

4

Memória de

Trabalho 7 (+/- 2) itens

< 10s Atenção

Sistema motor 200ms

Áreas de pesquisas

•Rastreador ocular – Estudos processuais da tradução – Ciências cognitivas – Psicolinguística – Psicologia – Interação Homem e Computador – Mercadológicas – Etc.

Programa de gravação de teclado e mouse – Estudos processuais da tradução – Estudos processuais da escrita – Psicologia, Psicolinguística

5

O que é um rastreador ocular?

6

Surfe

7

Surfe 2

8

O que é um rastreador ocular?

9

O que é um rastreador ocular?

10

O que é um rastreador ocular?

11

O que é um rastreador ocular?

12

Movimento ocular e processamento cognitivo

•A permanência do olhar numa região, onde a retina se estabiliza, indica um local de interesse (Duchowski 2007:46).

• Princípios da Imediaticidade e de Ligação Olho-Mente (Just e Carpenter 1980:331):

– Não há atraso significativo entre o que está sendo fixado e o que está sendo processado;

– As interpretações em todos os níveis de processamento não são diferidos, pois ocorrem o mais rapidamente possível.

13

Fisiologia: tipos de movimentos oculares

•Fixação visual / ocular •Movimentos sacádicos •Tamanho da pupila (dilatação e contração)

14

Fixação ocular

•Tipo de movimento ocular em que o olhar estaciona sobre algum objeto de interesse para obtenção de informação (Duchowsky 2007: 47).

– Leitura silenciosa: 225 ms – Leitura em voz alta: 275 ms – Leitura de um texto emergente: 400 ms (Rayner 1998: 373)

– Leitura para a tradução (Jakobsen e Jensen 2008): •Texto-fonte: 218 ms •Texto-alvo: 259 ms

15

Sacada

•Movimentos voluntários muito rápidos (pulo) do olhar entre as fixações. Nenhuma (ou pouca) informação visual é transmitida ao sistema cognitivo (Rayner 1998: 378)

•Amplitude:7-9 caracteres com espaço (1,5 palavra latina) ou 2 caracteres (1-2 palavras).

•Sentido: segue a mesma direção da escrita. – 10-15% do número total de sacadas são regressivas; – Se a leitura regressiva for superior a 10 letras contínuas até à linha superior, pode indicar problemas de compreensão (Rayner 1998:375, Vonk e Cozijin 2003:302)

16

Pupila

•Pequena abertura ajustável no centro da íris dos olhos que permite a entrada de luz na retina.

•O tamanho da pupila também está relacionado com o princípio da ligação olho-mente e mudança de alocação de recursos cognitivos:

– Pupila menor: indica menor esforço cognitivo – Pupila maior: indica maior esforço cognitivo

17

Compreensão • (C) Fixação numa palavra = alocação de recursos cognitivos a essa palavra

–Fixações curtas = menor esforço cognitivo

–Fixações longas = maior esforço cognitivo

(C) Mudança do tamanho da pupila = mudança da alocação de recursos cognitivos

– Pupila menor = menor esforço cognitivo

– Pupila maior = maior esforço cognitivo

18

Compreensão e problemas • (C) Fixação numa palavra = alocação de recursos cognitivos a essa palavra

– Fixações curtas = menor esforço cognitivo

– Fixações longas = maior esforço cognitivo

(C) Mudança do tamanho da pupila = mudança da alocação de recursos cognitivos

– Pupila menor = menor esforço cognitivo

– Pupila maior = maior esforço cognitivo

(P) Sacadas – Não há processamento durante os movimentos sacádicos

– O que ocorre durante os movimentos sacádicos?

(P) Atenção mascarada – A atenção pode mudar independentemente do movimento ocular

– Podemos ter certeza de que uma pessoa pensa sobre o item em que ela está olhando?

(P) Atenção visual e processamento cognitivo não são sincrônicos

19

Medidas usuais • Duração da fixação (fixation duration)

– O tempo de fixação do olhar numa única região – medido em milissegundos (ms)

• Número das fixações

– Quanto maior o número de fixações, maior o esforço cognitivo / poucas fixações revela menor esforço cognitivo

• Tempo total de fixação (total gaze time)

– Definido como o valor da duração da única fixação ou o somatório de várias fixações realizadas na mesma palavra. Quanto maior / menor o tempo gasto numa região, maior / menor o esforço cognitivo.

• Tamanho da pupila

– O tamanho da pupila revela a intensidade do processo cognitivo

20

Medidas usuais • Duração da primeira fixação (First pass gaze duration)

– Reflete a intensidade do esforço cognitivo durante a leitura inicial de uma palavra ou segmento. O número de caracteres da palavra é utilizada como variável de controle.

• Duração da segunda fixação (Second pass gaze duration)

– Reflete a intensidade do esforço cognitivo durante a leitura subsequente de uma palavra ou segmento. Comparável à duração da primeira fixação.

• Regressões

– Indicam problemas de compreensão textual. Quanto mais regressões, maiores os problemas de compreensão textual.

• Transições – Indicam quantas vezes a atenção mudou entre duas (sub)tarefas

21

PREPARAÇÃO DO EXPERIMENTO

22

O que temos de considerar

•Modelo de rastreador ocular •Número de participantes •Texto para o experimento •Sala para o experimento

23

Tipos de rastreadores oculares

•Fixo, capacete ou remoto?

24

Fixo, capacete ou remoto?

25

Resolução espacial Resolução temporal intrusividade

Fixo

Alta 0,25 grau ~0,5 cm de imprecisão

Muito alta > 1000 Hz

Muito alta Nenhum movimento

Capacete

Média 0,5-1 grau ~1-2 cm de imprecisão

Média a alta 30 a 200 Hz

Alta Movimento livre da cabeça e do corpo

Remoto

Média 0,5 grau ~1 cm de imprecisão

Média a alta 50 a 600 Hz

Moderada Movimento da cabeça

Fixo, capacete ou remoto?

26

Resolução espacial Resolução temporal intrusividade

Fixo

Alta 0,25 grau ~0,5 cm de imprecisão

Muito alta > 1000 Hz

Muito alta Nenhum movimento

Capacete

Média 0,5-1 grau ~1-2 cm de imprecisão

Média a alta 30 a 200 Hz

Alta Movimento livre da cabeça e do corpo

Remoto

Média 0,5 grau ~1 cm de imprecisão

Média a alta 50 a 600 Hz

Moderada Movimento da cabeça

Participantes

•Recrutar o maior número possível, descarte 30%

•Uso de lentes •Cor dos olhos

27

Sala

• Condições de iluminação: luz artificial • Silenciosa • Divisão do ambiente

28

Texto

• Textos curtos (não mais que 200 palavras) • Comprimento da palavra • Frequência • Predicabilidade • Familiaridade • Fontes grandes (18-20) • Espaçamento duplo

29

Desenho experimental

• Evitar consultas online ou off-line • Grande número de participantes • Calibração / calibragem • Teste cópia • E a validade ecológica?

(cf. O’Brien 2009, Hvelplund 2013)

30

Calibração (tela inicial)

31

32

33

34

35

ANÁLISE DOS DADOS

36

Ferramentas de análises básicas

•software dos fabricantes (p.ex. Tobii)

37

Qualitativo

Hot spot / heat maps Gaze replay Gaze plot

Imagem de fundo estática e mapa de hot spot Imagem de fundo dinâmica e fixações Imagem de fundo estática e fixações

Medidas analíticas

Média da duração das fixações Número de fixações Transições

Tempo de gaze / contagem das fixações Número de fixações Número de mudança do foco da atenção de uma área / tarefa para outra

Hot spot / heat map

38

Hot spot / heat map

39

Gaze plot

40

Gaze plot

41

Limitações do filtro de medidas

• As medidas qualitativas são relevantes para – Obter uma impressão inicial do padrão dos dados – Visualizar padrões de processamento

• As medidas quantitativas são poucas ...

– Média da duração da fixação – Número de fixações – Tempo da primeira fixação – Tamanho da dilatação da pupila – Informação sobre a primeira / segunda passagem da fixação ocular – Dados da regressão – Informação sobre o movimento de teclado – Atividades do mouse

• ... e potencialmente enganosas

– A média de duração da fixação não considera a variação das durações das fixações individuais

• Possível solução

– Dados brutos!

42

O que são dados brutos?

• Gravações da fixação ocular sem filtros

(tipicamente entre 50-120Hz ~ 1 gravação a cada 8-50 ms)

43

44

Vantagens de analisar dados brutos

•O conjunto dos dados do processo é mais rico e com maior número de itens

•Valores do tamanho da pupila •Duração das fixações individuais •Leitura e digitação simultânea •Duração do gaze da primeira / segunda passagem

45

Desvantagem de analisar os dados brutos

• Potencialmente trabalhoso • Requer conhecimento técnico (informática, estatística, etc)

46

Atenção com a qualidade dos dados

• A qualidade dos dados do rastreador ocular é sensível a vários fatores:

– Condições luminosas – Distância do rastreador ocular – Movimento da cabeça – Cor dos olhos – Uso de lentes

• Precauções: – Mantenha sempre a mesma condição de luminosidade (luz artificial preferivelmente)

– Distância do rastreador ocular entre 55-65 cm – Evitar movimentos bruscos da cabeça – Evitar participantes com graus elevados de lentes e o uso de lentes de contato

47

Avaliando a qualidade dos dados do rastreador ocular

• Risco de dados pobres • Três medidas para avaliar a qualidade dos dados:

1. Duração média de fixação - fácil, popular - potencialmente enganosa

2. Percentagem do tempo do gaze na tela em relação ao tempo total da tarefa

3. Percentagem de gaze coletado

48

Duração média da fixação

• Se a duração da fixação for entre 175-200 ms ou menos, talvez tenha falha nos dados.

• A duração típica de fixação durante a leitura é entre 225-275 ms (Rayner 1998)

– participante A, Tarefa 1: média da duração da fixação = 146 ms – não satisfatório

– participante B, Task 1: média da duração da fixação = 220 ms - satisfatório

49

Tempo de gaze sobre a tela

• Durante a tarefa, se a leitura do TF e do TA for muito limitada, talvez tenha ocorrido falha na coleta dos dados.

• A tradução escrita envolve uma quantidade de leitura do TF e do TA.

– Participante A, tarefa 1 (300 segundos): Tempo total do gaze sobre a tela = 24 segundos / 8 % – não satisfatório

– Participante B, tarefa 1 (300 segundos): Tempo total do gaze sobre a tela = 240 segundos / 80 % – satisfatório

50

Percentagem de gaze coletado

•Se os dados brutos demonstrarem distorção da distribuição

das fixações / sacadas, considerar o descarte. Número de fixações: 85-95 % do total de todos os movimentos oculares • Número de sacadas: 15-5 % do total de todos os movimentos oculares

Participante A, Tarefa 1: Fixações = 50 %, sacacadas = 50 % - não aceitável Participante B, Tarefa 1: Fixações = 90 %, sacadas = 10 % - aceitável

51

52

Tarefa Participante Média da duração da fixação

Tempo de gaze sobre a tela % de gaze válido

Pós-edição P03 317 78,07 70,03

P09 366 91,98 83,15

P11 434 93,41 91,80

P15 439 82,85 77,56

P19 417 82,28 79,76

P23 365 86,81 79,37

Tradução P04 421 89,24 76,75

P06 299 82,98 78,00

P07 222 63,81 61,95

P12 309 82,67 88,24

P18 301 49,59 43,56

P21 465 83,69 67,16

Pós-edição Média 389,67 85,90 80,28

Tradução 336,17 75,33 69,28

A leitura com diferentes propósitos

• O comportamento do movimento ocular através de quatro diferentes tipos de tarefas de leitura (Jakobsen e Jensen 2008)

• 6 tradutores profissionais e 6 estudantes de tradução • L2 inglês -> L1 dinamarquês

(Rayner 1998; Jakobsen e Jensen 2008) • Estatística descritiva • Número de fixação: indicador de aumento de carga cognitiva ou elevação de tempo de tradução.

53

Média da duração da fixação (n =12)

Média do número da fixação (n =12)

Ler para compreender 205 ms 154

Ler para traduzir 205 ms 223

Tradução à prima vista 235 ms 520

Tradução (ler e escrever) 218 ms (TF) 259 ms (TA)

708 (TF) 882 (TF)

Diferentes tipos de leitura

• Ler para compreensão

• Ler para tradução

54

Contexto da pesquisa

• Projeto de pesquisa conjunta entre o Departamento de Português da Universidade de Macau e o LETRA – Laboratório de Experimentação em Tradução, Universidade Federal de Minas Gerais para investigar o comportamento da tradução humana e da tradução humana assistida por computador.

55

Alguns estudos publicados 1. Schmaltz et al. 2016. Cohesive relations in text comprehension and

production. In Carl, M., Bangalore, S., Schaeffer, M. (eds.) Theory and Applications of Natural Language Processing: New Directions in Empirical Translation Process Research: Exploring the CRITT TPR DB. (pp. 256-289). Berlin: Springer.

2. Da Silva et al. (no prelo) Translation, Post-Editing and Directionality: A Study of Effort in the Chinese-Portuguese Language Pair. In Jakobsen, Arnt L., Mesa-Lao, Bartolomé (eds.) Translation In Transition. Amsterdã: John Benjamins.

3. Da Silva et al. 2015. Translating and Post-Editing in the Chinese-Portuguese Language Pair: Insights from an Exploratory Study of Keylogging and Eye Tracking. Translation Space 4:1, 144-168.

4. Schmaltz 2015. Resolução de problemas na tradução de metáforas linguísticas do chinês para o português. Tese de doutorado. Macau: Universidade de Macau.

56

Desenho experimental (estudos 1-3)

• Instrumentos • Translog-II (Carl 2012) conectado a • Eye tracker Tobii T120 • Tobii Studio 3.2.1

• Participantes • 12 translatores, L1 Chinês, idade 23-32, Licenciatura em Estudos

Portugueses, > 1 ano de experiência, óculos ou lentes de contato

• Local e condições • Eye-tracking lab da Universidade de Macau • Sem pressão de tempo • Protocolo Verbal Retrospectivo após a tarefa

57

Desenho experimental

• Inputs • 4 textos: ca. 80 palavras/equivalentes – jornalísticos • 2 textos-fontes em chinês • 2 textos-fontes em português • Texto da tradução automática fornecida pelo PCT (Portuguese-Chinese

Translator) (Wong e Chao 2010)

• Tarefas • 1 tradução direta • 1 tradução inversa • 1 pós-edição em L1 • 1 pós-edição em L2

58

Desenho experimental

• Inputs • 4 textos: ca. 80 palavras/equivalentes – jornalísticos • 2 textos-fontes em chinês • 2 textos-fontes em português foco no texto 2 • Texto da tradução automática fornecida pelo PCT (Portuguese-Chinese

Translator) (Wong e Chao 2010)

• Tarefas • 1 tradução para L1 • 1 tradução para L2 • 1 pós-edição em L1 • 1 pós-edição em L2

59

Pressuposição teórica e perguntas de pesquisa

• Identity cohesive chains responsible for co-reference and participant tracking are crucial to construing a coherent representation of a text. (Halliday & Hasan 1976, Halliday 1989, Halliday & Matthiessen 2004)

• Do translation process data show evidence of the role of identity chains as exerting cognitive demands upon task executors?

• Translating demands more cognitive effort than post-editing (Carl et al 2011)

• Do data in our study confirm impact of task type on effort?

60

Cadeias coesivas do TF 1 Os brasileiros estão em lua-de-mel com o mundo. A Petrobras e sua presidente e sua presidente estão entre as maiores do mundo. Conforme uma revista americana, a presidente é uma das 100 maiores lideranças mundiais e a petrolífera estatal é uma das 10 maiores companhias do planeta. A revista classifica as empresas com base em diversos indicadores além do lucro. É por isso que a brasileira surge em posição de liderança na classificação. [Elipse] Está inclusive à frente de grandes como a Apple.

61

Cadeias coesivas do TF 1 Os brasileiros estão em lua-de-mel com o mundo. A Petrobras e sua presidente e sua presidente estão entre as maiores do mundo. Conforme uma revista americana, a presidente é uma das 100 maiores lideranças mundiais e a petrolífera estatal é uma das 10 maiores companhias do planeta. A revista classifica as empresas com base em diversos indicadores além do lucro. É por isso que a brasileira surge em posição de liderança na classificação. [Elipse] Está inclusive à frente de grandes como a Apple.

62

Texto-fonte 2

63

Cadeia principal e dispositivos coesivos TF2

64

Tipo de cadeia

Tokens no TF Explicitação dos referentes como

Correferência estabelecida através de

A o volume de produção atingiu 403 toneladas

-- não aplicável (primeiro item)

Isso

O fato que o volume da produção aumentou.

pronome demonstrativo

O aumento

O aumento da produção artigo definido + substantivo lexical (sinônimo)

essa quantidade

A quantidade do aumento da produção

pronome demonstrativo + substantivo lexical (superordenado)

B O gigante asiático

-- não aplicável (primeiro item)

no país

no país que é considerado o gigante asiático.

artigo definido + substantivo lexical (sinônimo)

o torna

o que torna o gigante asiático como tal.

pronome pessoal

na China

a China, que é o gigante asiático

substantivo lexical (sinônimo)

Qualidade dos dados

65

Task Subject Fixation duration

mean

Gaze time on screen

% of valid win gaze data

Post-editing P03 317 78.07 70.03 P09 366 91.98 83.15 P11 434 93.41 91.80 P15 439 82.85 77.56 P19 417 82.28 79.76 P23 365 86.81 79.37 Translation P04 421 89.24 76.75 P06 299 82.98 78.00 P07 222 63.81 61.95 P12 309 82.67 88.24 P18 301 49.59 43.56 P21 465 83.69 67.16 Post-editing MEAN 389.67 85.90 80.28 Translation 336.17 75.33 69.28

Table 1: Results for the three quality assurance criteria

Metodologia de análise

• Quantitativo • Linear Mixed-Effects Regression Model (LMER)

lmerTest na plataforma estatística R (3.0.2) (Baayen 2008, Balling 2008, 2013, Sjorup 2013)

• p<0.05 • Outros testes (Student’s T-Test; Mann Whitney U)

66

Metodologia de análise

67

Resultados

1. Is it cognitively more demanding to understand and produce a cohesive chain that is built on participant tracking than a secondary cohesive chain?

our results indicate that total reading time and duration of token production time are significantly longer on the TT, from which we infer that it is cognitively more demanding to understand and produce a chain built on participant tracking when it comes to the TT. However, no significant effect was observed for the metrics related to the ST. 2. In dealing with cohesive chains, is it cognitively more demanding to

translate than to post-edit? The results pointed to no significant impact of type of task on the measures

68

Referências bibliográficas • Baars, B. J., Gage, N. 2010. Cognition, Brain, and Consciousness. Burlington: Elsevier Academic Press • Baayen, R.H. 2008. Analyzing Linguistic Data: A practical introduction to Statistical Using R. Cambridge: Cambridge University Press. • Balling, L., and Michael Carl. 2014. “Production Time across Language and Tasks: A Large-scale Analysis Using the CRITT Translation Process Database.” In The Development of Translation Competence: Theories and Methodologies from Psycholinguistics and Cognitive Science, ed. by Schwieter, J., and Aline Ferreira, 239-268. Cambridge: Cambridge Scholar Publishing. • Balling, L.W. 2013. “Reading Authentic Texts: What Counts as Cognate?” Bilingualism: Language and Cognition 16 (3): 637-653. • _______. 2008. “A brief introduction to regression designs and mixed-effects modelling by a recent convert.” In Looking at Eyes: Eye-tracking Studies of Reading and Translation Processing (Copenhagen Studies in Language 36), ed. by Göpferich, S., Jakobsen, A. L., and Ingrid Mees, 175-192. Frederiksberg: Samfundslitteratur. • Bates, D., Maechler, M., Bolker, B., and Steven Walker. 2014. lme4: Linear mixed-effects models using Eigen and S4. R package version 3.1.2. Available at http://CRAN.R-project.org/package=lme4. • Carl, M. 2012. ‘Translog-II: a program for Recording User Activity Data for Empirical Reading and Writing Research’, in Proceedings of the Eighth International Conference on Language Resource and Evaluation. Istanbul 21-27 May 2012, Istanbul: European Language Resources Association, 4108-4112 • De Groot, A. M. B. 1997. The cognitive study of translation and interpretation: three approaches. In H. J. Danks, G. M. Shreve, S. B. Fountain e M. K. McBeath (eds). Cognitive Processing in Translation and Interpreting. Thousand Oaks, CA: Sage. 25-56. • Duchowski, A. T. 2007. Eye Tracking Methodology: Theory and Practice. London: Springer. • Hvelplund K. T. 2011. Allocation of Cognitive Resources in Translation: An Eye-Tracking and Key-logging Study. Tese de doutorado. Copenhagen: Samfundslitteratur. • O’Brien, S. 2009. Eye tracking in translation-process research: methodological challenges and solutions. In I. M. Mees, F. Alves e S. Göpferich (eds). Methodology, Technology and Innovation in Translation Process Research. (Copenhagen Studies in Language 38). Copenhagen: Samfundslitteratur. 251-266. • Rayner, K. 1998. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin 124: 372-422. • Ribeiro, P. L. 2006. O registo do movimento dos olhos durante a leitura de textos. Dissertação de Mestrado. Lisboa: Universidade de Lisboa. • Schmaltz, M. 2015. Resolução de problemas na tradução das metáforas linguísticas do chinês para o português. Tese de doutorado inédita. Macau: Universidade de Macau. • Schmaltz, M., da Silva, I., Pagano, A., Alves, F., Leal, A., Wong, D. F., Chao, L., Quaresma, P. 2016. Cohesive relations in text comprehension and production: An exploratory study comparing translation and post-editing. In Carl, M., Bangalore, S., Schaeffer, M. (eds.) New Directions in Empirical Translation Process Research: Exploring the CRITT TPR DB. (pp. 256-289). Berlin: Springer

69