RASTREAMENTO OCULAR E LEITURA DE GRÁFICOS: UM ESTUDO … › ensinopesq › ccpg › pibic... · às figuras 2, 3, 4 e 5 (título diretivo ou neutro e legenda à esquerda ou à direita)

Departamento de Letras

RASTREAMENTO OCULAR E LEITURA DE GRÁFICOS: UM ESTUDO SOBRE COMPREENSÃO MULTIMODAL

Aluna: Natalia Fernandes Orientadora: Erica dos Santos Rodrigues

Introdução Este relatório tem por objetivo reportar as atividades realizadas no primeiro ano

do projeto de iniciação científica voltado à investigação do processo de integração entre informação linguística e visual na leitura de textos em que gráficos de setores são usados para representar dados reportados no texto. A pesquisa vincula-se ao projeto de Rodrigues [1], do Departamento de Letras da PUC-Rio.

Pretende-se na pesquisa examinar como estudantes universitários processam textos em que gráficos de setores são usados para representar, ilustrar ou complementar informações sobre o conteúdo abordado no texto. As questões de fundo que norteiam a pesquisa são as seguintes: (i) Quais as representações e operações cognitivas envolvidas na leitura de gráficos?; (ii) O que pode representar custo para o processamento desse gênero?; (iii) Como se dá a comunicação entre os módulos linguístico e visual na leitura de textos em que gráficos estão inseridos?; (iv) Que fatores afetam o processo de integração entre informações provenientes das diferentes modalidades mobilizadas para a leitura de gráficos?

O estudo faz uso de metodologia experimental, com emprego da técnica de rastreamento ocular (eyetracking). Busca-se verificar, a partir de dados relativos aos movimentos oculares (tais como número e duração de fixações do olhar e trajetória ocular - scanpath), como os participantes leem textos multimodais. Na presente fase da pesquisa, está sendo analisado o processo de integração entre informação linguística e visual na leitura de gráficos de setores (pizza). Pretende-se identificar quais são os padrões de escaneamentodesse tipo de gráfico em função da disposição posicional da legenda e qual a influência de informação veiculada pelo título no processamento do material gráfico.

Objetivos

Objetivo geral:

- Investigar o processo de integração entre informação linguística e visual na leitura de textos em que gráficos de setores são usados para representar dados reportados no texto.

Objetivos específicos:

- Verificar influência de propriedades visuais, de natureza bottom-up, tais como cor, proporção, presença de legenda e de rótulos de dados, no processo de extração de informações de gráficos de setores;

- Avaliar papel de informação de natureza top-down, como título do gráfico, no processo de inspeção visual do gráfico;

- Verificar se há correlações entre os dados oculares, em especial aqueles informativos sobre rotas de leitura gráfico/texto, e desempenho em testes de compreensão;


- Especificar, com base nos resultados obtidos, principais fontes de dificuldade para o processo de integração entre informação linguística e visual na leitura de textos com gráficos.

Resenha da literatura Com a disseminação das novas tecnologias, o texto vem adquirindo cada vez

mais novas configurações, que transcendem a modalidade escrita da linguagem, gerando, assim, os chamados textos multimodais. Textos multimodais são aqueles que aliam o material linguístico e o visual, como ilustrações, como gráficos, tabelas, representações esquemáticas etc. Nessas circunstâncias, o leitor, precisa integrar informações provenientes de modalidades distintas, o que por sua vez pode requerer um tipo de conhecimento particular, como acontece, por exemplo, com textos que contenham gráficos, os quais mobilizam conhecimento de natureza estatística.

Antes de analisar como é compreendido esse gênero textual, convém explorar como esse material visual é criado e lido. Todos os gráficos, independentemente de suas diferenças individuais, apresentam a mesma anatomia, a mesma estrutura básica. Eles são constituídos de três elementos principais: o esqueleto (framework), o conteúdo (content) e os rótulos (labels) [2]. Contudo, é importante observar que, embora se possa considerar que todos os gráficos apresentam os componentes estruturais acima descritos, cada tipo de gráfico possui sua própria linguagem associada a esses componentes e a escolha do tipo de gráfico deve estar associada ao tipo de dado que se deseja exibir [3, apud 4]. Entre os tipos de gráficos mais comuns, destacam-se os gráficos de barras, de linha e de setores (de pizza).

Os gráficos de barras representam diferentes categorias e quantidades por meio de barras específicas. Do ponto de vista cognitivo, facilitam a comparação entre quantidades. Os gráficos de linha, por sua vez, estabelecem correspondência entre elementos dos eixos X e Y, e as linhas ligam os pontos de correspondência. Esse tipo de gráfico é útil na representação de tendências ao longo de uma dimensão temporal. Os gráficos de setores (chamados em português de gráficos de pizza e, em inglês, de gráficos de torta – pie charts) são a forma mais comum de representar a divisão de um todo em partes. Os valores numéricos correspondentes às partes do todo devem corresponder a frações de 360° (os setores do gráfico) [4].

Especificamente em relação às teorias de compreensão de gráficos, a leitura desse estímulo pode ser dividida em um conjunto de etapas: (i) a atuação de mecanismos de codificação bottom-up na percepção dos estímulos visuais, cujo output será uma representação mental chamada descrição visual; (ii) processo de identificação do tipo do gráfico (de colunas, de barras, de linhas, de setores, etc.) e consequente ativação do esquema gráfico; (iii) montagem de uma mensagem conceitual, a partir de informações extraídas do gráfico. No processo de compreensão gráfica, também podem atuar processos inferenciais, que operam sobre a mensagem conceitual permitindo ao leitor deduzir informações que não estão diretamente representadas no gráfico. Isso acorre, pois, durante a formação escolar, as pessoas são ensinadas, na escola, a ler certos tipos de gráficos, em especial, gráfico de barras, de linhas, circulares e pictogramas [5]. Trata-se de um letramento estatístico [6, 7].

Segundo pesquisas contemporâneas em compreensão multimodal de gráfico [8, 9, 10], a compreensão do conjunto gráfico-texto requer, do leitor, a construção de ligações referenciais entre as entidades gráficas e linguísticas, por meio do conhecimento do esquema gráfico.

Esquema gráfico é um conceito crucial para entender como o leitor, a partir do processamento da informação visual, consegue reconhecer um gráfico como pertencente


a um certo tipo (barras, linha, setores etc.) e, assim, dar início à extração de informações necessárias à compreensão do que está sendo representado.

Em termos gerais, um esquema pode ser definido como uma estrutura cognitiva complexa, que agrupa tudo o que um indivíduo sabe sobre um dado conceito ou a este associa [11]. Um exemplo clássico de esquema é aquele relacionado ao conceito de “restaurante”. Esse esquema irá compreender todos os elementos presentes em um restaurante – entre os quais o garçom, o gerente, os responsáveis pelo preparo do alimento, o cardápio, a refeição em si (com todas as sequências possíveis de pratos – da entrada à sobremesa), a conta, os objetos (mesas, cadeiras, pratos, copos, talheres, guardanapos) etc. Esse tipo de conhecimento esquemático é ativado toda vez que se está, por exemplo, lendo um texto sobre restaurantes. Com base nesse conhecimento, podem-se antecipar acontecimentos em um texto e relacionar incidentes em um texto ao que ocorre na vida real [4].

No processo de integração texto-gráfico, relações de correferência no domínio do discurso precisam ser estabelecidas entre os dois tipos de representação [12]. Com base nas propostas de processamento visual segundo as quais o output da informação visual é uma representação abstrata, de natureza proposicional, similar à representação resultante do processamento linguístico [13, 14, 15, 16], pode-se considerar que, para que haja integração entre informação verbal e visual, os dois tipos de representação devem encontrar correspondência. Vejamos um exemplo com gráfico de setores, envolvendo dois tipos de título: (i) título diretivo, que já aponta para uma fração do gráfico e (ii) título neutro, que faz referência a todas as porções do gráfico:

Exemplo (i) – título diretivo A maior torcida carioca de futebol é a do Flamengo

Exemplo (ii) – título neutro Maiores torcidas de times cariocas de futebol


No caso do primeiro exemplo, o título (diretivo) apresenta uma proposição

completa, envolvendo um predicador e um argumento. O predicador corresponde à sequência linguística “maior torcida carioca de futebol” e o argumento é “(torcida) do Flamengo”. O leitor deverá mapear essa informação no texto. Primeiro, deverá identificar na legenda a cor correspondente ao argumento – Flamengo – e, depois, identificar no gráfico a maior porção, correspondente ao predicador – maior torcida carioca de futebol.

No segundo exemplo, o título (neutro) apresenta apenas a informação correspondente ao predicador, expressa pela sequência linguística “Maiores torcidas de futebol cariocas”. O processo de integração, nesse caso, exige que o leitor busque os argumentos (times de futebol) na legenda e observe o gráfico para identificar como estão distribuídos.

A integração título-gráfico nos dois exemplos corresponde a processos distintos, os quais devem, por conseguinte, estar associados a padrões oculares diferentes no processo de escaneamento da legenda e do gráfico de setores.

Metodologia O experimento encontra-se em fase de finalização de organização dos estímulos

no software Ogama, para posterior aplicação.

Técnica experimental A pesquisa faz uso da técnica de rastreamento ocular, a qual consiste no

monitoramento, em tempo real, da posição relativa dos olhos durante tarefas que envolvem a visualização de estímulos visuais, sejam eles imagens, objetos ou textos escritos.

O rastreador funciona por meio da emissão de uma luz infravermelha dirigida aos olhos do usuário - a qual gera um reflexo na pupila - e do recolhimento de informações, como a duração e o trajeto do olhar, registradas por uma câmera de vídeo


integrado ao equipamento. A figura a seguir representa o processo de captura do dado ocular.

Figura 1: Uma fonte de luz é utilizada para causar padrões de reflexão sobre a córnea e pupila do participante do experimento. Uma câmera é então usada para capturar uma imagem do olho. A direção do olhar é então calculada usando os ângulos e distâncias. (Fonte: foram reproduzidas do site http://www.tobii.com/)

Design do experimento

Variáveis independentes: No estudo em andamento, dois fatores são manipulados: (i) tipo de título (título diretivo: A bebida alcoólica mais consumida por adolescentes é a cerveja vs. título neutro: Animais de estimação preferidos dos brasileiros) e (ii) posição da legenda em relação ao gráfico (direita vs. esquerda).

Condições experimentais As figuras abaixo, ilustram as 4 condições experimentais do experimento:

Figura 2: Título Diretivo; leg. à direita


Figura 3: Título Diretivo; leg. à esquerda

Figura 4: Título Neutro; leg. à direita


Figura5: Título Neutro; leg. à esquerda

Variáveis dependentes: Para identificar os possíveis padrões de escaneamento das informações na leitura de gráficos e também os fatores que podem representar custo nos processos de integração entre informação expressa no texto e nos gráficos, faremos uso de dados adquiridos por meio do rastreador ocular, entre os quais: número de fixações, duração média das fixações do olhar e trajetória ocular – scanpath.

Participantes: Estima-se a participação de um mínimo de 20 alunos cursando a graduação ou a

pós-graduação na PUC-Rio. Os voluntários irão ser informados sobre a pesquisa e receberão um TCLE para assinatura.

Materiais: Foram criados 32 textos multimodais: 16 estímulos experimentais semelhantes

às figuras 2, 3, 4 e 5 (título diretivo ou neutro e legenda à esquerda ou à direita) e mais 16 estímulos distratores (8 de gráficos de barra e 8 de linha, os quais também seguem o padrão de título diretivo ou neutro).

Em todos os casos, experimentais e distratores, houve preocupação com a veracidade das informações retratadas, as quais foram extraídas da internet. Além disso, os títulos dos estímulos – tanto diretivos quanto neutros – sempre seguem um padrão. Os títulos diretivos são sempre iniciados por artigo e a informação sobre o tema abordado na frase se encontra sempre ao final, como no exemplo “O gênero musical mais popular no Brasil é o sertanejo”. Já os títulos neutros nunca são iniciados por artigo e, para que a apreensão do conteúdo do tema da frase seja total, o participante deve buscar a informação no gráfico, como na figura 5 (apresentada na página anterior).

Quanto às fatias dos gráficos de setores e às legendas, ambas apresentam a mesma ordem e são sempre 4 de cada. Dessa forma, se o primeiro item da legenda for, por exemplo, “Celular”, a primeira fatia será referente à “Celular” - se o gráfico for lido no sentido horário. Contudo, as fatias e as legendas foram randomizadas, de forma que


não ocorresse efeito de priming1. Assim, a fatia maior, por exemplo, não ocupa sempre o lugar da primeira fatia. Isso faz com que o participante tenha de analisar todo o conteúdo exposto, para chegar à resposta correta. Além de tudo, as cores do gráfico, o tamanho do texto dos títulos, dos rótulos das fatias e das legendas são sempre iguais em todas as imagens.

Os gráficos, criados no Excel, foram colocados no PowerPoint, depois acrescentamos os títulos e convertemos os slides em imagens, para serem colocados no software OGAMA - Open Gaze and Mouse Analyser. Esse software permite gravar e analisar dados de rastreamento ocular e do mouse em experimentos de slideshow. OGAMA é um programa livre, escrito em C#.NET e lançado como um projeto de código aberto. Suas principais características incluem pré-processamento orientado a banco de dados e filtragem de dados do olhar e mouse, a criação de mapas de atenção, definição de áreas de interesse, cálculo de saliência, cálculo de distância de edição entre duas sequências de caracteres e replay (com gravação .avi) [20]. As figuras a seguir representam, respectivamente, slides com visualização em árvore, linha do tempo e pré-visualização, e caixa de diálogo de propriedades do slide.

Figura 6: Captura de tela do módulo Design de apresentação de slides com visualização em árvore, linha do tempo e pré-visualização (estilo Windows XP). (Fonte: foram reproduzidas do site http://www.ogama.net/sites/default/files/pdf/OGAMA-DescriptionV25.pdf)

1Priming ou “pré-ativação”, traduzido para o português [17], é o efeito que se refere à influência de algum fator de um estímulo apresentado anteriormente, o qual pode interferir na resposta dos estímulos apresentados posteriormente, sem que exista consciência do indivíduo sobre tal influência [18, 19].


Figura 7: Captura de tela da caixa de diálogo de propriedades do slide. (Estilo do Windows XP). (Fonte: foram reproduzidas do site http://www.ogama.net/sites/default/files/pdf/OGAMA-DescriptionV25.pdf)

Posteriormente, os movimentos oculares dos participantes serão capturados pelo rastreador ocular portátil modelo Tobii Pro X3-120Hz (https://www.tobiipro.com/product-listing/tobii-pro-x3-120).

Por último, será feito um breve questionário, que tem a função de nos informar sobre a formação escolar do participante e se ele se lembra do que viu nas imagens.

Procedimento: As sessões de gravação dos dados de cada um dos participantes serão realizadas

na PUC-Rio, fazendo uso do rastreador Tobii Pro X3-120Hz e do programa de gravação dos dados OGAMA. Os participantes serão instruídos a respeito da tarefa e se beneficiarão de um treinamento que consistirá na apresentação de 3 estímulos e simulação das ações deles requeridas. Ao final, cada um dos participantes responderá a um questionário em que deverá registrar, marcando com um “X”, os gráficos de que lembrar. Além disso, será solicitado que assinale a formação escolar, grau de familiarização com gráficos e aquilo que mais lhe chamar a atenção nos estímulos.

Para exemplificar como são registrados dados de rastreamento ocular pelo software Ogama, reproduzimos, a seguir, uma imagem do trabalho de Rodrigues & Ribeiro [21]. Nesse trabalho, os autores fizeram um estudo de caráter exploratório, com gráficos de setores. A imagem a seguir reproduz o scanpath do olhar de todos os participantes do experimento na condição “Título Diretivo”.


Figura 8: Scanpath do olhar de todos os participantes na condição “Título Diretivo”. Os números em vermelho “1, 2, 3....” representam a posição do olhar em ordem

cronológica. Já os traços amarelos, esses ilustram a direção do olhar. Nesse sentido, pode-se analisar por onde o participante iniciou o escaneamento da imagem, se ele moveu o olhar do título para a legenda, da legenda para o gráfico e etc.

Conclusão O experimento ainda se encontra em fase de teste; contudo, assim como foi

observado em estudo prévio [5], prevê-se que informações de natureza top-down, presentes nos títulos, podem influenciar o processo de mapeamento visual do gráfico. Além disso, nos gráficos de setores em que a legenda se encontra a esquerda, é pressuposto que haja um maior custo no processamento (expresso em termos de maior número e duração de fixações), pois o formato é atípico na apresentação desse tipo de gráfico.

Referências 1- RODRIGUES, E. dos S. Compreensão multimodal e letramento estatístico: pesquisas em psicolinguística envolvendo rastreamento de movimentos oculares. Programa de Pós-Graduação Estudos da Linguagem. 2- KOSSLYN, S. M. Graph design for the eye and mind. Nova York: Oxford University Press, 2006. 3- FRIEL, S.; CURCIO, F. e BRIGHT, G. Making sense of graphs: critical factors influencing comprehension and instructional implications. Journal for Research in Mathematics Education, vol. 32, nº 2, p. 124-158, 2001. 4- RODRIGUES, E. dos S.; FRAGOSO, L. da C. P. L.; RIBEIRO, A. J. C. Compreensão multimodal e rastreamento ocular na leitura de gráficos. In: MAIA, M. Psicolinguística e educação. Campinas, SP : Mercado de Letras, 2018, p. 133-172. 5- PINKER, S. A theory of graph comprehension. In: FRIEDLE, R. (ed.). Artificial intelligence and the future of testing. Norwood: Ablex, 1990, p. 73-126. 6- GAL, I. Adult statistical literacy: meanings, components, responsibilities. International Statistical Review, vol. 70, p. 1-25. Abril, 2002. 7- WALLMAN, K.K. Enhancing statistical literacy: enriching our society. Journal of the American Statistical Association, vol. 88, no 421, p. 1-8. 1993.


8- ACARTÜRK, C.; CAGILTAY, K.; ALACAM, O. Multimodal comprehension of language: graphs with and without annotations. Journal of Eye Movement Research, v. 1, n. 3, p. 1-15, 2008. 9- ACARTÜRK, C. Multimodal comprehension of graph, text constellations: aninformation processing perspective. Tese de Doutorado. Fakultat fur Mathematik, Informatik und Naturwissenschaften der Universitat Hamburg, 2009. 10- ACARTÜRK, C.; HABEL, C. Eye tracking in multimodal comprehension of graphs. In: COX, R.; DIEGO, J. P. S. (Eds.). Proceedings of the Workshop on Technology-Enhanced Diagrams Research, vol. 887, p. 11-25, Canterbury, UK. CEUR. 2012. 11- FIELD, J. Psycholinguistics: The Key Concepts. Londres: Routledge, 2004, p. 254. 12- ACARTÜRK, C. Multimodal comprehension of graphtext constellations: An information processing perspective. Dissertação. Hamburg, Alemanha: University of Hamburg, 2010. 13- PYLYSHYN, Z. W. What the mind's eye tells the mind's brain: a critique of mental imagery. Psychological Bulletin, n. 80, p. 1–24, 1973. 14- PYLYSHYN, Z. W. The imagery debate: analogue media versus tacit knowledge. In: Psychological Review, v. 88, nº 1, p. 16-45, 1981. 15- PYLYSHYN, Z. W. Mental imagery: In search of a theory. Behavioral and Brain Sciences, n. 25, p.157-238, 2002. 16- PYLYSHYN, Z. W. Seeing and Visualizing: It's Not What You Think. Cambridge, MA: MIT Press, 2003. 17- BORINE, M. Consciência, emoção e cognição: o efeito do priming afetivo subliminar em tarefas de atenção. Ciências & Cognição, 11, p. 67–79, 2007. 18- BARGH, J. What have we been priming all these years? On the development, mechanisms, and ecology of nonconscious social behavior. European Journal of Social Psychology, 36(2), 147–168, 2006. 19- BARGH, J. A., & Chartrand, T. L. Studying the mind in the middle: a practical guide to priming and automatic research. Handbook of Research Methods. In: Psychology. Reis H and Judd C, Editors. Cambridge University: New York, 2000. 20- OGAMA (OpenGazeAndMouseAnalyzer): An open source software designed to analyze eye and mouse movements in slideshow study designs. Disponível em: <http://www.ogama.net/> Acesso em 30 de julho de 2018. 21- RODRIGUES, E. dos S.; RIBEIRO, A. J. C. Lendo pizzas: dados de eyetracking sobre informação top-down na análise de gráficos de setores. ABRALIN –UFF, 2017.

Documents

RASTREAMENTO OCULAR E LEITURA DE GRÁFICOS: UM ESTUDO … › ensinopesq › ccpg › pibic... · às figuras 2, 3, 4 e 5 (título diretivo ou neutro e legenda à esquerda ou à direita)