Alfabetização e inclusão em quadros sensoriomotores · vantagem das habilidades alfabéticas introduzidas pelo ensino fônico e substituem os sis-temas pictoriais como recurso

1

III CIII CIII CIII CIII CONGRESSOONGRESSOONGRESSOONGRESSOONGRESSO I I I I IBEROBEROBEROBEROBERO-A-A-A-A-AMERICANOMERICANOMERICANOMERICANOMERICANO DEDEDEDEDE I I I I INFORMÁTICANFORMÁTICANFORMÁTICANFORMÁTICANFORMÁTICA NANANANANA E E E E EDUCAÇÃODUCAÇÃODUCAÇÃODUCAÇÃODUCAÇÃO E E E E ESPECIALSPECIALSPECIALSPECIALSPECIAL – CIIEE 2002 – CIIEE 2002 – CIIEE 2002 – CIIEE 2002 – CIIEE 2002

Alfabetização e inclusão em quadros sensoriomotores:Novos recursos de eficácia comprovada e diretrizes

para implementação na escolaFernando Capovilla (Ph.D., Livre docente)

Universidade de São Paulo

A palestra apresenta recursos recentemente disponibilizados paracomunicação, escolarização e inclusão de crianças que apresentam qua-dros neuromotores (ex.: paralisia cerebral, esclerose lateral amiotrófica),neurossensoriais (ex.: surdez congênita ou pré-lingual) e/ouneurolingüísticos (ex.: afasia, dislexias do desenvolvimento e adquirida),bem como para crianças com desenvolvimento sensoriomotor normal, masque apresentam persistentes dificuldades de aquisição de leitura e escri-ta. Apresenta os dados experimentais que comprovam a grande eficáciadesses recursos, explica como implementar esses recursos no dia a dia

da escola, e discute as implicações desses recursos e achados para a política de ensino.

A título de ilustração, para crianças com paralisia cerebral a palestra apresenta recur-sos como:

1) sistemas de multimídia para comunicação alternativa pictossilábica falante comvoz digitalizada, operáveis diretamente por tela sensível ao toque ou indiretamente por varre-dura e seleção pelo piscar, movimento grosso ou gemido (Capovilla, Capovilla, & Macedo,2002; Capovilla, Capovilla, Macedo, & Duduchi, 2002), que permitem à criança participar ati-vamente das atividades sociais e acadêmicas;

2) procedimentos avançados de alfabetização fônica eficaz (Capovilla & Capovilla,2000b, 2002a);

3) sistemas computadorizados falantes de escrita alfabética assistida que tiramvantagem das habilidades alfabéticas introduzidas pelo ensino fônico e substituem os sis-temas pictoriais como recurso fundamental de comunicação e educação da criança comparalisia cerebral (Capovilla, Gonçalves, & Macedo, 1998; Gonçalves, Macedo, Sennyey,& Capovilla, 2000)

4) sistemas de avaliação psicométrica e neuropsicológica de competência de leitu-ra silenciosa e em voz alta, de escrita, de vocabulário receptivo-auditivo e expressivo, deconsciência fonológica por produção oral e por escolha de figuras, e de uma série de outrashabilidades de capital importância à alfabetização e escolarização plenas da criança comparalisa cerebral, que permitem avaliar os grandes progressos educacionais obtidos pelaintrodução dos recursos de comunicação e alfabetização descritos (Capovilla, 2002a; Capovilla& Capovilla, 2002a; Capovilla, Thiers, & Macedo, 2002; Gonçalves, Macedo, Sennyey, &Capovilla, 2000; Lima et al., 2000)

Para crianças surdas, a palestra apresenta recursos educacionais derivados de dife-rentes filosofias da educação (Capovilla, 2001; Capovilla & Capovilla, 2002g; Capovilla,Capovilla, Viggiano et al., 2002) como:

1) testes de aplicação coletiva escolar para avaliação do desenvolvimento da leitu-ra e escrita em Português e do vocabulário receptivo-visual e expressivo em Libras (Capovilla

Fernando Capovilla

2


& Capovilla, 2001; Capovilla & Viggiano, 2002) normatizados para a população escolar surdado ensino fundamental (i.e., para alunos de 7 a 22 anos de idade);

2) sistemas de avaliação do desenvolvimento da linguagem oral e de sinais (incluin-do vocabulário receptivo e expressivo) em Português e Libras (Capovilla, Viggiano, Capovilla,& Macedo, 2002).

3) sistemas de indexação, busca e recuperação lexical de sinais por menusquirêmicos de sinais (Capovilla, Duduchi et al., 2001, no prelo, in press) que permitem a crian-ças surdas consultar dicionários de sinais da Libras e de outras línguas e resgatar diretamenteos sinais desses dicionários sem precisar da mediação da escrita alfabética em Portuguêsou Inglês;

4) o dicionário enciclopédico ilustrado trilíngüe da Língua de Sinais Brasileira(Capovilla & Raphael, 2001a, 2001b) com 9.500 verbetes e definições, thesaurus Inglês-Por-tuguês, 40.000 ilustrações da forma e significado dos sinais, capítulos sobre educação e sur-dez e sobre tecnologia e surdez;

5) a coleção de 19 livros intitulada O mundo do surdo em Libras (Capovilla & Luz,2002a, 2002b, 2002c, 2002d, 2002e, 2002f, 2002g; Capovilla, Raphael, 2002a, 2002b, 2002c,2002d, 2002e, 2002f, 2002g, 2002h, 2002i, 2002j; Capovilla & Viggiano, 2002) que permiteverter o currículo escolar para Libras e obter educação bilíngüe de qualidade;

6) a enciclopédia digital da Libras (Capovilla, Duduchi, & Rozados, 2002), com 5.600sinais da Libras acompanhados de seus respectivos verbetes em Português e Inglês e dasilustrações da forma e significado dos sinais, da classificação gramatical, definição, e exem-plos de uso funcional, e finalmente da descrição detalhada do sinal.

Para crianças com dificuldades de aquisição de leitura e escrita (Capovilla & Capovilla,2002a, 2002a, 2002d), os recursos de avaliação incluem avaliação auditiva (Portugal &Capovilla, 2002), de processamento auditivo central (Capovilla, 2002b), de discriminaçãofonêmica e velocidade de processamento fonológico e de memória fonológica (Capovilla &Capovilla, 2002f; Capovilla, Macedo, & Charin, 2001), de consciência fonológica por pro-dução oral e por escolha de figuras e vocabulário receptivo-auditivo (Capovilla & Capovilla,2002c; Capovilla, Macedo, & Capovilla, 2002a, 2002b), e decodificação grafofonêmica(Capovilla, Capovilla, & Macedo, 2001b). Os procedimentos de intervenção incluem maisde uma centena de novos procedimentos baseados no desenvolvimento de consciênciafonológica (Capovilla & Capovilla, 1999, 2000a) e método fônico (Capovilla & Capovilla,2000b, 2002; 2002d).

Referências bibliográficas

Capovilla, A. G. S., & Capovilla, F. C. (2000a). Efeitos do treino de consciênciafonológica em crianças com baixo nível sócio-econômico. Psicologia: Reflexão e Crítica, 13(1),7-24

Capovilla, A. G. S., & Capovilla, F. C. (2000b). Problemas de leitura e escrita: Comoidentificar, prevenir e remediar numa abordagem fônica (2a. edição). São Paulo, SP: Memnon-FAPESP.

3


Capovilla, A. G. S., & Capovilla, F. C. (2002a). Alfabetização: método fônico. SãoPaulo, SP: Memnon, Fapesp-CNPq.

Capovilla, A. G. S., & Capovilla, F. C. (2002b). Etiologia, avaliação e intervenção emdislexia do desenvolvimento. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Umaabordagem multidisciplinar (pp. 49-75). São Paulo, SP: Sociedade Brasileira deNeuropsicologia, Scortecci.

Capovilla, A. G. S., & Capovilla, F. C. (2002c). Instrumentos para avaliar desenvolvi-mento dos vocabulários receptivo e expressivo, e consciência fonológica, normatizados dematernal a segunda série e validados com medidas de leitura e escrita. In F. C. Capovilla(Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 305-316).São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci.

Capovilla, A. G. S., & Capovilla, F. C. (2002d). Método fônico para prevenção e trata-mento de atraso de leitura e escrita: Efeito em crianças de 4 a 8 anos. In F. C. Capovilla (Org.),Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 155-168). São Pau-lo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci.

Capovilla, A. G. S., & Capovilla, F. C. (2002e). Perfil cognitivo de crianças com atrasode escrita no International Dyslexia Test. In F. C. Capovilla (Org.), Neuropsicologia e aprendi-zagem: Uma abordagem multidisciplinar (pp. 283-298). São Paulo, SP: Sociedade Brasilei-ra de Neuropsicologia, Scortecci.

Capovilla, F. C. (2001). O implante coclear em questão: Benefícios e problemas, pro-messas e riscos. In F. C. Capovilla, & W. D. Raphael (Eds.), Dicionário Enciclopédico Ilustra-do Trilíngüe da Língua de Sinais Brasileira. Volume II: Sinais de M a Z (Vol. 2, pp. 1519-1546). São Paulo, SP: Edusp, Fapesp, Fundação Vitae, Feneis, Brasil Telecom.

Capovilla, F. C. (2002a) Neuropsicologia e aprendizagem: Uma abordagemmultidisciplinar. São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci.

Capovilla, F. C. (2002b). Processamento auditivo central: Demonstrando a validadede uma bateria de triagem para crianças de 6 a 11 anos. In F. C. Capovilla (Org.),Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 121-145). São Pau-lo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci.

Capovilla, F. C., & Capovilla, A. G. S. (1999). Phonological awareness training: Effectson metaphonological, reading and spelling skills in Brazilian children. Brazilian Journal ofDysmorphology and Speech-Hearing Disorders, 3, 45-66.

Capovilla, F. C., & Capovilla, A. G. S. (2001). Compreendendo o processamento docódigo alfabético: Como entender os erros de leitura e escrita de crianças Surdas. In F. C.Capovilla, & W. D. Raphael (Eds.), Dicionário Enciclopédico Ilustrado Trilíngüe da Língua deSinais Brasileira. Volume II: Sinais de M a Z (Vol. 2, pp. 1497-1516). São Paulo, SP: Edusp,Fapesp, Fundação Vitae, Feneis, Brasil Telecom.

Capovilla, F. C., & Capovilla, A. G. S. (2002f). Atraso na aquisição de leitura: Relação comproblemas de discriminação fonológica, velocidade de processamento e memória fonológica. In F.C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 173-192). São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci.

4


Capovilla, F. C., & Capovilla, A. G. S. (2002g). Educação da criança surda: Evoluçãodas abordagens. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma aborda-gem multidisciplinar (pp. 229-256). São Paulo, SP: Sociedade Brasileira de Neuropsicologia,Scortecci.

Capovilla, F. C., & Luz, R. D. (2002a). Sinais da Libras e o mundo da Alimentação,das Quantidades, Números e medidas. In: F. C. Capovilla (Org.). O Mundo do Surdo emLibras. (Vol. 13, de 19 volumes, 485 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., & Luz, R. D. (2002b). Sinais da Libras e o mundo da Natureza, dasCores e dos Animais. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 11, de 19volumes, 714 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., & Luz, R. D. (2002c). Sinais da Libras e o mundo das Leis e Política,Preocupações sociais, Violência e Drogas. In: F. C. Capovilla (Org.). O Mundo do Surdo emLibras. (Vol. 17, 19 volumes, 450 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., & Luz, R. D. (2002d). Sinais da Libras e o mundo dos Transportes, daEconomia, das Finanças e dos Negócios. In: F. C. Capovilla (Org.). O Mundo do Surdo emLibras. (Vol. 15, de 19 volumes, 430 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., & Luz, R. D. (2002e). Sinais da Libras e o universo do Corpo huma-no, da Medicina e Saúde, e da Sexualidade e reprodução. In: F. C. Capovilla (Org.). O Mundodo Surdo em Libras. (Vol. 12, de 19 volumes, 590 pp.). São Paulo, SP: Edusp, Vitae, BrasilTelecom, Feneis.

Capovilla, F. C., & Luz, R. D. (2002f). Sinais da Libras e o universo do Trabalho, dasProfissões e dos Equipamentos. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol.16, de 19 volumes, 560 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., & Luz, R.D. (2002g). Sinais da Libras e tudo que diz respeito a Luga-res, Orientação espacial, e Orientação temporal. In: F. C. Capovilla (Org.). O Mundo do Surdoem Libras. (Vol. 14, de 19 volumes, 820 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom,Feneis.

Capovilla, F. C., & Raphael, W. D. (2002a). Sinais da Libras e a vida das Pessoas. In:F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 5, de 19 volumes, 364 pp.). SãoPaulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., & Raphael, W. D. (2002b). Sinais da Libras e a vida em Família,Relações familiares, e Casa. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 3,de 19 volumes, 450 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., & Raphael, W. D. (2002c). Sinais da Libras e o mundo das Palavrasde função gramatical. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 8, de 19volumes, 340 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., & Raphael, W. D. (2002d). Sinais da Libras e o mundo dos Adjetivos.In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 9, de 19 volumes, 300 pp.). SãoPaulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

5


Capovilla, F. C., & Raphael, W. D. (2002e). Sinais da Libras e o mundo dos Substan-tivos. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 10, de 19 volumes, 1000pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., & Raphael, W. D. (2002f). Sinais da Libras e o mundo dos Verbos. In:F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 7, de 19 volumes, 375 pp.). SãoPaulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., & Raphael, W. D. (2002g). Sinais da Libras e o universo da Comuni-cação, dos Eventos e da Religião. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras.(Vol. 4, de 19 volumes, 385 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., & Raphael, W. D. (2002h). Sinais da Libras e o universo da Educa-ção. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 1, de 19 volumes, 340 pp.).São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., & Raphael, W. D. (2002i). Sinais da Libras e o universo das Artes ecultura, dos Esportes e do Lazer. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol.2, de 19 volumes, 330 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., & Raphael, W. D. (2002j). Sinais da Libras e o universo das Rela-ções humanas, dos Objetos pessoais, dos Documentos e do Vestuário. In: F. C. Capovilla(Org.) O Mundo do Surdo em Libras. (Vol. 6, de 19 volumes, 340 pp.). São Paulo, SP: Edusp,Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., & Viggiano, K. (2002). Como ler e escrever, comunicar-se, aprendere aferir aprendizagem em Libras. In: F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol18, de 19 volumes, 400 pp.). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., Capovilla, A. G. S., & Macedo, E. C. (2001a). Comunicação alternati-va na USP na década 1991-2001: Tecnologia e pesquisa em reabilitação, educação e inclu-são. Temas sobre desenvolvimento, 10(58-59), 18CE-42CE.

Capovilla, F. C., Capovilla, A. G. S., & Macedo, E. C. (2001b). Rota perilexical naleitura em voz alta: tempo de reação, duração e segmentação na pronúncia. Psicologia: Refle-xão e Crítica, 14(2), 409-427.

Capovilla, F. C., Capovilla, A. G. S., Macedo, E. C., & Duduchi, M. (2000). Avaliaçãopsicométrica-neuropsicológica e o uso de próteses sensório-motoras e cognitivas para reabi-litação em surdez congênita, paralisia cerebral, dislexia, afasia e esclerose lateral amiotrófica.In M. J. Gonçalves, E. C. Macedo, A. L. Sennyey, & F. C. Capovilla (Eds.), Tecnologia em(re)habilitação cognitiva 2000: A dinâmica clínica, teoria e pesquisa. (pp. 127-140). São Paulo,SP: Edunisc - Sociedade Brasileira de Neuropsicologia.

Capovilla, F. C., Capovilla, A. G. S., Viggiano, K. Q. F., Raphael, W. D., & Dente-Luz, R.(2002). O desafio do bilingüismo na educação do surdo: Descontinuidade entre a língua desinais e a escrita alfabética e estratégias para resolvê-la. In F. C. Capovilla (Org.),Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (261-274). São Paulo,SP: Sociedade Brasileira de Neuropsicologia, Scortecci.

6


Capovilla, F. C., Duduchi, M., Raphael, W. D., Luz, R. D., Rozados, D. (no prelo). Enci-clopédia digital da Língua de Sinais Brasileira e sistemas de indexação e busca de sinaisbaseadas em menus quirêmicos. Espaço: Informativo Técnico-Científico do INES.

Capovilla, F. C., Duduchi, M., Raphael, W. D., Luz, R. D., Rozados, D., Capovilla, A. G.S., & Macedo, E. C. (in press). Brazilian Sign Language lexicography and technology: Dictionary,digital encyclopedia, chereme-based sign-retrieval and quadriplegic deaf communicationsystems. Sign Language Studies.

Capovilla, F. C., Duduchi, M., Raphael, W. D., Luz, R. D., Rozados, D., & Macedo, E. C.(2001). BuscaSigno: Sistema computadorizado de busca quirêmica da Libras que recuperasinais por forma de mão e não verbete ou classe semântica. In F. C. Capovilla, & W. D. Raphael(Eds.), Dicionário Enciclopédico Ilustrado Trilíngüe da Língua de Sinais Brasileira. VolumeII: Sinais de M a Z (Vol. 2, pp. 1573-1602). São Paulo, SP: Edusp, Fapesp, Fundação Vitae,Feneis, Brasil Telecom.

Capovilla, F. C., Duduchi, M., & Rozados, D. (2002). Enciclopédia digital da Libras. In:F. C. Capovilla (Org.). O Mundo do Surdo em Libras. (Vol. 19, de 19 volumes, 60 pp. e CDROM). São Paulo, SP: Edusp, Vitae, Brasil Telecom, Feneis.

Capovilla, F. C., Gonçalves, M. J., & Macedo, E. C. (1998). Tecnologia em(re)habilitação cognitiva: uma perspectiva multidisciplinar. São Paulo, SP: Sociedade Brasi-leira de Neuropsicologia, Edunisc, Loyola.

Capovilla, F. C., Macedo, E. C., & Capovilla A. G. S. (2002a). Tecnologia para análisede emissões vocálicas em nomeação e leitura oral nas afasias e dislexias. In F. C. Capovilla(Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 327-346).São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci.

Capovilla, F. C., Macedo, E. C., & Capovilla, A. G. S. (2002b). Usando testescomputadorizados de competência de leitura silenciosa e em voz alta para mapear desenvol-vimento de rotas de leitura, e testes de compreensão auditiva e de leitura para diagnósticodiferencial da dislexia. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma abor-dagem multidisciplinar (pp. 355-379). São Paulo, SP: Sociedade Brasileira de Neuropsicologia,Scortecci.

Capovilla, F. C., Macedo, E.C., & Charin, S. (2001). Tecnologia e modelos na avalia-ção de compreensão em leitura silenciosa e de reconhecimento e decodificação em leituraem voz alta. In M. T. M. Santos, A. L. P. Navas (Eds.). Distúrbios de leitura e escrita: teoria eprática (pp. 97-167). São Paulo, SP: Manole.

Capovilla, F. C., & Raphael, W. D. (2001a). Dicionário Enciclopédico Ilustrado Trilíngüeda Língua de Sinais Brasileira. Volume I: Sinais de A a L (Vol 1, pp. 1-834). São Paulo, SP:Edusp, Fapesp, Fundação Vitae, Feneis, Brasil Telecom.

Capovilla, F. C., & Raphael, W. D. (2001b). Dicionário Enciclopédico Ilustrado Trilíngüeda Língua de Sinais Brasileira. Volume II: Sinais de M a Z (Vol. 2, pp. 835-1620). São Paulo,SP: Edusp, Fapesp, Fundação Vitae, Feneis, Brasil Telecom.

Capovilla, F. C., Thiers, V. O., & Macedo, E. C. (2002). Avaliação cognitiva de criançascom severos distúrbios motores: Versões computadorizadas, normatizadas e validadas de

7


testes de vocabulário, compreensão auditiva, leitura e inteligência geral. In F. C. Capovilla(Org.), Neuropsicologia e aprendizagem: Uma abordagem multidisciplinar (pp. 205-218).São Paulo, SP: Sociedade Brasileira de Neuropsicologia, Scortecci.

Capovilla, F. C., Viggiano, K., Capovilla, A. G. S., & Macedo, E. C. (no prelo). Siste-mas computadorizados de avaliação do desenvolvimento da linguagem oral e de sinais emPortuguês e Libras.

Gonçalves, M. J., Macedo, E. C., Sennyey, A. L., & Capovilla, F. C. (2000). Tecnologiaem (re)habilitação cognitiva 2000: A dinâmica clínica, teoria e pesquisa. São Paulo, SP:Sociedade Brasileira de Neuropsicologia, Edunisc.

Lima, J. L. P., Macedo, E. C., Capovilla, F. C., & Sazonov, G. C. (2000). Implantação eadaptação do sistema de comunicação NoteVox para uma pessoa com esclerose lateralamiotrófica: Um relato de caso. In M. J. Gonçalves, E. C. Macedo, A. L. Sennyey, F. C. Capovilla(Eds), Tecnologia em (re)habilitação cognitiva 2000: A dinâmica clínica, teoria e pesquisa.(pp. 347-353). São Paulo, SP: Edunisc - Sociedade Brasileira de Neuropsicologia.

Portugal, A. C., & Capovilla, F. C. (2002). Triagem audiológica: Efeitos de perda audi-tiva sobre vocabulário, consciência fonológica, articulação da fala e nota escolar de escolaresde primeira série. In F. C. Capovilla (Org.), Neuropsicologia e aprendizagem: Uma aborda-gem multidisciplinar (pp. 87-110). São Paulo, SP: Sociedade Brasileira de Neuropsicologia,Scortecci.

8


Fernando César Capovilla, Ph.D. (Temple University), Livre Docente (USP), Pro-fessor Associado, Instituto de Psicologia, USP

Psicólogo (1982) e Mestre em Psicologia da Aprendizagem e do Desenvolvimentopela Universidade de Brasília (1984), Ph. D. em Psicologia Experimental pela TempleUniversity of Philadelphia (1989), com medalha de Outstanding Achievement Award pelaPennsylvania Psychological Association, e Livre Docente em Neuropsicologia pelo Departa-mento de Psicologia Clínica da Universidade de São Paulo (2000). Ex-professor da TempleUniversity, da Universidade do Estado do Rio de Janeiro, da Universidade Estadual de Lon-drina, da Universidade de Brasília, da Universidade Federal de Uberlândia, e da PontifíciaUniversidade Católica de Campinas. Professor Associado do Instituto de Psicologia da USPe orientador do Programa de Doutorado em Psicologia Experimental. Chefe do Laboratóriode Neuropsicolingüística Cognitiva Experimental (Lance), do Laboratório de Tecnologia eReabilitação Cognitiva, e do Centro de Atendimento Clínico em Distúrbios de Comunicaçãoe Linguagem do Instituto de Psicologia da USP. Editor chefe do periódico Ciência Cognitiva:Teoria, Pesquisa e Aplicação, e membro do Conselho Editorial de diversos periódicos cientí-ficos nacionais e internacionais, como o canadense Augmentative and AlternativeCommunication. President-elect (1996-2000) do Brazilian Chapter, International Society forAugmentative and Alternative Communication. Autor de 25 livros e de mais de duas cente-nas de trabalhos científicos publicados, e co-autor de mais de uma centena de sistemas espe-cialistas de multimídia para diagnóstico, comunicação e reabilitação cognitiva em distúrbiosneuromotores (e.g., paralisia cerebral e esclerose lateral amiotrófica), neurolingüísticos (e.g.,dislexia e afasia) e neurossensoriais (e.g., surdez congênita profunda). Research Fellow doNational Institute of Mental Health. Ex-bolsista da Capes, Faperj e Fapesp, e bolsista deProdutividade CNPq. Co-autor de livros como: 1) Neuropsicologia e Aprendizagem; 2) Alfa-betização: Método fônico; 3) Dicionário enciclopédico ilustrado trilíngüe da Língua de SinaisBrasileira; 4) Problemas de leitura e escrita: Como identificar, prevenir e remediar numaabordagem fônica; 5) Neuropsicologia cognitiva da leitura: Novos modelos teóricos e impli-cações diagnósticas; 6) Tecnologia em (re)habilitação cognitiva 2000: A dinâmica clínica,teoria e pesquisa; 7) Manual ilustrado de sinais e sistema de comunicação em rede paraSurdos; 8) Tecnologia em (re)habilitação cognitiva: Uma abordagem multidisciplinar; 9)Avaliação da linguagem da criança; e 10) O mundo do surdo em Libras. Endereço eletrônico:[email protected].

1

III CIII CIII CIII CIII CONGRESONGRESONGRESONGRESONGRESSOSOSOSOSO I I I I IBEROBEROBEROBEROBERO-A-A-A-A-AMERICANOMERICANOMERICANOMERICANOMERICANO DEDEDEDEDE I I I I INFORMÁTICANFORMÁTICANFORMÁTICANFORMÁTICANFORMÁTICA NANANANANA E E E E EDUCAÇÃODUCAÇÃODUCAÇÃODUCAÇÃODUCAÇÃO E E E E ESPECIALSPECIALSPECIALSPECIALSPECIAL – CIIEE 2002 – CIIEE 2002 – CIIEE 2002 – CIIEE 2002 – CIIEE 2002

Sile O’Modhrain

Reflections on the use of computer-generated haptic feedbackin learning tools for the blind

M. Sile O’Modhrain

Media Lab Europe

Sugar House Lane

Bellevue

Dublin 8

Ireland.

Tel.: 353 1 4742844

Fax.: 353 1 4742809

Email: [email protected]

Abstract:

The emerging medium of computer-generated haptic feedback has been hailed as apotentially rich modality for presenting information to blind computer users. Many researchershave explored ways to employ programmable haptic feedback to enhance speech in conveyingthe spatial components of graphical interfaces. At the same time, researchers in the field ofscientific data visualization have begun to employ haptic feedback to convey to the sense oftouch properties of simulations that are dynamic e.g. shifting centers of mass, changes inrate of change, and so on.

A very few researchers have exploited the power of combining both of these strandsof enquiry, to bring to blind learners the power of computational simulation through touch,and to provide tools to explore multiple representations of complex phenomena.

This paper attempts to step back from the coalface of application development inorder to assess how and where the power of computer-generated haptic feedback mightbest be employed in the development of computational tools for blind learners.

1) Introduction

The past ten years have seen a growing interest in haptic interfaces, computer-controlled robotic devices which convey the feel of virtual textures, objects and environmentsto the human haptic senses, the senses of touch and kinesthesia. In a recent report, theComputer Sciences Corporation identified haptic technologies as one of a number of so-

2


called “disruptive technologies”, technologies that are so radical that they are likely to renderentire industries obsolete. [1] Certainly there has been a rapid increase in the number ofcommercially available haptic display devices, parallelled by an increasing number ofapplications using haptics - from game controllers to car stereo controls to medical trainingand telerobotics applications.Though it has long been identified as a potentially rich mediumfor enhancing computer interfaces for blind computer users [2, 3, 4] computer-generatedhaptic feedback has yet to find its way into commercially available access solutions for theblind. There are, I believe, a number of reasons why this is so, some of which are related tothe devices themselves and others to the capabilities of the human haptic system. In thefollowing pages, I will draw on studies both in the areas of human haptic perception andhuman-computer interaction to show that, where appropriate, haptic feedback can usefullycomplement other forms of information presentation in learning environments.

2: Haptic Perception and Haptic Display

The human haptic system is a complex sensory system with sensory receptorsdistributed throughout the body in skin, muscles and joints. Most of its receptors are so-called mechano-receptors, which transduce mechanical energy resulting from contact withthe environment into electrical signals that pass along nerve fibres to the somatosensorycentres in the brain. Unlike the auditory and visual systems, the haptic system has manypoints of contact with the world and many ways of receiving information as we move in andact on our environment. Designing a display device to engage the haptic system that is asgeneral in function as the screen is for vision or the loud speaker for sound is a non-trivialtask because, ideally, it requires us to encode and present many neuances of haptic stimulito which different parts of the haptic system normally respond - surface texture, object shape,object compliance, vibration, motion cues and so on. Though there are display devicescapable of conveying one or more of these cues, no device exists which is capable of conveyingall these cues similtaneously.

Broadly speaking, there are four classes of devices which display information to thehaptic senses under computer control - tactile display devices such as braille displays,vibrotactile displays such as rumble packs, pager motors and vibrotactile mice, motion displayssuch as vehicle simulaters and force-feedback displays. Of these four categories, force-feedback displays are the most versatile since they can be used both to display properties ofobjects such as rigid surfaces and textures, as well as vibration and motion cues. They arecurrently the most widely available haptic feedback devices within the context of human-computer interaction and are supported by consumer gaming and interface protocols.

(Note: though thermal and electrocutanious displays do exist, they are not yet ingeneral use within the field of human-computer interaction. Tactile displays are available,usually in the form of braille displays. While being adequate for the display of braille characters,their structure does not permit the display of fine-grain textures of variable height or even linegraphs of variable complexity. Considerable technical challenges must still be overcomebefore general-purpose tactile displays reach the consumer market.)

Force-feedback displays are small robotic devices which are capable of outputtingforces in response to the motion of a puck or handle which is held by the user. The relationshipbetween the position of the user’s hand and the forces generated by the device is determinedin software. In this way, it is possible to create for the user the impression of touching a rigid

3


surface, moving over a texture or moving through a viscous fluid simply by changing thealgorithm controlling the haptic device. The effect for the user is one of probing a virtualenvironment with a hand-held tool like a pencil with an infinitely fine point. Such devices arein fact referred to as “point-based haptic displays.”

The biggest drawback of point-based displays is that they do not support the kinds ofexploratory hand movements we normally employ when investigating objects through touch.As Lederman and Klatsky have shown [5], the hand movements we use when allowed tofreely explore an object are stereotypical and fall into categories that correspond to theobject property we are interested in. When exploring an object’s texture, for example, wetypically move our fingers over its surface in lateral sweeping motions, whereas we will makejudgements of size and shape by enclosing part or the entire object in our hand. Ledermanand Klatsky call these stereotypical hand movements “exploritory procedures” or “eps [5].”When we are constrained to explore the world using only a pointed tool, some of these epsare no longer available to us—We cannot, for instance, make judgements of size by enclosingan object in the hand. The consequence of point-based haptic interaction for object explorationis that properties associated with eps which can still be performed with a prrobe (e.g. lateralmotion for texture, contour-following for edge detection) are easier to perceive than thosewhich cannot (e.g. enclosure for size and shape detection.) Though properties such as sizeand shape can still be detected using a probe, the eps used with a probe are fall-back epswhich are sufficient, but not optimal, for the task [6]. In short, one reason why point-baseddevices are not really sutible for object exploration ideal is that they provide access to asubset of the manipulation strategies we normally use when exploring objects in the realworld. For blind users there is an additional cognitive burden because, lacking the support ofan on-screen image, they must build a mental representation of the object by integratingtraces of its boundaries and surfaces over time [7]. For this reason, considerable care mustbe taken when designing haptic environments for blind computer users.

(note: hand-based exo-skeletons have been developed which support whole-handhaptic interaction with virtual objects. Currently these do not have the robustness, outputforce capability or position resolution of grounded haptic displays but it can be expected thatthey will reach the consumer market and provide a viable alternative to point-based hapticinteraction.)

While point-based haptic displays present some limitations for haptic interaction withvirtual objects, there are many situations in which they can be used very effectively. In tool-mediated tasks, such as surgical training for example, it is possible to simulate the feel of avirtual tool tip as it acts on its environment. Here the affordances of the point-based hapticdevice are aligned closley with the affordances of the point-based virtual tool tip beingsimulated. A further area where point-based devices have been used to great effect is thatof haptic scientific visualisation, particularly in simulations of systems with complex dynamicbehaviour. Physics, chemistry, engineering, and mathematics curricula are full of abstractprinciples and physical concepts, many of which are inherently dynamic in nature - gravity,inertia, springs, damping, friction, momentum, fluid flow, and so on. Since our understandingof these phenomena is most often based on experience (lifting objects against the force ofgravity, rotating tools and feeling inertial forces, etc.), this understanding is mediated by ourhaptic senses, which in turn are finely tuned to interpret dynamic properties in our environment.Furthemore, many of these properties are still available to us when our interaction with theworld is mediated by tools [8]. For this reason, the simulation of dynamical systems is stillremarkably effective even when restricted to point-based haptic interaction with a simulated

4


environment. Examples of the use of haptics in simulation of dynamical systems include therendering of forces applied to molecules in a steered interactive molecular dynamics simulationtool [9], and haptics-augmented activities to reinforce concepts presented throughout ahighschool physics course [10].

3) Some Examples and some Guidelines

Given the foregoing considerations, how might a designer approach the task ofincorporating haptic feedback into tools for blind learners? As with the design of any applicationfor the blind, the process must begin by addressing the question of representation. Shouldthe goal be to provide the blind learner with access to an existing tool being used by theirpeers, complete with its visual metaphors, so that the representation of the domain beingexplored is common, or should the tool be designed from the bottom up to interpret for thesense of touch the underlying phenomenon being explored? Most existing work in the domainof haptic interaction for blind computer users falls into the first category, rendering objects,desktop widgets and tactile graphs and drawings. As such, these applications make use ofhaptic feedback to convey spatial components of a task, supporting these with speech andnon-speech audio for content description. Several research projects are ongoing, some ofwhich are providing useful guidelines for the development of such applications. Sjöströmand collegues at Lund University in Sweden have conducted a series of studies in whichblind computer users have interacted with a variety of environments including haptic desktops,3D haptic sceenes with many objects and games. Their work has produced a series ofguidelines relating to the design of haptic interaction for blind users [11, 12]. With respect tothe understanding of objects, they suggest that objects might not always have to feel “real”,and that there may be a benefit to helping the user follow the outline of the object by giving itan attractive wall to guide the user’s hand, so improving the process of mentally integratingits shape. Where there are many objects in a space, they should not have boundaries tooclose together as the accelleration of the fingertip caused by pushing through a force barriercan result in nearby boundaries being overshot. As Miller et al have shown, this problem ismost apparent when trying to represent menues and buttons on a desktop [13]. Sharpedges and corners are also difficult to understand when felt from the outside because theuser looses contact with the surface of an object when an edge ends, interupting their cognitivemapping of the object. Users also find it hard to judge the size of angles, believing thatangles are more acute than they really are [12]. Most importantly, in helping a user navigatea virtual haptic space, they recommend providing well-defined and easy-to-find referencepoints in the environment - corners and boundaries for a space, etc. - and that this frame ofreference, once established, should remain constant for all activities in the environment.Clutter, too is an important issue. Most haptic devices have limited workspaces and, combinedwith the point-based nature of the interaction, can easily become crowded with detail. Further,as Fritz and Barner have shown [1, 14], a tactile image is much more meaningful if it isreduced in complexity to the equivalent of a line drawing so that only its underlying structuralcomponents remain.

Beyond the rendering of images of real objects, haptic feedback has been used torender for blind users vareous types of abstract data representations. The mostcomprehensive work in this area is being carried out at Glasgow University where researchersin the GIST group are conducting a long-term project on multi-modal visualization of graphs

5


and tables (the Multivis project.) In evaluating the use of point-based haptic displays forrendering line graphs, they concluded that it is not appropriate to simply render haptically avisual graph because a) it is probably too complex and b) information such as numeric valuesand lables are most appropriately conveyed using speech or braille, leaving the haptic channelfree to explore the contour of lines and their relationship to each other. Furthemore, simpletechniques like rendering lines as v-shaped grooves and differenciating lines by giving themdifferent levels of surface friction made the graphs much easier to understand [15]. In afurther study, Yu et al also added non-speech audio to indicate general trends in graphs.They asked both blind and blindfolded sighted participants to judge the relative size ofsegments of a pie chart and discovered that, by combining haptic and auditory feedback,they could improve performance when compared to either haptic feedback alone or auditoryfeedback. They also added a “tour” feature, which took the user’s hand on a tour of the edgeof the pie chart at constant speed, so making comparison of segment sizes easier [16].

As noted earlier, the majority of work in the field of haptic interaction for blind computerusers has concentrated on spatially-based haptic environments which retain most if not all ofthe structural elements of the corresponding visual representation. However, given the knownlimitations of point-based haptic interaction, particularly for blind users who have the additionalburden of mentally constructing spatial models from point-based traces, it seems that someattention should be given to other capabilities of force feedback devices - namely to the factthat they can also display vibration and motion cues and can guide a user through a hapticspace. Yu et al [15] have shown that such cues can be used to great effect in enhancinghaptically rendered graphs, but few other researchers have tapped this potentially rich sourceof meaningful haptic cues. One exception is the work carried out by Wise et al [17], whoexplored the use of a wide range of haptic cues in an accessible science tutorial for blindhighschool and college physics students. Taking the example of the behavior of an electriccharge on the surface of a sphere, they developed a metafore which mapped polarity andsize of electric charge to the direction and amplitude of a spring force displayed using a forcefeedback mouse. The closer the mouse was to the edge of the sphere, the smaller thespring force, the direction of the force depending on whether the pointer was inside or outsidethe sphere. Students explored the simulated charged sphere and collected data which theycould later plot. The plot function offered several ways of feeling data points: the studentcould feel the points as notches in a groove, step through the points by having the mousemove from one to the next, or take a tour of the entire plot under the mouse’s guidance. Inother words, there were multiple representations of the data plot, each of which highlighteddifferent aspects of the relationship between data points. The design of the plot-readingfunctions reflected a desire on the part of the corriculum developers to provide for blind usersseveral “views” of the same phenomena, acknowledging that often the cost of producingaccessible materials prohibits the provision of a rich range of representations. One advantageof software-controlled rendering techniques is that it becomes much easier to provide suchrepresentations at will. Responses to an evaluation survey lead the authors to conclude thathaptic feedback could provide information in this context not available through traditionalaccess technologies.

While this example takes accessible haptic feedback beyond the rendering of datato the relm of interactive simulation, it does present some interesting questions: Firstly, forsuch simulations to be successful, there must exist a powerful metafore that can function ina haptic-only domain. In this case, the metafore was a spring, an object whose behaviour ismost often experienced through touch. However any metafore is subjective and must becarefully constructed. In time it is conceivable that a language of metafore for haptic interaction

6


will evolve and it is possible that it would be driven by the development of haptic applicationsfor the blind. Secondly, might the need to design haptically enhanced applications for blindlearners lead to a richer representation for all learners? Certainly the science corriculummodule described here was designed to be used by blind children in conjunction with theirsighted colleagues. Though no sighted students took part in the evaluation, the physicsteachers who designed the module were excited by its potential to provide multiplerepresentations of phenomena for sighted students as well.

4: Conclusions:

As with any good learning tool, tools for blind learners that employ haptic feedbackshould do so in order to provide appropriate representations of information that allows thelearner to make connections. Several researchers have shown that haptic feedback canfunction to enrich interaction for blind learners, if it is strategically employed. With currentlimitations to the display technology available, such applications should build on the strengthsof point-based interaction, rather than focusing on forcing the human haptic system to beused in a non-ideal mode and thereby increasing the cognitive load on the user.

As can be seen from the forgoing discussion, there are many haptic effects whichlend themselves well to point-based interaction - surface discrimination, dynamic effects andso on, and it is these effects which should be the building blocks of haptic learning tools.

As we move toward an era where we are increasingly relying on machine-mediatedinteraction to perceive, understand and control things outside our visual reach e.g. keyholesurgery, micro and nanno assembly, and so on, tools that allow us to explore and interactwith the invisible world will be required, and computer-based haptic feedback will be a keycomponent of these tools. There is a real need for learning and exploration tools that allowpeople to engage with phenomena beyond our normal sensory thresholds. in searching forways to represent this invisible, intangible world of bits and atoms, we will need to find waysto represent and manipulate information and behavioural dynamics. As we develop tools forblind learners, that allow them to perceive, explore, interact with and control complex dynamicsystems, imagine how these tools could inform the design of tools for a much wider populationof learners.

5: References

[1] http://www.csc.com/newsandevents/news/1750.shtml

[2] Fritz, J.P. and Barner K. E. Design of a haptic graphing system.

Proceedings of the RESNA ’96 Annual Conference Exploring New Horizons...Pioneering the 21st Century (1996A) p. 158-160.

[3] O’Modhrain and Gillespie. The Moose: A Haptic User Interface for Blind Persons.Proceedings of the WWW6 (1996).

[4] Ramstein, C., Century, M. Navigation on the Web using Haptic Feedback.Proceedings of the international symposium on Electronic Art ISEA’96.

7


[5] Lederman, S.J. and Klatzky, R.L. “Hand movements: A window into haptic objectrecognition,” in Cognitive Psychology, Vol. 19, No. 3, pp. 342-368, 1987.

[6] Lederman, S.J. and Klatzky, R.L. “Flexible exploration by human and robotichaptic systems,” in Proceedings of the 12th Annual International Conference of the IEEE/Engineering in Medicine and Biology Society, Vol. 12, No. 5, 1990.

[7] Magnusson, C., Rassmus-Grohn, K., Sjostrom, C. & Danielsson H. “Navigationand Recognition in Complex Haptic Virtual Environments - Reports from an Extensive Studywith Blind Users” in Proceedings of EuroHaptics 8-10 July 2002, Edinburgh, UK.

[8] Turvey, MT, Solomon, HY, & Burton, G. (1989). “An ecological analysis of knowingby wielding”. Journal of the Experimental Analysis of Behavior, v52, p.387-407

[9] Stone, J. E., Gullingsrud, J., Schulten, K., Grayson, P., “A System for InteractiveMolecular Dynamics Simulation” 2001 ACM Symposium on Interactive 3D Graphics, p. 191-194, New York, 2001, ACM SIGGRAPH

[10] William, R.L. II, Chen, M.Y., Seaton, J.M., “Haptics-Augmented High SchoolPhysics Tutorial” International Journal of Virtual Reality. http:www.ent.ohiou.edu/~bobw/PDF/IJVR2001.pdf October, 2001

[11] Sjöström, C. The IT Potential of Haptics – Touch Access for People withDisabilities, Licentiate Thesis Certec, Lund University, Sweden, 1999.

[12] Sjstrm,, C. Using Haptics in Computer Interfaces for Blind People Certec,Lund University, Sweden. url http://www.citeseer.nj.nec.com/506504.html

[13] Miller, T., Zeleznik, R. An insidious haptic invasion:

Adding Force Feedback to the X desktop, Proc. of the Third PHANToM User GroupWorkshop, Dedham, MA, 1998.

[14] Fritz, J. P., Barner, K. E. Design of a Haptic Visualization System for People withVisual Impairments, IEEE Transactions on Rehabilitation Engineering, vol. 7, No 3, 1999, pp372-384.

[15] Yu, W., Ramloll, R., Brewster, S.A. and Riedel, B. Exploring computer-generatedline graphs through virtual touch. IEEE ISSPA 2001 (Kuala-Lumpur, Malaysia), IEEE.

[16] asked blind and blind-folded sighted subjects to explore Pie charts using hapticand auditory feedback.

[17] Wies E., Gardner J., O’Modhrain M., Hasser C & Bulatov V., “Web-based TouchDisplay for Accessible Science Education”, Haptic Human-Computer Interaction.

Springer LNCS, Vol 2058. 2000. pp 52-60.

Dr. O’Modhrain earned her undergraduate degree in Music from Trinity College, Dublin,and her Ph.D.from Stanford University’s Center for Computer Research in Musicand Acoustics(CCRMA.) Her dissertation investigated the potential role for haptic feedback in interfacesfor computer-based musical instruments.

8


Before embarking on her Ph.D. studies, she worked as a sound engineer andproducerfor BBC Network Radio. In 1994, she received a Fulbright Scholarship and went toStanford to develop a prototype haptic interface augmenting graphical user interfaces forblind computer users. In 1998, she received a Stanford Centennial Teaching Award inacknowledgment of outstanding performance in teaching. For the past 3 years, she hasbeen a consultant for Immersion Corporation on an NSF SBIR grant to investigate the potentialfor haptic feedback in distributed web-based science education packages for blind schoolchildren.

1

III CIII CIII CIII CIII CONGRESONGRESONGRESONGRESONGRESSOSOSOSOSO I I I I IBEROBEROBEROBEROBERO-A-A-A-A-AMERICANOMERICANOMERICANOMERICANOMERICANO DEDEDEDEDE I I I I INFORMÁTICANFORMÁTICANFORMÁTICANFORMÁTICANFORMÁTICA NANANANANA E E E E EDUCAÇÃODUCAÇÃODUCAÇÃODUCAÇÃODUCAÇÃO E E E E ESPECIALSPECIALSPECIALSPECIALSPECIAL � CIIEE 2002 � CIIEE 2002 � CIIEE 2002 � CIIEE 2002 � CIIEE 2002

Reflexões sobre o uso de resposta tátil gerada por computadorem ferramentas de aprendizagem para os cegos

M. Sile O�ModhrainMedia Lab EuropeSugar House Lane

BellevueDublin 8Ireland.

Fone: 353 1 4742844Fax: 353 1 4742809

e-mail: [email protected]

Resumo:

A emergente mídia baseada em resposta (feedback) tátil gerada por computador tem sido aclamada comouma modalidade potencialmente rica para a apresentação de informações aos usuários de computadoresque são cegos. Muitos pesquisadores já exploraram formas de empregar a resposta tátil programável a fimde melhorar a fala na comunicação de componentes espaciais presentes nas interfaces gráficas. Paralelamentea isso, os pesquisadores da área de visualização de dados científicos começaram a utilizar a resposta tátilpara transmitir ao sentido do tato as propriedades de simulações dinâmicas como, por exemplo, translado decentros de massa, mudanças em taxas de variações e assim por diante.

Pouquíssimos pesquisadores exploraram a capacidade de se combinar essas duas linhas de estudo paraproporcionar aos aprendizes cegos o poder da simulação computacional por meio do toque e propiciarferramentas para a exploração de representações múltiplas de fenômenos complexos.

Este trabalho é uma tentativa de se distanciar das condições práticas do desenvolvimento desses aplicativoscom o intuito de avaliar como e onde o poder da resposta tátil gerada por computador pode ser mais bemempregada para a criação de ferramentas computacionais para aprendizes cegos.

1) Introdução

Os últimos dez anos testemunharam o crescimento do interesse por interfaces táteis, dispositivos robóticoscontrolados por computador que transmitem a sensação de texturas, objetos e ambientes virtuais aossentidos táteis humanos, os sentidos do tato e da sinestesia. Em um relatório recente, a Computer SciencesCoorporation identificou as tecnologias táteis como estando dentre as chamadas �tecnologias revolucionárias�,aquelas tecnologias que são tão radicais que são capazes de tornar segmentos inteiros obsoletos. [1]Certamente, houve um rápido aumento no número de dispositivos de comunicação tátil de uso comercial, aomesmo tempo em que se verificou uma elevação do número de aplicativos que utilizam sensações táteis �de controladores de jogos e controles de som estéreo de automóveis até aplicações de treinamento médicoe de telerobótica.

Embora tenha sido identificada há bastante tempo como uma mídia potencialmente rica para o aperfeiçoamentodas interfaces de computadores para usuários cegos [2, 3, 4], a resposta (feedback) tátil gerada por computadorestá por encontrar uma forma de penetração no mercado de soluções de acesso para os cegos. Existem,creio eu, várias razões para isso, algumas das quais estando ligadas aos dispositivos em si e outras àscapacidades do sistema tátil humano. Nas páginas a seguir, vou me valer de estudos das áreas de percepçãotátil humana e de interação entre seres humanos e computadores para demonstrar que, em certos casos, aresposta tátil pode constituir um útil complemento a outras formas de apresentação de informações emambientes de aprendizagem.

2


2: Percepção Tátil e Comunicação Tátil

O sistema tátil humano é um sistema sensorial complexo dotado de receptores sensoriais distribuídos portodo o corpo: pele, músculos e articulações. A maior parte de seus receptores é chamada de mecanoreceptores,que convertem energia mecânica resultante do contato com o meio externo em sinais elétricos que perpassamas fibras nervosas até alcançar os centros somatosensoriais do cérebro. Diferentemente do sistema auditivoe do sistema visual, o sistema tátil possui vários pontos de contato com o mundo e muitas formas de receberinformações à medida que nos deslocamos e agimos no nosso ambiente. A criação de um dispositivo decomunicação para envolver o sistema tátil cuja função seja tão genérica quanto a da tela para a visão e a doautofalante para a audição é uma tarefa nada trivial, pois, em termos ideais, exige que decodifiquemos eapresentemos várias nuances dos estímulos táteis para os quais diferentes partes do sistema tátil normalmentereagem: textura de superfícies, forma e flexibilidade de objetos, vibração, sinais de movimento e assim pordiante. Embora existam dispositivo de comunicação capazes de transmitir um ou mais desses sinais, não hádispositivos capazes de transmitir todos esses sinais simultaneamente.

Em termos gerais, existem quatro categorias de dispositivos que comunicam informações para os sentidostáteis sob o controle de um computado: dispositivo de comunicação tátil, como os mostradores Braille; osaparatos vibrotáteis, como os �rumble packs�, os sistemas de vibração dos �pagers� e os mouses vibrotáteis;mostradores de movimento, como os simuladores de veículos; e os dispositivos de reação à força. Dessasquatro categorias, os dispositivos de reação à força são os mais versáteis, visto que podem ser usados tantopara a comunicação de propriedades de objetos, como superfícies rígidas e texturas, bem como vibração esinais de movimento. Atualmente, constituem os dispositivos de resposta tátil mais amplamente disponíveisno contexto da interação entre seres humanos e computadores, sendo encontrados em jogos eletrônicos eprotocolos de interface.

(Observação: embora existam dispositivos térmicos e eletrocutâneos, eles ainda não são usados de formaampla no campo da interação entre seres humanos e computadores. Estão disponíveis aparatos táteis, emgeral na forma de mostradores Braille. Apesar de ser adequado para a exibição de caracteres em Braille, suaestrutura não permite a exibição de texturas de granulação fina de altura variável ou mesmo de gráficos delinhas de complexidade variável. Desafios técnicos consideráveis ainda estão por ser superados antes queos aparatos táteis de uso genérico cheguem ao mercado de consumo.)

Os aparatos de reação à força são pequenos dispositivos robóticos capazes de produzir forças em respostaao movimento de um disco ou de uma alavanca que pode ser manuseada pelo usuário. A relação entre aposição da mão do usuário e as forças geradas pelo dispositivo é determinada por um software. Dessaforma, é possível provocar no usuário a sensação de estar tocando em uma superfície rígida, de estar semovendo sobre uma textura ou se movendo em um fluido viscoso, bastando para isso alterar o algoritmo quecontrola o dispositivo tátil. O efeito para o usuário é o de estar explorando um ambiente virtual com uminstrumento manual, como um lápis com uma ponta infinitamente fina. Na verdade, esses dispositivos recebemo nome de �dispositivos táteis pontiagudos�.

A maior desvantagem dos dispositivos pontiagudos é sua incompatibilidade com os tipos de movimentosexploratórios da mão que normalmente fazemos quando examinamos objetos pelo toque. Conforme foidemonstrado por Lederman e Klatsky [5], os movimentos da mão que fazemos quando podemos explorarlivremente um objeto são estereotipados e se enquadram em categorias que correspondem à propriedadedo objeto que nos interessa. Quando exploramos a textura de um objeto, por exemplo, normalmente passamosos dedos sobre a superfície com movimentos laterais abrangentes, enquanto fazemos julgamentos dadimensão e forma envolvendo parte ou todo o objeto na nossa mão. Lederman e Klatsky chamam essesmovimentos estereotipados da mão de �procedimentos exploratórios� ou �pes [5].� Quando estamos limitadosa explorar o mundo usando apenas um instrumento pontiagudo, alguns desses �pés� deixam de estar aonosso alcance. Não podemos, por exemplo, fazer julgamentos da dimensão envolvendo o objeto na mão. Aconseqüência da interação tátil pontiaguda para a exploração de objetos é que as propriedades associadasaos �pés� que ainda podem ser executadas com uma tentativa (por exemplo, o movimento lateral para verificara textura; o acompanhamento do contorno para detectar a beirada) são percebidas com maior facilidade doque aquelas que não podem (por exemplo, o envolvimento do objeto para a verificação de dimensão eforma). Embora propriedades como dimensão e forma ainda possam ser detectadas por meio de uma tentativa,os �pés� usados com uma tentativa são �pés� secundários que são suficientes, mas não ótimos, para a tarefa[6]. Para resumir, uma razão pela qual os dispositivos pontiagudos não são efetivamente adequados para aexploração de objetos é que eles proporcionam acesso a um subconjunto das estratégias de manipulaçãoque normalmente utilizamos ao explorarmos objetos do mundo real. Para os usuários cegos, há uma

3


sobrecarga cognitiva adicional, pois na falta do apoio de uma imagem na tela, esses usuários são obrigadosa construir uma representação mental do objeto por meio da integração de pistas sobre seus contornos esuperfícies que são obtidas ao longo do tempo [7]. Por esse motivo, cautela considerável deve ser empregadano design de ambientes táteis para os usuários cegos de computadores.

(Observação: exoesqueletos baseados na mão foram desenvolvidos para permitir a interação tátil de mãointeira com objetos virtuais. Atualmente, esses exoesqueletos não possuem a robustez, capacidade de forçade produção e resolução de posição dos aparatos táteis fixos, mas pode-se esperar que cheguem ao mercadode consumo e ofereçam uma alternativa viável para a interação tátil pontiaguda.)

Embora os aparatos táteis pontiagudos apresentem algumas limitações para a interação tátil com objetosvirtuais, há muitas situações em que eles podem ser usados de forma bastante eficiente. Em tarefas mediadaspor instrumentos, como o treinamento cirúrgico, por exemplo, é possível simular a sensação proporcionadapela extremidade de uma ferramenta virtual atuando em seu ambiente. Nesse caso, as possibilidades dodispositivo tátil são bastante semelhantes às possibilidades da ferramenta virtual pontiaguda sendo simulada.Outra área em que os dispositivos pontiagudos foram usados com grande eficácia é a da visualização científicatátil, sobretudo em simulações de sistemas com comportamento dinâmico complexo. Os currículos de física,química, engenharia e matemática estão repletos de princípios abstratos e conceitos físicos, muitos dosquais sendo de natureza intrinsecamente dinâmica � gravidade, inércia, molas, amortecimento, fricção,momento, escoamento de fluido e assim por diante. Como nosso entendimento desses fenômenos se baseia,na maior parte das vezes, na experiência, (levantar objetos contra a força da gravidade, girar ferramentas,sentir forças inerciais etc.), essa compreensão é mediada pelos nossos sentidos táteis que, por sua vez, sãoajustados de forma sutil para interpretar propriedades dinâmicas de nosso ambiente. Ademais, muitas dessaspropriedades continuam ao nosso alcance quando nossa interação com o mundo é mediada por ferramentas[8]. Por esse motivo, a simulação de sistemas dinâmicos ainda é admiravelmente eficaz, mesmo quandorestrita à interação com um ambiente simulado por intermédio de dispositivos pontiagudos táteis. Exemplosdo uso dos princípios táteis na simulação de sistemas dinâmicos incluem a reprodução de forças aplicadas amoléculas em uma ferramenta de simulação de dinâmica molecular interativa dirigida [9] e as atividades comampliação tátil para reforçar os conceitos apresentados ao longo dos cursos de física no ensino médio [10].

3) Alguns Exemplos e algumas Diretrizes

Tendo em vista as considerações acima, de que maneira um projetista pode lidar com a tarefa de incorporara resposta tátil em ferramentas para aprendizes cegos? Assim como ocorre com o projeto de qualqueraplicativo para cegos, o processo deve começar pela questão da representação. Qual deve ser o objetivo?O de oferecer ao aprendiz cego acesso a uma ferramenta já existente que esteja sendo usada por seuscolegas, complementada com suas metáforas visuais, para que a representação do domínio explorado sejacomum? Ou a ferramenta deve ser projetada de baixo para cima a fim de interpretar para o sentido do tato ofenômeno subjacente sendo explorado? A maior parte do trabalho atual no campo da interação tátil parausuários cegos de computadores se enquadra na primeira categoria, reproduzindo objetos, controles na telado computador e diagramas táteis e desenhos. Como tal, esses aplicativos fazem uso da resposta tátil paracomunicar componentes espaciais de uma tarefa, complementando-os com áudio falado ou sem fala para adescrição do conteúdo. Vários projetos de pesquisa se encontram em andamento, alguns dos quaisproporcionando diretrizes úteis para o desenvolvimento desses aplicativos. Sjöström e seus colegas daUniversidade de Lund, na Suécia, conduziram uma série de estudos em que usuários cegos de computadoresinteragiam com vários ambientes diferentes, inclusive telas de computador táteis, cenas em 3-D táteis comvários objetos e jogos. Seus trabalhos produziram uma serie de diretrizes relativas à criação de interação tátilpara usuários cegos [11,12]. No que diz respeito à compreensão de objetos, eles sugerem que objetos nemsempre têm que ser sentidos como �real�, e que possa haver um benefício em ajudar o usuário a seguir ocontorno do objeto dando-lhe um apoio atrativo para guiar a mão do usuário, melhorando com isso o processode integração mental de sua forma. Quando há vários objetos em um espaço, seus contornos não devemficar muito próximos, visto que a aceleração da ponta do dedo causada pelo exercício de passar por umabarreira de força pode fazer com que os contornos próximos não sejam percebidos. Conforme foi demonstradopor Miller et al, esse problema fica mais evidente quando tentamos representar menus e comandos na tela[13]. Arestas e cantos pontiagudos também são de difícil compreensão quando apalpados pelo lado de fora,pois o usuário perde o contato com a superfície do objeto quando a aresta chega ao fim, interrompendo comisso seu mapeamento cognitivo do objeto. Os usuários também têm dificuldades para julgar a dimensão dosângulos, acreditando que estes são mais agudos do que de fato são [12]. O mais importante é que ao ajudar

4


um usuário a navegar em um espaço tátil virtual, eles recomendam o fornecimento de pontos de referênciabem definidos e fáceis de serem localizados � cantos e limites para um espaço etc � e que esse arcabouçoreferencial, uma vez definido, permaneça constante para todas as atividades desenvolvidas no ambiente. Oamontoamento também é uma questão importante. A maioria dos dispositivos táteis possui espaços detrabalho limitados e, aliados à natureza pontiaguda da interação, podem ficar abarrotados de detalhes. Alémdisso, como foi provado por Fritz e Barner [1, 14], uma imagem tátil é muito mais significativa se tiver suacomplexidade reduzida ao equivalente de uma linha traçada de tal modo que somente seus componentesestruturais subjacentes permaneçam. Além da reprodução de imagens de objetos reais, a resposta tátil já foiusada para a transmissão de diversos tipos de representações de dados abstratos para usuários cegos.O trabalho mais abrangente nessa área está sendo realizado na Universidade de Glasgow, onde pesquisadoresdo grupo GIST estão desenvolvendo um projeto de longo prazo acerca da visualização multimodal de gráficose tabelas (projeto Multivis). Avaliando o uso de aparatos táteis pontiagudos para a reprodução de linhasgráficas, eles concluíram que não é adequado se limitar a reproduzir de forma tátil um gráfico visual porque,a) é provável que seja muito complexo e b) informações como rótulos e valores numéricos são comunicadosde forma mais apropriada usando a fala ou o sistema Braille, deixando o canal tátil livre para explorar ocontorno de linhas e suas relações entre si. Ademais, técnicas simples, como a reprodução de linhas comosulcos em forma de �v� e a diferenciação de linhas atribuindo-lhes diferentes níveis de fricção de superfície,facilitaram sobremaneira a compreensão dos gráficos [15]. Em um estudo posterior, Yu et al tambémacrescentaram áudio sem voz para indicar tendências gerais em gráficos. Eles pediram a participantes cegose a participantes vendados que avaliassem a dimensão relativa dos segmentos de um gráfico em forma depizza e constataram que, ao combinar respostas táteis e auditivas, eram capazes de melhorar o desempenhoem comparação com a resposta tátil ou a sensação auditiva isoladas. Eles também acrescentaram umaopção de �passeio�, guiando a mão do usuário ao longo da aresta do gráfico em forma de pizza a umavelocidade constante, facilitando assim a comparação de dimensões de segmentos [16].

Conforme foi observado anteriormente, a maior parte do trabalho no campo da interação tátil para usuárioscegos de computadores se concentrou em ambientes táteis baseados no espaço que retenham a maioria, senão a totalidade, dos elementos estruturais da respectiva representação visual. Entretanto, tendo em vista aslimitações conhecidas da interação tátil pontiaguda, sobretudo para os usuários cegos que têm a sobrecargaadicional de construir mentalmente modelos espaciais a partir de marcas pontiagudas, parece que merecematenção outras capacidades dos dispositivos de reação à força, isto é, o fato de que também podem emitirsinais de vibração e movimento e podem guiar o usuário através de um espaço tátil. Yu et al [15] demonstraramque esses sinais podem ser empregados com grande eficácia no aperfeiçoamento de reprodução de gráficosde forma tátil, mas outros poucos pesquisadores aproveitaram essa fonte, potencialmente rica de sinaistáteis significativos. Uma exceção é o trabalho realizado por Wise et al [17], que explorou o uso de umaampla gama de sinais táteis em um tutorial científico acessível para estudantes de física cegos do ensinomédio e superior. Adotando o exemplo do comportamento de uma carga elétrica sobre a superfície de umaesfera, eles desenvolveram uma metáfora para o mapeamento da polaridade e dimensão da carga elétricana direção e amplitude de uma força de mola que pode ser sentida por intermédio do uso de um mouse quereage à força. Quanto mais próximo o mouse se situava da aresta da esfera, menor era a força da mola,ficando a direção da força condicionada à posição do apontador: dentro ou fora da esfera. Os estudantesexploraram a simulação de esfera carregada e coletaram dados para posteriormente serem representadosde forma gráfica. A função de representação gráfica oferecia diversas possibilidades de sensação dos pontosde dados: o estudante podia sentir os pontos como entalhes em um sulco, passar pelos pontos fazendo omouse se mover de um ponto a outro ou passear pelo gráfico inteiro deixando-se guiar pelo mouse. Emoutras palavras, havia múltiplas representações dos dados no gráfico, cada qual ressaltando diferentesaspectos da relação entre os pontos de dados. O design das funções de leitura do gráfico refletia um desejoda parte dos elaboradores do currículo de proporcionar aos usuários cegos diversas �visualizações� dosmesmos fenômenos, reconhecendo que o custo de produção de materiais acessíveis freqüentemente impedea oferta de um amplo leque de representações. Uma vantagem das técnicas de reprodução controladas porsoftware é que fica muito mais fácil oferecer essas representações sob demanda. As respostas a uma pesquisade avaliação levaram os autores a concluir que a resposta tátil poderia oferecer informações nesse contextoque não estão disponíveis por meio das tecnologias de acesso tradicionais.

Embora esse exemplo faça com que a resposta tátil extrapole a reprodução de dados e atinja o campo dasimulação interativa, ele de fato suscita algumas questões interessantes. Primeiro, para que essas simulaçõesobtenham êxito, é preciso que haja uma poderosa metáfora capaz de funcionar em um campo puramentetátil. Nesse caso, a metáfora foi uma mola, um objeto cujo comportamento é experimentado, na maioria dasvezes, pelo tato. Não obstante, toda metáfora é subjetiva e deve ser construída com cautela. Com o tempo,é plausível que uma linguagem de metáforas para a interação tátil se desenvolverá, e é possível que isto seja

5


guiado pelo desenvolvimento de aplicativos táteis para cegos. Em segundo lugar, será que a necessidade dese projetar aplicativos cada vez mais aperfeiçoados do ponto de vista tátil para aprendizes cegos podeconduzir a uma representação mais rica para todos os aprendizes? Certamente, o módulo do currículo deciências aqui descrito foi projetado para ser usado por crianças cegas juntamente com seus colegas de visãonormal. Embora nenhum estudante de visão normal tenha participado da avaliação, os professores de físicaque elaboraram o módulo ficaram animados com seu potencial de propiciar representações múltiplas dosfenômenos também para os estudantes de visão normal.

4: Conclusões:

Assim como ocorre com qualquer bom instrumento de aprendizagem, as ferramentas para aprendizes cegosque empregam a resposta tátil devem assim faze-lo a fim de propiciar representações adequadas deinformações que permitam ao aprendiz estabelecer conexões. Diversos pesquisadores já demonstraramque a resposta tátil pode servir para enriquecer a interação para os aprendizes cegos, se utilizada de formaestratégica. Com as atuais limitações da tecnologia de mostradores existente, espera-se que essas aplicaçõessejam construídas com base nos pontos fortes que são encontrados na interação pontiaguda, em vez de seconcentrarem em forçar o sistema tátil humano a ser usado em termos não-ideais aumentando, desse modo,a carga cognitiva que recai sobre o usuário.

Conforme pode ser observado na discussão acima, existem muitos efeitos táteis que se prestam bem àinteração pontiaguda - identificação de superfície, efeitos dinâmicos e assim por diante, de modo que sãoesses efeitos que devem ser os elementos constitutivos das ferramentas de aprendizagem tátil.

À medida que adentramos em uma era em que dependemos cada vez mais da interação mediada por máquinaspara perceber, compreender e controlar objetos situados fora de nosso campo visual como, por exemplo, acirurgia de invasão mínima, a micro e a nano montagem de objetos e assim por diante, ferramentas que nospermitam explorar e interagir com o mundo invisível se farão necessárias, de tal sorte que a resposta tátilcomputadorizada será um componente essencial desses instrumentos. Há uma necessidade concreta deferramentas de aprendizagem e de exploração que permitam às pessoas participar de fenômenos queextrapolam nossos limiares sensoriais normais. Em busca de formas de representação desse mundo invisívele intangível de �bits� e átomos, precisaremos descobrir maneiras de representar e manipular informações edinâmicas comportamentais. Ao desenvolvermos ferramentas para usuários cegos, que lhes permitamperceber, explorar, interagir com sistemas dinâmicos complexos e controla-los, imagine o quanto essesinstrumentos podem contribuir para a criação de ferramentas para um grupo bem mais amplo de aprendizes.

5: Referências

[1] http://www.csc.com/newsandevents/news/1750.shtml

[2] Fritz, J.P. and Barner K. E. Design of a haptic graphing system.Proceedings of the RESNA �96 Annual Conference Exploring New Horizons... Pioneering the 21st Century(1996A) p. 158-160.

[3] O�Modhrain and Gillespie. The Moose: A Haptic UserInterface for Blind Persons. Proceedings of the WWW6 (1996).[4] Ramstein, C., Century, M. Navigation on the Web usingHaptic Feedback. Proceedings of the international symposium on Electronic Art ISEA�96.

[5] Lederman, S.J. and Klatzky, R.L. �Hand movements: A window into haptic object recognition,� in CognitivePsychology, Vol. 19, No. 3, pp. 342-368, 1987.

[6] Lederman, S.J. and Klatzky, R.L. �Flexible exploration by human and robotic haptic systems,� in Proceedingsof the 12th Annual International Conference of the IEEE/Engineering in Medicine and Biology Society, Vol. 12,No. 5, 1990.

[7] Magnusson, C., Rassmus-Grohn, K., Sjostrom, C. & Danielsson H. �Navigation and Recognition in ComplexHaptic Virtual Environments - Reports from an Extensive Study with Blind Users� in Proceedings of EuroHaptics8-10 July 2002, Edinburgh, UK.

6


[8] Turvey, MT, Solomon, HY, & Burton, G. (1989). �An ecological analysis of knowing by wielding�. Journal ofthe Experimental Analysis of Behavior, v52, p.387-407

[9] Stone, J. E., Gullingsrud, J., Schulten, K., Grayson, P., �A System for Interactive Molecular DynamicsSimulation� 2001 ACM Symposium on Interactive 3D Graphics, p. 191-194, New York, 2001, ACM SIGGRAPH

[10] William, R.L. II, Chen, M.Y., Seaton, J.M., �Haptics-Augmented High School Physics Tutorial� InternationalJournal of Virtual Reality. http:www.ent.ohiou.edu/~bobw/PDF/IJVR2001.pdf October, 2001

[11] Sjöström, C. The IT Potential of Haptics � Touch Access for People with Disabilities, Licentiate ThesisCertec, Lund University, Sweden, 1999.

[12] Sjstrm,, C. Using Haptics in Computer Interfaces for Blind People Certec, Lund University, Sweden. url http://www.citeseer.nj.nec.com/506504.html

[13] Miller, T., Zeleznik, R. An insidious haptic invasion:Adding Force Feedback to the X desktop, Proc. of the Third PHANToM User Group Workshop, Dedham,MA, 1998.

[14] Fritz, J. P., Barner, K. E. Design of a Haptic VisualizationSystem for People with Visual Impairments, IEEE Transactions on Rehabilitation Engineering, vol. 7, No 3,1999, pp 372-384.

[15] Yu, W., Ramloll, R., Brewster, S.A. and Riedel, B. Exploring computer-generated line graphs throughvirtual touch. IEEE ISSPA 2001 (Kuala-Lumpur, Malaysia), IEEE.

[16] indivíduos cegos e indivíduos vendados foram solicitados a explorar gráficos em forma de pizzausando a sensação tátil e auditiva.

[17] Wies E., Gardner J., O�Modhrain M., Hasser C & Bulatov V., �Web-based Touch Display for AccessibleScience Education�, Haptic Human-Computer Interaction.Springer LNCS, Vol 2058. 2000. pp 52-60.

Documents

Alfabetização e inclusão em quadros sensoriomotores · vantagem das habilidades alfabéticas introduzidas pelo ensino fônico e substituem os sis-temas pictoriais como recurso