Embed Size (px)
Citation preview
UFSM
TESTAGEM DE PROFICIÊNCIA EM LEITURA EM INGLÊS: EXAMINANDOS E TESTE COMO FONTES DE ENTENDIMENTO SOBRE
ESSE PROCESSO
Hamilton de Godoy Wielewicki
DISSERTAÇÃO DE MESTRADO EM
LETRAS
Fevereiro, 1997
TESTAGEM DE PROFICIÊNCIA EM LEITURA EM INGLÊS: EXAMINANDOS E TESTE COMO FONTES DE ENTENDIMENTO SOBRE ESSE PROCESSO
por
HAMILTON DE GODOY WIELEWICKI
Dissertação apresentada ao Curso de Pós-Graduação em Letras, Estudos Lingüísticos, da Universidade Federal de Santa Maria (RS), como requisito
parcial para a obtenção do grau de MESTRE EM LETRAS.
Santa Maria, RS - Brasil
1997
UNIVERSIDADE FEDERAL DE SANTA MARIA
CURSO DE PÓS-GRADUAÇÃO EM LETRAS
A COMISSÃO EXAMINADORA, ABAIXO ASSINADA, APROVA A DISSERTAÇÃO
TESTAGEM DE PROFICIÊNCIA EM LEITURA EM INGLÊS COMO LÍNGUA ESTRANGEIRA NUMA UNIVERSIDADE FEDERAL BRASILEIRA
ELABORADA POR HAMILTON DE GODOY WIELEWICKI
COMO REQUISITO PARCIAL PARA A OBTENÇÃO DO GRAU DE
MESTRE EM LETRAS
COMISSÃO EXAMINADORA:
_________________________________ Désirée Motta Roth - Orientador
_________________________________ José Luiz Meurer - UFSC
_________________________________ Margarete Schlatter - UFRGS
Santa Maria, 04 de fevereiro de 1997.
iii
À Angélica, Raquel e Fernando,
pelo estímulo constante,
crescimento compartilhado e
paciência sem medida.
AGRADECIMENTOS
Aos examinandos que colaboraram na pesquisa, sem os quais esse
trabalho não seria possível.
À equipe de professores do Departamento de Letras Estrangeiras
Modernas da UFSM, pelo apoio e encorajamento.
À professora Anna Maria Becker Maciel (UFRGS), pela orientação
inicial e pelo estímulo à realização deste trabalho.
Ao professor Dr. Luiz Paulo Moita Lopes (UFRJ), pelas sugestões
recebidas.
À Marlei Marcuzzo, da Divisão de Apoio ao Usuário do Centro de
Processamento de Dados da UFSM, pela inestimável ajuda com o
processamento estatístico do trabalho.
À Coordenação e funcionárias do Mestrado em Letras da UFSM, por
terem ajudado a criar as condições para o desenvolvimento deste trabalho.
À CAPES, pelo apoio financeiro recebido.
Aos colegas da UNIJUÍ, pela compreensão e apoio.
Ao Titi, Antônia e Vitória, pelas incontáveis horas de perturbação que
criei.
Aos membros da Banca Examinadora, pela atenção e sugestões
recebidas.
E, muito especialmente, à minha orientadora, professora Dra. Désirée
Motta Roth, por ter acompanhado cada passo dessa jornada, com extrema
dedicação, compreensão e respeito.
RESUMO
TESTAGEM DE PROFICIÊNCIA EM LEITURA EM INGLÊS:
EXAMINANDOS E TESTE COMO FONTES DE ENTENDIMENTO SOBRE
ESSE PROCESSO
Autor: Hamilton de Godoy Wielewicki
Orientadora: Désirée Motta Roth
Em função de grande parte do conhecimento na ciência hoje estar
essencialmente veiculado em língua inglesa, a habilidade de leitura em
inglês para fins acadêmicos (ESP) tem sido vista como uma das condições
fundamentais para ingresso e continuidade em cursos de pós-graduação em
universidades brasileiras. Nesse contexto, a comprovação da habilidade de
leitura em ESP tem sido freqüentemente exigida através de testes
especialmente desenvolvidos para esse fim. O objetivo do presente
trabalho, portanto, é discutir o processo de testagem em leitura em ESP em
uma universidade federal brasileira a partir de uma perspectiva que
considere tanto o teste, quanto o ponto de vista dos examinandos, de forma
a propiciar um melhor entendimento dos possíveis fatores de influência
sobre o índice de aprovação dos examinandos. Inicialmente analisou-se a
edição de abril de 1996 do teste de proficiência da UFSM, tomando-se por
base as micro-habilidades de leitura subjacentes às suas questões. Em
seguida, através de um questionário, sondou-se a auto-avaliação da
habilidade de leitura em ESP de 61 examinandos, confrontando-se esses
dados com o conceito efetivamente obtido por esses sujeitos no teste. Os
resultados demonstram que a maioria dos examinandos auto-conceituou
sua habilidade de leitura como equivalente ou superior a ‘bom/razoável’.
Isso parece estar associado ao fato desses examinandos já estarem em
vi
estágios relativamente avançados de seus cursos, julgando-se capazes de
fazer as leituras necessárias ao desenvolvimento de seus projetos de
pesquisa. Apesar disso, os resultados mostram um índice de reprovação de
45.9%, o que parece estar associado à dificuldade dos examinandos em
localizar informação específica no texto e em responder a questões que
demandem um conhecimento mais apurado de sintaxe. Portanto, muitas
das dificuldades apresentadas pelos examinandos podem estar
relacionadas a diferenças entre os conhecimentos sistêmico e esquemático
necessários à leitura do texto proposto e aqueles usados habitualmente
pelos sujeitos na leitura dos textos de suas respectivas áreas. Nesse
sentido, sugere-se o incremento de pesquisas que discutam a relação entre
ensino e testagem, o nível de especificidade de testes e o papel da
testagem de proficiência enquanto processo de seleção no contexto
acadêmico.
UNIVERSIDADE FEDERAL DE SANTA MARIA CURSO DE PÓS-GRADUAÇÃO EM LETRAS Autor: Hamilton de Godoy Wielewicki Orientadora: Désirée Motta Roth Título: Testagem de proficiência em leitura em inglês: examinandos e teste
como fontes de entendimento sobre esse processo Dissertação de Mestrado em Letras - Estudos Lingüísticos Santa Maria, 04 de fevereiro de 1997.
ABSTRACT
ESP READING PROFICIENCY TESTING: TEST AND TESTEES AS
SOURCES OF UNDERSTANDING OF THIS PROCESS
Author: Hamilton de Godoy Wielewicki
Advisor: Désirée Motta Roth
One of the basic assumptions about students of graduate programs in
Brazilian universities is that they should be able to read in English for
Specific or Academic Purposes (ESP) in order to deal with the large amount
of scientific information available in that language. Due to that, such students
are usually required to demonstrate their ESP reading ability, through
proficiency tests specially developed by those universities. This work aims at
discussing the testing procedures of ESP reading proficiency at a Brazilian
university, from a perspective that takes both the test and the testees into
account, in order to provide a better understanding of the factors that might
influence the testees’ passing rate. Firstly, the test taken in April 1996 was
analised in terms of the reading micro-skills underlying the questions. Next,
the data about the 61 testees’ evaluation of their own reading ability in ESP
were discussed and later correlated with their actual scores obtained in the
test. The results show that most testees considered their own ESP reading
ability to vary between satisfactory and good. This, in turn, seems to be
related to the fact that they are already at advanced stages of their studies
and, presumably, consider themselves to be able to read the material
necessary for the accomplishment of their research work. In spite of that,
45.9% of the testees failed in the test. That might be associated with the
difficulty they face when answering questions for specific information in the
text and syntax. Therefore, to a great extent, the difficulty faced by the
viii
testees might be related to differences between the systemic and schematic
knowledge necessary for the accomplishment of the reading tasks in the test
and the ones usually need by these subjects while reading texts in their own
disciplinary fields. Further research is needed on the relationship between
teaching and testing, the lack of specificity of proficiency testing, and the role
of proficiency testing as a screening process in the academic context.
UNIVERSIDADE FEDERAL DE SANTA MARIA CURSO DE PÓS-GRADUAÇÃO EM LETRAS Author: Hamilton de Godoy Wielewicki Advisor: Désirée Motta Roth Title: ESP reading proficiency testing: testees and test as sources of
understanding of this process Master Thesis in Linguistic Studies Santa Maria, February 4th., 1997.
SUMÁRIO
RESUMO ................................................................................................. v
ABSTRACT ............................................................................................. vii
LISTA DE TABELAS .............................................................................. xii
LISTA DE FIGURAS ............................................................................... xiii
LISTA DE APÊNDICES ........................................................................... xiv
INTRODUÇÃO ........................................................................................ 1
1.1 Pesquisa em Lingüística Aplicada ..................................................... 3 1.2 Organização do trabalho ................................................................... 9
2 LEITURA ............................................................................................. 12
2.0 Considerações iniciais ...................................................................... 12 2.1 Modelos ascendentes (bottom-up) de leitura .................................... 13 2.2 Modelos descendentes (top-down) de leitura ................................... 15 2.3 Modelos interativos de leitura ........................................................... 19 2.3.1 Modelo interacional de leitura proposto por Moita Lopes .............. 23 2.3.2 Modelo interativo de leitura proposto por Cavalcanti ..................... 27 2.4 Leitura em inglês para fins acadêmicos (ESP) .................................. 32 2.5 Considerações finais ......................................................................... 40
3 TESTAGEM DE PROFICIÊNCIA EM LEITURA .................................. 40
3.0 Considerações iniciais ...................................................................... 40 3.1 Perfil histórico da pesquisa sobre testagem de proficiência ............. 43 3.2 Concentração em uma língua e baixo desempenho dos candidatos. 51 3.3 Validade ............................................................................................ 53 3.3.1 Validade de conteúdo ..................................................................... 57
x
3.3.2 Validade aparente .......................................................................... 58 3.4 Fidedignidade .................................................................................... 59
3.5 Taxonomia de micro-habilidades de leitura (Munby, 1978) .............. 63 3.5.1 Habilidades motoras e perceptuais ................................................ 65 3.5.2 Conhecimento lexical ..................................................................... 66 3.5.3 Compreensão de significado conceitual ......................................... 66 3.5.4 Compreensão do valor comunicativo ............................................. 66 3.5.5 Habilidades operantes no nível de coesão do discurso ................. 67 3.5.6 Conhecimento esquemático ........................................................... 68 3.5.7 Habilidades operantes no nível de coerência do discurso ............. 68 3.5.8 Habilidades de sumarização .......................................................... 69 3.5.9 Habilidades de leitura geral e de leitura seletiva ........................... 69 3.6 Considerações finais sobre testagem de proficiência em leitura em
língua inglesa .................................................................................... 70
4 METODOLOGIA ................................................................................. 72
4.0 Pressupostos ..................................................................................... 72 4.1 Corpus da pesquisa .......................................................................... 73 4.1.1 Seleção das fontes e coleta de dados ........................................... 73 4.2 Procedimentos para análise do teste ................................................ 74 4.3 Procedimentos para a análise dos dados sobre a população alvo
da testagem .......................................................................................
76 4.4 Foco de análise ................................................................................. 78
5 A VISÃO DOS EXAMINANDOS SOBRE LEITURA E TESTAGEM .....
80
5.0 Considerações iniciais ...................................................................... 80 5.1 Dados pessoais ................................................................................. 80 5.2 Perfil acadêmico dos examinandos ................................................... 85 5.2.1 Razão para escolha da língua do teste .......................................... 89 5.2.2 Reprovação em testes anteriores ................................................... 92 5.3 A testagem sob o ponto de vista dos examinandos .......................... 93 5.3.1 A exigibilidade do teste .................................................................. 94 5.3.2 Habilidades lingüísticas a incluir na testagem ............................... 96
xi
6 DISCUSSÃO E ANÁLISE DOS DADOS SOBRE O TESTE ............... 101
6.0 Pressupostos para a análise do teste ............................................... 101 6.1 Visão geral sobre o teste ................................................................... 105 6.2 O texto base para as tarefas do teste ............................................... 106 6.3 Micro-habilidades de leitura avaliadas nas seções do teste ............. 109 6.3.1 Seção I do teste ............................................................................. 109 6.3.2 Seção II do teste ............................................................................ 111 6.3.3 Seção III do teste ........................................................................... 113 6.3.4 Seção IV do teste ........................................................................... 119 6.3.5 Seção V do teste ............................................................................ 122 6.4 Considerações finais sobre a análise do teste .................................. 127
7 AUTO-AVALIAÇÃO E DESEMPENHO EFETIVO DOS EXAMINANDOS 131
7.0 Considerações iniciais....................................................................... 131 7.1 Auto-avaliação dos examinandos ...................................................... 132 7.2 Desempenho dos examinandos em relação ao seu auto-conceito ... 137 7.2.1 Desempenho dos examinandos com auto-conceito ‘excelente’ .... 138 7.2.2 Desempenho dos examinandos com auto-conceito ‘bom/razoável’ 142 7.2.3 Desempenho dos examinandos com auto-conceito ‘não- satisfatório’ e ‘não informado’ .........................................................
147
7.3 Dificuldades dos examinandos nas questões do teste ...................... 150
8 CONCLUSÃO, IMPLICAÇÕES E SUGESTÕES PARA FUTURAS PESQUISAS ....................................................................................... 157
8.1 Síntese das conclusões da pesquisa ................................................ 157 8.2 Implicações da pesquisa para a testagem de proficiência e para o
ensino de línguas ..............................................................................
166 8.3 Limitações da pesquisa e sugestões para futuras pesquisas ........... 169
REFERÊNCIAS BIBLIOGRÁFICAS ........................................................
172
APÊNDICES............................................................................................. 180
LISTA DE TABELAS
Tabela 1 - Resultados do Teste de Suficiência em Leitura em
Língua Estrangeira na UFSM ...........................................
56
Tabela 2 - Opinião dos candidatos sobre a importância da habilidade de leitura em inglês e em português no contexto global e no contexto brasileiro (em %) ...........
90
Tabela 3 - Quadro esquemático da situação dos examinandos em relação e reprovações anteriores .............................
92
Tabela 4 - Correlação entre auto-conceito dos examinandos
sobre sua habilidade de leitura e desempenho global dos candidatos no Teste de Suficiência em Leitura em Língua Inglesa da UFSM (08/04/96) .................................
133
Tabela 5 - Correlação entre auto-conceito dos examinandos prestando o teste em inglês, sobre sua habilidade de leitura em inglês, espanhol, francês e alemão ..............
134
Tabela 6 - Desempenho dos examinandos por auto-conceito ...... 136
Tabela 7 - Índice de acertos nas questões do teste, dos examinandos com auto-conceito ‘EXCELENTE’ ...........
140
Tabela 8 - Índice de acertos nas questões do teste, dos
examinandos com auto-conceito ‘BOM/RAZOÁVEL’ ....
143
Tabela 9 - Índice de acertos nas questões do teste, dos examinandos com auto-conceito ‘NÃO SATISFATÓRIO’ e ‘NÃO INFORMADO’ ...........................
148
LISTA DE FIGURAS
Figura 1 - Modelo Interacional de Leitura (Moita Lopes,1996, p.
143) ..................................................................................
27
Figura 2 - Interação Leitor-Texto (Cavalcanti, 1989, p. 46) ........... 30
Figura 3 - Modelo de competência comunicativa de Canale e Swain (Hecht, 1987, p. 103) ............................................
49
Figura 4 - Texto utilizado no Teste de Suficiência ....................... 108
Figura 5 - Seção I do Teste de Suficiência .................................... 110
Figura 6 - Seção II do Teste de Suficiência ................................... 112
Figura 7 - Seção III do Teste de Suficiência .................................. 114
Figura 8 - Seção IV do Teste de Suficiência .................................. 120
Figura 9 - Questões V.1 e V.2 do Teste de Suficiência ................ 124
Figura 10 - Questões V.3 e V.4 do Teste de Suficiência ................ 126
LISTA DE APÊNDICES
Apêndice A (Seção 4.3)
Questionário aplicado aos examinandos durante a realização do Teste de Suficiência em Leitura em Língua Estrangeira da UFSM - Edição de 08 de abril de 1996
Apêndice B (Seção 6.0)
Correspondência e questionários enviados a pesquisadores de universidades brasileiras sobre os Testes de Proficiência em Leitura em Língua Estrangeira
Apêndice C (Seção 6.1) Teste de Suficiência em Leitura em Língua Inglesa aplicado na UFSM em 08 de abril de 1996
INTRODUÇÃO
Um dos objetivos dos cursos de mestrado das universidades
brasileiras é a formação de pesquisadores que possam atuar junto ao
ensino de nível superior (cf. Parecer 977/65 do CFE). Para tanto,
pressupõe-se que os estudantes de tais cursos sejam capazes de acessar o
crescente volume de informações nas diversas áreas de conhecimento em
que esses cursos estão inseridos. Se considerarmos que, em geral, a maior
parte desse volume de informações está disponível em outras línguas que
não o português (cf. Izquierdo, 1995, p .6), a habilidade de leitura em língua
estrangeira, especialmente, em inglês passa a assumir um papel de extrema
relevância no âmbito desses cursos.
Em função dessa importância, a comprovação da habilidade ou
proficiência de leitura em língua inglesa para finalidades específicas (ESP)
é, não raro, critério de seleção ou condição para habilitação à conclusão dos
cursos de mestrado. Tal comprovação é obtida, via de regra, através dos
testes de proficiência desenvolvidos nas universidades envolvidas. Esse é o
caso, por exemplo, da Universidade Federal de Santa Maria (UFSM), foco
da atenção do presente estudo.
Nessa instituição, o acompanhamento do desempenho dos
2
examinandos1 em edições recentes do Teste de Suficiência em Língua
Inglesa desenvolvido na UFSM tem revelado um índice de reprovação em
torno de 50% (Wielewicki, 1995). Esse fato, se encarado simplisticamente
sob a ótica do princípio de seletividade intelectual preconizado no Parecer
977/65, indicaria que tais examinandos não estão plenamente aptos a
ingressarem em um curso de mestrado. Ocorre, no entanto, que tais
examinandos já são, em sua maioria, estudantes dos cursos de mestrado da
UFSM e, muitos deles, em estágio de defesa de dissertação. Assim, a
situação que se estabelece é paradoxal. De um lado, a justificativa para tais
testes é de que sejam capazes de identificar o nível adequado de habilidade
de leitura em ESP com o qual um estudante de mestrado possa realizar
seus estudos mas, por outro lado, estudantes que, em muitos casos, já
estão em fase adiantada de seus estudos, não são capazes de ter um
desempenho considerado suficiente nesses testes de proficiência. Pode-se
especular, por exemplo, que o baixo desempenho desses examinandos nos
testes talvez esteja relacionado à não adaptação da testagem ao contexto
específico onde esses examinandos desenvolvem suas leituras. Assim, uma
interpretação simplista desses resultados põe em jogo a própria função que
se espera que os testes de proficiência tenham.
Dessa forma, parece importante investigar-se mais detalhadamente
esse processo de testagem e o papel que lhe é conferido nesse contexto
acadêmico. Assim, o presente trabalho visa abordar a questão desse
acentuado índice de reprovação sob uma perspectiva que busque, tanto um
1Os termos examinando e examinador serão usados como equivalentes aos termos testee e tester, utilizados em inglês, e referir-se-ão, genericamente, ao sujeito que é submetido aos
3
maior entendimento sobre o teste de proficiência em si, quanto um exame
mais atento da população envolvida. A premissa que norteia o presente
estudo é de que os testes de proficiência podem efetivamente desempenhar
uma função importante no contexto acadêmico da UFSM. Isso, no entanto,
pressupõe que a função do teste seja considerada não somente a partir da
qualidade do teste em si, mas, principalmente, de sua inserção no contexto
específico dos cursos de pós-graduação da UFSM. Espera-se, assim,
discutir não apenas o teste, mas o processo de testagem.
Quer-se com o presente trabalho contribuir para a área de Lingüistica
Aplicada, no que concerne ao desenvolvimento da pesquisa sobre os
processos e produtos do ensino e aprendizagem de inglês para fins
acadêmicos ou fins específicos (ESP).
1.1 A pesquisa sobre testagem na Lingüística Aplicada
A pesquisa em Lingüística Aplicada (LA) no Brasil foi, durante um
longo período, vinculada à idéia da “aplicação” da Lingüística teórica ao
contexto de sala de aula, “numa relação de dependência comum e natural
entre uma ciência teórica em expansão e sua aplicação incipiente”, (cf.
Kleiman, 1992, p. 26-28). A partir da metade da década de 70, essa
concepção de “Lingüística Aplicada como locus de aplicação da lingüística
foi cedendo lugar a uma concepção autônoma” da disciplina (ibid.),
especialmente na área de ensino de língua estrangeira. Dois nomes são de
fundamental importância na constituição da área no Brasil: Francisco
testes de proficiência e ao sujeito que os formula, aplica, ou organiza, respectivamente.
4
Gomes de Matos, que há mais de três décadas tem tido relevada
importância no campo de ensino de línguas no Brasil (cf., por exemplo,
Almeida Filho, 1991; Gomes de Matos, 1992) e o de Maria Antonieta Alba
Celani, cuja atuação profissional junto ao LAEL PUC/SP (o primeiro
programa de pós-graduação em LA do Brasil, implantado por ela no início
da década de 70) e, em especial, frente à coordenação do Projeto Nacional
Ensino de Inglês Instrumental nas Universidades Brasileiras, garantem a ela
um lugar de destaque na história da LA no Brasil e internacionalmente (cf.,
por exemplo, Alderson & Scott, 1992, p. 31-39; Kleiman, 1992, p. 28; Moita
Lopes, 1996, p. 31). Mais recentemente, os trabalhos desenvolvidos por
Moita Lopes (1986) e Cavalcanti (1989) contribuem sobremaneira para a
constituição da LA enquanto disciplina autônoma.
Dois fatores contribuíram decisivamente para que ocorresse essa
alteração do perfil epistemológico da LA. Em primeiro lugar, o incremento
que ocorre na área atrai para ela pesquisadores com diferentes formações e
experiências acadêmicas, “cujo interesse de pesquisa influenciou na
constituição de um objeto diversificado com linhas de pesquisa próprias”
(Kleiman, 1992, p. 28). Isso equivale a dizer que esses pesquisadores
respondem ao caráter interdisciplinar da LA já que o objeto de estudo — a
linguagem e os processos envolvidos na produção e recepção dela — é de
ordem complexa, envolvendo aspectos cognitivos e sociais.
O segundo fator que teria, segundo Kleiman, facilitado “uma
configuração independente da área é o estado de fluxo e desordem em que
se encontrava a lingüística descritiva”, por conta do “questionamento e até
5
desencanto com o paradigma estrutural chomskyano” (ibid.). Assim, a
diversificação do objeto de pesquisa faz com que a linguagem passe a ser
estudada a partir de diferentes pontos de vista, com o que a preocupação
com o aspecto social da linguagem passa a ganhar maior importância,
contribuindo decisivamente para a ruptura com o modelo de linguagem
autônomo (do paradigma chomskyano), e fazendo com que a pesquisa trate
de lidar com as tensões e perturbações que afetam o falante, o leitor, enfim,
o aprendiz real (ibid.).
Assim, a ampliação do campo de pesquisa em LA e a tentativa de se
apreender a complexidade do seu objeto de estudo fizeram com que se
adotasse uma abordagem transdisciplinar, ou seja, uma abordagem em que
o objeto de pesquisa vai além dos limites estanques das diferentes
disciplinas envolvidas em seu estudo. Esse tipo de abordagem tem respaldo
teórico na “idéia de que a linguagem é uma forma de ação, situada cultural,
histórica e institucionalmente” (Moita Lopes, comunicação pessoal, Santa
Maria: UFSM, 04/12/95).
Portanto, de acordo com essa abordagem, o estudo de questões
relativas à linguagem, como, por exemplo, a aprendizagem de língua
estrangeira, ou a testagem de proficiência de língua, pode (e, na medida do
possível, deve) supor uma visão global de linguagem que busque oferecer
uma interpretação mais fidedigna do fenômeno a ser estudado. É a isso que
Schmitz (1992) se refere, num artigo de revisão sobre a LA e o ensino de
línguas estrangeiras no Brasil, onde afirma que a disciplina de LA estaria
“desenvolvendo um conjunto de conhecimentos pertinentes para a reforma
6
do ensino de línguas e para a mudança da visão do próprio professor de seu
papel na sala de aula” (p. 233).
Nesse sentido, há pelo menos duas razões que podem justificar a
abordagem adotada aqui para pesquisar sobre testagem de proficiência em
ESP. A primeira razão para estudar a testagem de proficiência em ESP, é
de que muito pouco foi pesquisado especificamente nessa área no contexto
brasileiro. Em conseqüência disso, algumas questões básicas ainda
carecem de resposta, como, por exemplo, o que significa testar proficiência
nesse contexto, quem são os examinandos e os examinadores e quais são
as implicações de se testar proficiência como se faz hoje em grande parte
das universidades brasileiras, entre as quais a UFSM se insere. Essa
carência de informações resultantes de pesquisa sobre proficiência pode ser
ilustrada pela dificuldade de obtenção de dados sobre o assunto. Nem as
instituições que promovem os testes, nem os órgãos responsáveis pelo
sistema de pós-graduação no país dispõem de informações acuradas sobre
a testagem de proficiência. Em outras palavras, há uma exigência formal2 de
que os alunos de cursos de mestrado e doutorado das universidades
brasileiras submetam-se a testes que comprovem habilidade de leitura em
língua estrangeira, mas não há registros sistemáticos sobre os resultados
obtidos nessa testagem, nem um acompanhamento minucioso do processo
e do efeito dessa testagem nos contextos institucionais em que ela está
2 O Parecer No 77 do CFE, de 11 de fevereiro de 1969, é a normativa oficial que define a obrigatoriedade de que alunos de Pós-graduação sejam submetidos a “provas que verifiquem a capacidade de leitura em línguas estrangeiras, uma para o Mestrado e duas para o Doutorado”. Na UFSM, o Regimento Geral dos Programas/Cursos de Pós-Graduação define, além disso, que essa prova seja realizada até o final do 1o ano (Cap.I, Seção I, Art. 4o, Inciso IX) e, que, a comprovação da “aprovação no exame de proficiência” é uma das
7
inserida.
A segunda razão para a opção de pesquisa que se delineia para este
trabalho está diretamente relacionada à primeira. Ocorre que, embora a
pesquisa sobre testagem tenha experimentado um grande desenvolvimento
qualitativo e quantitativo, principalmente durante a década de 80 (Bachman,
1991), ainda há muito a pesquisar sobre o assunto. Dentre os tópicos
freqüentemente citados como de interesse situam-se, por exemplo, a
relação entre testagem e ensino (referida na literatura como efeito
backwash), os problemas relativos à mensuração e a própria questão da
fundamentação teórica que sustenta a testagem de proficiência.
Contribuindo para tornar a questão ainda mais complexa, pode ser citada
aquela que é a característica singular da testagem de proficiência de língua
em relação a outros tipos de testagem, isto é, o fato de que a linguagem é,
ao mesmo tempo, instrumento e objeto de medida (Bachman, 1990, p. 2).
Além dessas duas razões, há ainda uma terceira questão a ser
mencionada, que ilustra a relevância do tema proposto para a presente
dissertação. Considerando-se que: 1) a proposta do trabalho é examinar a
testagem de proficiência em leitura em ESP em uma universidade brasileira
específica; 2) no universo específico de análise, tem-se verificado um
acentuado índice de reprovação; 3) não há ainda um exame detalhado das
possíveis razões para esse índice; a análise envolvida aqui deverá explorar
o assunto sob diferentes perspectivas. Buscar-se-á, portanto, uma
perspectiva ampla do processo de testagem, que tente acomodar não só a
condições para a habilitação à defesa da monografia, nos moldes em que o Regulamento
8
análise do teste em si, mas também a visão daquele que se submete ao
teste de proficiência (considerando-se que a visão do examinador está mais
ou menos implícita na confecção do teste) e os resultados do teste
propriamente dito.
Pretende-se, dessa forma, oferecer contribuições que auxiliem na
ampliação do entendimento que se tem sobre testagem de proficiência no
contexto brasileiro. Um ponto de partida para tanto é a pesquisa sistemática
já realizada em outros países, como por exemplo, a Austrália, o Canadá, os
Estados Unidos e a Inglaterra3. Considerando-se ainda que as atividades
acadêmicas, nesses países, envolvem a expressão e compreensão oral
integralmente em inglês, diferentemente, portanto, do que ocorre no Brasil,
buscar-se-á oferecer questionamentos específicos à realidade acadêmica
brasileira, tomando como ponto de partida os subsídios oferecidos pela
pesquisa realizada naqueles contextos.
Para embasar o trabalho de pesquisa ora proposto, serão discutidos
três pontos que alicerçam tanto a concepção teórica, quanto a construção
prática da análise do teste de proficiência de leitura em ESP no contexto da
UFSM. Esses três pontos são: os modelos teóricos de leitura, a pesquisa
sobre ESP, e a pesquisa sobre testagem de proficiência. Entende-se aqui
que, em um estudo sobre o processo de testagem de proficiência, esses
três pontos estão interligados sob diversos aspectos, já que está se tratando
Interno de cada Programa/Curso definir. 3 É nesses quatro países que se desenvolve grande parte dos estudos na área de testagem de língua, conforme pode ser visto pelo grande volume de publicações de pesquisadores desses países em periódicos internacionais sobre testagem (por exemplo, Language Testing e Language Testing Update) ou pela pouca quantidade de estudos sobre o
9
de pesquisa sobre testes que tratam de avaliar habilidade de leitura em
língua inglesa no contexto acadêmico brasileiro.
Por outro lado, a análise da testagem levará em consideração a
introspecção do examinando sobre sua própria habilidade de ler e sobre o
papel da leitura em ESP na sua formação acadêmica.
Assim, o objetivo fundamental do presente trabalho é interpretar o
problema do acentuado índice de reprovação dos examinandos no Teste de
Suficiência em leitura em ESP na UFSM, sob a perspectiva de como esses
examinandos conceituam seu nível de habilidade de leitura e de como a
instituição, através da comissão responsável pelo teste, os conceitua
efetivamente como leitores. Espera-se, com isso, oferecer observações
sobre a testagem de proficiência em língua inglesa que se desenvolve na
UFSM, que também possam contribuir para um maior esclarecimento sobre
o processo de testagem de língua em termos mais gerais.
1.2 Organização do trabalho
A discussão ao longo do trabalho está organizada em sete capítulos.
O Capítulo 2 apresenta uma discussão sobre modelos de leitura, através da
qual procura-se estabelecer um referencial teórico para discutir a testagem
aqui envolvida. Para tanto, procura-se mostrar que a concepção de leitura
como um processo interativo tem prevalecido entre os pesquisadores da
área e, de fato, parece ser o tratamento dado à testagem em leitura. Ainda
assunto em outras áreas do globo (por exemplo, o Brasil). Uma crítica nesse sentido, referindo-se mais especificamente ao TOEFL, é feita por Peirce (1992, p. 686-687).
10
nesse capítulo, é feita uma discussão sobre o ensino de ESP, na qual se
procura situar a questão da leitura em língua inglesa no contexto das
universidades brasileiras.
No Capítulo 3, são discutidos aspectos relacionados à testagem. Na
primeira seção do capítulo, é esboçado um perfil histórico sobre testagem
de proficiência, buscando-se dar uma visão do desenvolvimento teórico
sobre testagem de proficiência. Na segunda seção, é introduzida a
discussão sobre dois pontos essenciais do presente trabalho: (1) a
concentração da testagem de proficiência em praticamente uma só língua
(inglês) que parece ocorrer nas universidades brasileiras; e (2) o baixo
desempenho dos examinandos nesses testes.
As seções 3 e 4 do Capítulo 3 são devotadas à discussão de dois
critérios fundamentais à análise e avaliação da qualidade de testes de
proficiência: validade e fidedignidade. A quinta seção do capítulo aborda a
leitura, em termos das micro-habilidades envolvidas nesse processo. A
sexta seção sintetiza algumas considerações sobre testagem de
proficiência.
O Capítulo 4 informa sobre os procedimentos de análise adotados no
presente trabalho e da delimitação do corpus da pesquisa.
No Capítulo 5, são discutidos os dados sobre os examinandos,
apurados através de um questionário aplicado durante a realização do teste
de proficiência. As informações referentes aos examinandos são analisadas
como forma de ampliar o entendimento que se tem sobre a situação em que
11
a testagem ocorre na UFSM. Para tanto, são discutidos dados sobre a
situação dos examinandos em relação ao seu perfil acadêmico, suas
avaliações sobre sua própria habilidade de leitura e sobre testagem de
proficiência.
No Capítulo 6 é feita a análise do teste, em termos do texto cuja
leitura é a base para a resposta às questões ali formuladas, das questões
que o constituem e das micro-habilidades que parecem ser o foco de
avaliação nessas questões.
O Capítulo 7, por sua vez, é destinado à discussão sobre as auto-
avaliações e o desempenho dos examinandos no teste. Os dados relativos
ao desempenho dos examinandos no teste são analisados, correlacionando-
se esses dados ao auto-conceito que esses examinandos têm sobre sua
habilidade de leitura. Ali trata-se especificamente das respostas que os
examinandos deram às questões do teste, procurando-se relacioná-las às
micro-habilidades de leitura que esses examinandos parecem ter utilizado
quando da realização do teste. As questões do teste que podem ter trazido
maior dificuldade aos examinandos também são discutidas no Capítulo 7
Por fim, o Capítulo 8 trata das conclusões do presente trabalho, com
base nos problemas apontados ao longo da discussão sobre a testagem de
proficiência em leitura em ESP na UFSM. Em conseqüência dessas
conclusões, também são apontadas algumas sugestões para futuros
estudos envolvendo testagem e para futuras elaborações de testes de
proficiência em ESP.
2 LEITURA
2.0 Considerações iniciais
Muito freqüentemente, no ensino de terceiro grau, a habilidade da
leitura é aquela que mais se faz necessária para a realização de estudos,
visando aprimoramento técnico, científico e profissional. Por essa razão, a
habilidade ou capacidade de leitura é comumente utilizada como fator
fundamental de julgamento na tomada de decisões no contexto acadêmico
em todos os níveis (Alderson, 1984, p. 1). Dentre essas decisões, pode-se
citar, por exemplo, a aceitação ou não de um candidato a um determinado
curso, ou a exigência formal de que os alunos de cursos de mestrado e
doutorado no Brasil comprovem habilidade de leitura em, pelo menos, uma
língua estrangeira no primeiro caso e duas, quando se trata de cursos de
doutorado. Essa posição privilegiada da leitura enquanto instrumento para
realização de inferências sobre rendimento acadêmico pode ter origem no
papel relevante que é conferido ao conhecimento perpetuado materialmente
através da forma escrita4.
Há que se considerar ainda que, mesmo em países onde há uma
extensa produção de conhecimento acadêmico registrada em língua nativa,
a habilidade de leitura em língua estrangeira ou em inglês, mais
4 Gnerre (1991) e Ilich & Sanders (1988), por exemplo, fazem uma extensa e aprofundada discussão sobre como a escrita e, por conseqüência, a leitura, assumiram tamanha importância, principalmente nas sociedades ocidentais. Tal discussão será tratada aqui em
13
especificamente, é normalmente vista “como um meio poderoso de adquirir
o conhecimento especializado sobre o qual a participação no mundo
moderno é baseada“ (Hill & Parry, 1992, p. 433, grifo meu)5. Assim, o
grande interesse pela pesquisa sobre essa habilidade, nas últimas duas
décadas, tem uma estreita relação “com a centralidade que a leitura tem no
mundo da escola” (Tavares, 1993, p. 12).
Para prosseguir tratando dessa questão parece necessário, porém,
definir qual o conceito de leitura subjacente ao presente trabalho. Assim,
será levado em consideração que a pesquisa realizada até o momento
produziu três concepções básicas sobre a natureza do processo de leitura.
A primeira, engloba os modelos chamados ascendentes (ou bottom-up), a
segunda, os modelos descendentes (ou top-down) e a terceira, os modelos
interativos. A caracterização de cada uma dessas três concepções téoricas
é discutida nas seções que se seguem.
2.1 Modelos ascendentes (bottom-up) de leitura
Poder-se-ia apontar os psicolingüistas americanos como
responsáveis pelas formulações que embasam essa primeira concepção
teórica de leitura. Tais formulações se fundamentam essencialmente na
psicologia behaviorista que, ao abordar a língua sob uma perspectiva
mecanicista, desconsidera a conexão entre “o psiquismo dos interlocutores
termos de como a leitura em língua estrangeira (especialmente em ESP) desempenha um papel fundamental no contexto acadêmico brasileiro. 5Todas as traduções de excertos de obras ainda não traduzidas para o português são de minha autoria.
14
e os contextos sociais em que ocorre a situação comunicativa” (Motta-Roth,
1991, p. 92).
Assim, é possível afirmar, em consonância com Kleiman (1989, p. 23-
25), que essa visão teórica de leitura pode ser caracterizada por um fluxo
unidirecional da informação, no qual o estímulo vem da página impressa
para o leitor, que decodifica o texto seguindo uma seqüência pré-
estabelecida de eventos perceptuais que iriam desde a percepção dos
traços distintivos grafêmicos até o procedimento visual para unificação dos
grafemas no nível frasal. Segundo essa concepção, então, quanto maior a
automatização de tais processos, melhor seria a leitura. Dentre os modelos
de decodificação, Samuels & Kamil (1988) citam dois que mereceriam
destaque.
O primeiro, é o modelo de processamento serial de Gough (1976),
que tenta “descrever a seqüência de eventos que acontecem em um
segundo de leitura, a fim de sugerir a natureza dos processos que unem
esses eventos” (Kleiman, 1989, p. 23). O segundo, é o modelo de
processamento automático de Laberge e Samuels (1976), que presume que
a leitura envolva uma seqüência de estágios no processamento da
informação, que evoluiriam à medida que o processamento da leitura se
tornasse mais automático. Um ponto comum de entendimento, até mesmo
entre críticos a esse modelo teórico (por exemplo, Smith, 1978), é que os
modelos ascendentes conseguem efetivamente dar conta de processos
complexos que ocorrem num segundo de leitura, como por exemplo, os
movimentos de fixação ocular e os mecanismos de processamento da
15
informação visual disponível no momento da leitura. Esses modelos falham,
no entanto, por não considerarem os processos mentais de ordem superior
que ocorreriam na leitura, nem tampouco o contexto onde a leitura ocorre.
As críticas que foram feitas à essa visão teórica nos anos 70 , são
baseadas na hipótese de que a leitura seria realmente um processo
unidirecional, porém, em sentido oposto, ou seja, a leitura seria tipicamente
um processo onde o sentido se constrói do leitor para o texto, conforme
argumentado pelos pesquisadores dos modelos descendentes de leitura.
2.2 Modelos descendentes (top-down) de leitura
Conforme mencionado anteriormente, os anos 70 marcam um
período de intenso questionamento sobre o processo de leitura. Naquele
período, autores como Goodman ([1967]1970) e Smith (1978) fazem um
reenquadramento teórico do processamento da leitura, propondo o
entendimento do texto como um objeto de sentido a posteriori, ao qual o
leitor atribui significado de acordo com sua experiência prévia e seus
objetivos. Os estudos desenvolvidos por esses dois pesquisadores resultam
no que foi chamado de modelo psicolingüístico de leitura.
Como se sabe, no modelo psicolingüístico de testagem de hipóteses
de Goodman, a leitura seria um “jogo psicolingüístico de adivinhação” no
qual a principal tarefa do leitor seria a reconstrução da mensagem
codificada por um dado escritor. Nesse modelo, ler eficientemente, por
envolver uma interação entre pensamento e linguagem, não implicaria uma
16
“identificação e percepção precisas de todos os elementos, mas da
habilidade de selecionar o mínimo de indicadores necessários para construir
‘adivinhações’ corretas” (Goodman, [1967]1970, p. 498). Um ponto
importante no modelo de Goodman é a noção de que o leitor utiliza não
uma, mas três fontes de informação simultaneamente. Além do input
gráfico, o leitor usaria tanto a informação sintática, como a semântica, para
processar a leitura (idem, p. 505). Assim, embora Goodman apresente
evidências de que a leitura não seja um “processo serializado de percepção
e identidade seqüencial, mas um processo que envolve seletividade e a
capacidade de antecipar a informação” (Kleiman, 1989, p. 30), ele não
consegue explicar, por exemplo, as relações entre os diversos mecanismos,
estratégias e processos envolvidos na leitura.
Grabe (1991, p. 376-377) coloca que a pesquisa desenvolvida por
Goodman (op.cit.) permitiu propor a leitura como um processo seletivo no
qual o (bom) leitor usa seu conhecimento prévio de mundo para levantar
hipóteses que são confirmadas ou não durante o desenvolvimento do
processo. Ainda segundo Grabe (idem, p. 377), a elaboração teórica de
Goodman é ampliada por Smith (1978), que argumenta que a testagem das
previsões feitas seria eficiente devido à grande redundância existente na
linguagem natural, assim como à capacidade que o leitor tem de fazer as
inferências necessárias a partir de seu conhecimento prévio (background
knowledge), que pode ser entendido como o conjunto de conhecimentos
extratextuais que o leitor emprega “para detectar a intenção do autor e,
conseqüentemente, perceber o efeito que este desejava causar” (Motta-
17
Roth, 1991, p. 95).
É interessante observar que Smith (1978) acentua a importância do
conhecimento prévio quando afirma que
a habilidade na leitura, na verdade, depende o mínimo possível do uso dos olhos e, à medida em que nos tornamos leitores fluentes, aprendemos a confiar naquilo que já conhecemos, naquilo que está além dos olhos e, cada vez menos, no que está impresso na página diante de nós. (p. 9)
O que parece comum às duas formulações teóricas acima é a
preocupação com o que Smith (1978, p. 13-14) chama de informação não-
visual, ou seja, a informação que resulta da familiaridade com o assunto e
alguma capacidade geral para a leitura. Segundo ele, a informação visual,
atuaria juntamente, ou antes ainda, em função da informação não visual,
havendo uma relação recíproca entre os dois tipos de informação.
Teoricamente, portanto, quanto mais informação não-visual estiver
disponível, menos informação visual será necessária para a leitura e vice-
versa. Smith (1978, p. 15-16) menciona também que há um limite para a
quantidade de informação visual com que o cérebro é capaz de lidar. O que
ocorreria, segundo ele, é que, a informação não-visual teria papel
preponderante nos processos envolvidos na leitura. Nesse sentido Tomitch
(1995, p. 2-4) menciona que face à grande quantidade de informação que o
leitor tem que lidar quando do complexo processo de leitura, há um limite
para a capacidade de armazenagem de informação possível de ser
processada. Assim, “para compreender um texto, o leitor tem que manter
18
em mente uma representação da informação previamente lida”, ao mesmo
tempo em que precisa lidar com a informação nova que vai lendo (ibid.).
De acordo com o que se procurou mostrar aqui, as proposições de
Goodman (1970) e Smith (1978) privilegiam os processos mentais de ordem
superior na leitura, destacando-se o entendimento de que a leitura é
um processo não linear, dinâmico na interrelação de vários componentes utilizados para o acesso ao sentido, e é uma atividade essencialmente preditiva, de formulação de hipóteses, para a qual o leitor precisa utilizar seu conhecimento lingüístico, conceitual e sua experiência (Kleiman, 1989, p. 30).
Deve-se apontar aqui que a diferença fundamental entre os modelos
ascendentes e descendentes é que, enquanto os modelos de decodificação
(ascendentes) representam a leitura como um ato perceptual, os modelos
psicolingüísticos (descendentes) concebem a leitura como um processo
cognitivo. A ênfase desses últimos, no entanto, ainda é direcionada
essencialmente aos aspectos psicolingüísticos, relegando os aspectos mais
relacionados a contexto (por exemplo, sociolingüístico, psicossocial) a um
segundo plano (cf. Tavares, 1993, p. 17). A preocupação com o contexto só
começa a ganhar mais peso, entretanto, quando do surgimento dos modelos
interativos.
Assim, de acordo com o que foi tratado até agora, o modelo
ascendente tem o input visual como a dimensão mais importante na leitura.
Em função disso, é chamado de data-driven, ou seja, orientado para os
dados (no caso, o texto impresso). O modelo descendente, por outro lado,
19
pressupõe os esquemas mentais prévios (schemata) como dimensão mais
importante na leitura. Por isso, é chamado de concept-driven, ou seja,
orientado para o conceito (aqui, o conhecimento prévio). Portanto, em
ambos os casos, há uma predominância quer de um ou de outro extremo. O
que a pesquisa realizada ao longo dos anos 70 e, em especial, nos anos 80,
tem procurado mostrar é que, quando se trata de leitura, as etapas do
processo representado nos modelos ascendentes e descendentes são, na
realidade, complementares. É esse entendimento de complementaridade
que permeia os modelos interativos de leitura.
2.3 Modelos interativos de leitura
O termo abordagens interativas ao processo de leitura pode ser uma
referência, de acordo com Grabe (1991, p. 383), a duas concepções
diferentes. A primeira tem relação com a interação geral que ocorre entre
leitor e texto. Isso implica dizer que “o leitor (re)constrói a informação do
texto, tanto a partir do próprio texto, quanto a partir do conhecimento prévio
que ele tem disponível”. A segunda concepção de abordagens interativas
refere-se “à interação entre as várias habilidades componentes que se
encontram potencialmente em operação simultânea” (ibid.).
Embora essas duas concepções sejam complementares, a pesquisa
sobre leitura em inglês como primeira língua (L1), nos anos 80, geralmente
enfatizou a segunda concepção, com a preocupação central de “explicitar as
relações entre habilidades específicas e como tais relações podem ser
examinadas” (Grabe, 1991, p. 383). Isso resultou, segundo ele, numa
20
postura mais cautelosa em relação às explicações que não pudessem ser
explicitamente testáveis ou que não fossem passíveis de definição dentro de
uma teoria sobre leitura.
Enquanto para a pesquisa sobre inglês como primeira língua a noção
de esquemas (schemata) era criticada por não ser claramente tangível, para
a pesquisa sobre leitura em inglês como língua estrangeira (EFL), a teoria
dos esquemas teve um papel fundamental na construção teórica dos
modelos interativos de leitura (Grabe, 1991, p. 383-384).
A pesquisa em leitura em EFL incorpora efetivamente o termo
esquema aos seus conceitos teóricos com Rumelhart (1980)6 que, ao
questionar modelos não interativos afirma que os esquemas, ou schemata
são verdadeiramente os blocos de construção da cognição. São eles os elementos fundamentais dos quais todo processamento de informação depende. Os esquemas (schemata) são empregados no processo de interpretação dos dados sensoriais (tanto lingüísticos, quanto não-lingüísticos), na busca de informação da memória, na organização de ações, na determinação de objetivos e, genericamente, na condução do fluxo de processamento no sistema (Rumelhart, 1980, p. 33-34)
Para uma teoria de esquemas, portanto, “a compreensão eficiente (de
um texto) requer a habilidade de relacionar o material textual com o
conhecimento prévio” (Carrell & Eisterhold, 1988, p. 76). A objeção a essa
visão pode ser manifestada pelo fato de que, enquanto para Rumelhart
”...um esquema é ... uma estrutura de dados para a representação dos
6Embora o termo esquema tenha sido usado originalmente por Kant, no século XVIII, passando por Bartlett na década de 30 (Clark & Clark, 1977, p. 167-168).
21
conceitos genéricos guardados na memória” (Rumelhart, 1984, p. 2), para
outros pesquisadores, conforme aponta Grabe (1991, p. 384), uma teoria de
esquemas não passaria de uma metáfora teórica para tentar dar conta do
conhecimento prévio do leitor. Independente do caráter que se atribua à
teoria de esquemas, o fato é que ela é bastante útil para explicar muitos dos
resultados experimentais em leitura em EFL segunda língua (por exemplo, o
fato de que atividades direcionadas de pré-leitura auxiliam a leitura e a
compreensão).
Em consonância com a teoria de esquemas, os modelos interativos
de leitura são tomados aqui como aqueles nos quais o fluxo de informação
seria caracterizado pela bidirecionalidade, ou seja, nos quais a informação
fluiria tanto do texto para o leitor (leitura como processo perceptivo), quanto
do leitor para o texto (leitura como processo cognitivo), em geral, de forma
simultânea. Dessa forma, o foco de estudo passa da compreensão de
micro-unidades para a compreensão do texto como um todo (cf. Moita
Lopes, 1996, p. 138; Tavares, 1993, p. 18; Kleiman, 1989, p. 30-32). Assim,
convém aludir novamente ao conceito de esquemas que, segundo Moita
Lopes, são
estruturas cognitivas armazenadas em unidades de informação na memória de longo prazo (MLP) — ou seja, constituem o nosso pré-conhecimento — que são empregadas no ato de compreensão. Assim, os esquemas do leitor são vistos como informando, na direção descendente, a informação oriunda do texto que está sendo processada de maneira ascendente (Moita Lopes, 1996, p. 139)
22
Além da interação no fluxo de informação, pode-se postular que a
leitura tem ainda um caráter dialógico, ou seja, que a interação ocorre não
somente no fluxo da informação, mas também entre os participantes no
discurso. Esse caráter dialógico, por sua vez, amplia sensivelmente a
concepção interativa que se possa ter sobre leitura (Moita Lopes, 1996, p.
138-143; Tavares, 1993, p. 18-19).
Dentro dessa concepção ampliada sobre modelos teóricos de leitura,
serão discutidas duas perspectivas que, embora tenham núcleo comum,
abordam aspectos diferenciados sobre o processo da leitura: o modelo
interacional de leitura proposto por Moita Lopes (1986) e o modelo interativo
proposto por Cavalcanti (1989).
2.3.1 Modelo interacional de leitura proposto por Moita Lopes
O modelo de leitura proposto por Moita Lopes é denominado de
interacional
no sentido de que é derivado de uma visão interacional do: a) fluxo da informação — na linha de teorias de esquema; e b) do discurso, entendido aqui como o processo comunicativo entre leitor e escritor na negociação do significado do texto. (Moita Lopes, 1996, p. 138)
Uma noção inerente aos modelos interativos de leitura, que está
23
presente no modelo interacional de Moita Lopes (1986), diz respeito à
bidirecionalidade no fluxo da informação no processo da leitura, de modo
que o leitor seja enfocado (nos termos da teoria de uso de linguagem de
Widdowson, 1983) como fazendo uso de dois tipos de conhecimento: o
sistêmico e o esquemático. O conhecimento sistêmico pode ser relacionado
com aquilo que a lingüística tradicional 7 chama de competência lingüística.
Moita Lopes incorpora a seu modelo “a posição tomada da psicolingüística
de leitura de que a interpretação semântica não requer a interpretação
fonológica” (Moita Lopes, 1996, p. 140). Assim, o conhecimento sistêmico
consistiria no conhecimento do leitor nos níveis sintático, léxico e semântico.
O conhecimento esquemático, por sua vez, seria aquele que daria conta das
expectativas que o leitor traz para o texto, envolvendo o pré-conhecimento
do leitor na área de conteúdo do texto, e “o conhecimento que os leitores
têm das rotinas de interação lingüística, conforme expresso nas estruturas
retóricas da linguagem” (idem), o que Carrell chama, respectivamente, de
esquemas de conteúdo (content schemata) e esquemas formais (formal
schemata) (Carrell, 1983, 1989; Tavares, 1993). O conhecimento prévio,
portanto, permite ao leitor interagir com o texto tanto numa perspectiva
ascendente, quanto numa perspectiva descendente, possibilitando que o
texto possa ser percebido enquanto discurso. Dessa forma, o modelo de
Moita Lopes pode ser representativo do que Dell Hymes (1972) chama de
competência comunicativa.
Moita Lopes ainda argumenta, consoantemente com Stanovich
7 O termo lingüística tradicional é utilizado por Moita Lopes em contraposição ao termo lingüística aplicada.
24
(1981), que o ato de ler é uma combinação tanto de processos perceptivos,
quanto de processos cognitivos. Mais recentemente, entretanto, a
concepção de leitura defendida por Moita Lopes está mais identificada com
os aspectos sociais relacionados com a leitura, o que traz à cena a segunda
questão a discutir dentro do modelo interacional de leitura proposto por ele:
o processo comunicativo.
Dentro dessa questão interessa discutir particularmente o conceito de
capacidade (ability), tomado de Widdowson (1983). Esse conceito está
relacionado com a habilidade de utilizar os procedimentos de interpretação
necessários para a negociação do significado entre os interlocutores (cf.
Tavares, 1993, p. 19-20). Essa negociação, por sua vez, é que possibilita a
situação da leitura como ato comunicativo, sendo postulado implicitamente
no modelo interacional de Moita Lopes “o fato de que leitores e escritores
estão posicionados social, política, cultural e historicamente ao agirem na
construção do significado” (Moita Lopes, 1996, p. 142). Fica claro, então,
que
A tentativa desse modelo interacional de leitura de abarcar em um mesmo arcabouço teórico, elementos em nível de competência lingüística e comunicativa, e capacidade parece oferecer àqueles que estão interessados no ensino de leitura um modelo mais adequado do que modelos não-interacionais, já que envolve não só os tipos de conhecimento requeridos do leitor como também os procedimentos interpretativos utilizados na negociação do significado na sociedade (ibid.)
Assim, de acordo com esse modelo, o processo de leitura seria
carcterizado “por uma interação entre o mundo do leitor, representado por
seu conhecimento sistêmico e seu conhecimento esquemático, e o mundo
25
do escritor expresso no texto”, de forma que entre leitor e escritor haveria
uma tentativa de ajuste entre seus respectivos esquemas. Essa interação,
por sua vez, seria “caracterizada por procedimentos interpretativos que são
parte da capacidade do leitor de se engajar no discurso ao operar no nível
pragmático da linguagem” (ibid., p. 141).
A estrutura geral, bem como a relação entre os diversos
componentes do modelo interacional de leitura proposto por Moita Lopes
pode ser visualizada através do quadro sintético da Figura 1.
Figura 1- Modelo Interacional de Leitura (Moita Lopes, 1996, p. 143)
Essa perspectiva oferecida por Moita Lopes serve de base para a
definição de proficiência em leitura em ESP adotada no presente trabalho.
Parece importante ressaltar aqui a visão de que não interessa restringir a
Níveis sintático, Nível Nível pragmático léxico-semântico esquemático CONHECIMENTO CONHECIMENTO SISTÊMICO ESQUEMÁTICO CONHECIMENTO DO LEITOR(A) esquemas esquemas top bottom procedimentos compreensão de conteúdo formais down up interpretativos TEXTO (conhecimento competência apresentado no comunicativa texto) capacidade ESCRITOR(A), por assim dizer competência competência lingüística discursiva competência textual
26
discussão sobre leitura “a questões no nível sistêmico, esquemático e
pragmático” (ibid.), mas ampliá-la de modo a incluir também questões
relativas ao uso da linguagem na sociedade, já que, no caso específico dos
testes de proficiência em leitura em ESP a que alunos de pós-graduação
são submetidos, o que está em jogo não é apenas um rol de habilidades
lingüísticas envolvidas na leitura de textos em língua estrangeira, mas um
sistema de valores que permite ou nega acesso de indivíduos à interação no
âmbito acadêmico. Essa discussão, no entanto, receberá maior atenção
quando for tratado do conceito de testes de proficiência.
2.3.2 Modelo interativo de leitura proposto por Cavalcanti
Pode-se pensar em uma convergência de foco entre o modelo
apresentado por Moita Lopes (1986) e aquele proposto por Cavalcanti, já
que ambos parecem identificar-se teoricamente com aqueles pesquisadores
que têm “interesse pelo estudo dos processos socio-interacionais enquanto
elementos geradores da construção do conhecimento, isto é, da cognição”
(Moita Lopes, p. 1992, 12). É nessa perspectiva que Cavalcanti afirma que
seu modelo tem como ponto de partida a combinação de duas abordagens
de conhecimento prévio, a de Schank & Abelson (1975), que trata dos
sistemas de valores que o leitor leva para a leitura, e a de Rumelhart, que
lida com o conhecimento prévio, propriamente dito, combinadas com a
abordagem proposta por van Dijk (1977), com base no texto. Dentro desse
amplo leque teórico listado,
27
a leitura é vista como um processo de comunicação complexo e altamente automático do tipo receptivo dependente do jogo de inter-relações entre conhecimento prévio, sistema de valores e o conhecimento acumulado sob a influência de variáveis de desempenho. O conhecimento prévio e os sistemas de valores constituem as restrições do leitor. O conhecimento acumulado é o resultado dinâmico proveniente da interação entre as restrições do leitor e do texto. As variáveis de desempenho representam as restrições do contexto de leitura, isto é, elas influenciam e são influenciadas pelas restrições do leitor. (Cavalcanti, 1989, p. 46-47)
É importante frisar também que as restrições das quais Cavalcanti
trata são de três tipos diferentes. O primeiro tipo é o das restrições mínimas
do leitor na interação com o texto, as quais podem se originar das estruturas
de conhecimento que estão subjacentes à sua competência, dos sistemas
de valores que determinam os pontos de vista adotados e do conhecimento
acumulado que reflete a visão do leitor do que seja informação relevante no
texto. O segundo tipo de restrições do texto, tem relação com o ponto de
vista do leitor. Essas restrições, a seu turno, são relacionadas a dois fatores:
implicitude e explicitude (de organização, ponto de vista, intenções, etc.).
Finalmente, o terceiro tipo de restrições tem relação com o contexto de
leitura. Assim, variáveis de desempenho como, por exemplo, o foco de
atenção imediata, as expectativas, o propósito e a motivação estariam
subjacentes às atitudes adotadas na leitura. Essas restrições aludidas acima
estariam combinadas aos processos cognitivos, conforme mostra a Figura 2.
De acordo com esse esquema proposto por Cavalcanti (ibid.), a
leitura seria um processo ativo, porque envolve interpretação e exige
competência comunicativa; construtivo, porque baseia-se em interpretação
28
de planos das expressões indexicais8sinalizadas no texto; interativo, já que
sofre a influência das variáveis de desempenho e, finalmente, a leitura seria
um processo reconstrutivo, por permitir a introdução de vieses e distorções
provenientes das variáveis de desempenho e dos sistemas de valores do
leitor (ibid.).
Figura 2 - Interação Leitor-Texto (Cavalcanti, 1989, p. 46)
Assim, Cavalcanti (1989, p. 225-226) argumenta que os problemas
que ocorrem na leitura podem ser analisados com base na interação entre
leitor e texto, no sentido de que essa interação pode ser definida pela busca
de uma relação de equilíbrio entre a saliência textual e a relevância para o
leitor. A saliência textual é definida pela pesquisadora em termos de itens
lexicais chaves, que funcionam como um elo entre coesão e coerência. A
8 Em outras palavras, o leitor persegue as pistas ou índices lingüísticos ou metalingüísticos
PROCESSOS COGNITIVOS
RESTRIÇÕES COMPETÊNCIA COMUNICATIVA CONHECIMENTO EXPLICITUDE RESTRIÇÕES DO SISTEMAS DE VALORES ACUMULADO IMPLICITUDE DO LEITOR ESTRUTURAS DE CONHECIMENTO TEXTO
VARIÁVEIS DE DESEMPENHO
29
relevância para o leitor é definida em termos dos itens contextualmente
relevantes para o leitor, ou seja, levam em consideração seu ponto de vista.
Nesse sentido, o trabalho da pesquisadora procura sistematizar o
tratamento das diversas instâncias envolvidas no processo de leitura e de
como essas instâncias interagem simultaneamente e, para tanto, propõe
uma divisão metodológica em estágios e fases de leitura, destinados a
explicar o ponto de vista do leitor na interação com o texto.
A pesquisadora menciona dois estágios (redução e mudança). O
estágio de redução se refere à simplificação conceitual dependente da inter-
relação entre o conhecimento prévio e acumulado do leitor e sua atribuição
de relevância às informações do texto” (Ibid., p. 49). Em outras palavras, o
leitor reduziria o texto àquelas informações consideradas por ele como mais
importantes. O estágio de mudança refere-se à utilização da informação e
estaria relacionado ao efeito provocado pelo texto nas estruturas de
conhecimento e sistemas de valores do leitor. Embora a própria
pesquisadora argumente que esses dois estágios são demasiadamente
genéricos para explicar a complexidade do processo de leitura e, por essa
razão, proponha sua subdivisão em fases intermediárias, o conceito de
estágio de redução parece ser especialmente relevante para os propósitos
do presente trabalho, no sentido de que parece explicar, ainda que em
termos gerais, a interação entre o conhecimento prévio do leitor e a
informação contida no texto.
deixados para ele/a no texto pelo escritor.
30
A interação aqui aludida será tratada no presente trabalho em termos
da proximidade entre a informação que os alunos precisam processar e
interpretar no texto e nas questões do teste, e aquela informação que esses
mesmos examinandos buscam acessar nos seus estudos. Esse ponto será
retomado quando da discussão dos dados sobre os examinandos e seu
desempenho nos testes (Capítulo 7).
Nas seções 2.1 e 2.2 do presente capítulo, foram apontadas duas
abordagens unidirecionais ao processo de leitura (ascendente e
descendente, respectivamente, nas seções 2.1 e 2.2), bem como as críticas
feitas a elas, no sentido de que embora tanto uma quanto a outra pudessem
explicar dados momentos dentro do complexo processo de leitura, nenhuma
das duas parece ser capaz isoladamente de tratar da leitura na sua
totalidade. Isso pode se dever ao fato de que a interpretação do sentido de
um texto demanda do leitor o acesso aos esquemas formais e de conteúdo
sobre o assunto em questão. Os modelos ascendentes e descendentes não
garantiriam que autor e leitor estivessem se referindo às mesmas coisas,
atribuindo-lhes o mesmo sentido. Assim, aludimos a
um terceiro nível de processamento de sentido, onde a compreensão se dá num contexto comunicacional pragmático, cabendo ao leitor fazer ilações sobre as intenções do autor em relação ao enunciado, conjeturando sobre a situação (sócio-econômica, política, cultural etc.) em que se deu o estabelecimento do texto como tal e fazendo as inferências necessárias à compreensão do mesmo (Motta-Roth, 1991, p. 94)
Esse terceiro nível de processamento não seria apenas uma soma
dos dois outros níveis, mas uma interação não hierarquizada de processos,
31
em que ambos os níveis podem ocorrer isolada ou simultaneamente. A
questão central aos modelos interativos de leitura, como se pode ver, é a
preocupação em situar a leitura como um processo em que os aspectos
específicos e gerais ocorrem simultaneamente, em oposição à visão
atomística do processo, proporcionada pelos modelos de decodificação e à
visão da leitura a partir do todo, característica do segundo grupo de modelos
aqui abordado.
Assim sendo, seria interessante que essa concepção de leitura como
interação não hierarquizada entre processos ascendentes e descendentes
fosse usada como base teórica para o desenvolvimento de testes de
proficiência, já que o uso maciço do conhecimento prévio, característico da
leitura em ESP, por si só, é insuficiente para uma leitura bem sucedida. É
interessante, portanto, integrar diferentes níveis de processamento para se
tirar maior proveito da leitura. Para melhor esclarecer essa questão, cabe
agora discutir a respeito de um aspecto específico sobre leitura, de central
importância para o presente trabalho, ou seja, a questão da leitura
especificamente orientada para as necessidades do contexto acadêmico.
2.4 Leitura em inglês para fins específicos ou acadêmicos (ESP)
A leitura em inglês no contexto acadêmico é um tema que há muito
atrai a atenção de pesquisadores (cf. Alderson, 1984; Grabe, 1991) e esse
interesse tem resultado em um repertório de justificativas, ênfases e
referenciais teóricos que têm variado consistentemente ao longo de mais de
meio século. Em 1923, por exemplo, foi iniciado um estudo nos Estados
32
Unidos (publicado em 1929 sob o título de Coleman Report) cuja conclusão
foi de que, face ao pouco tempo disponível para ensinar as habilidades de
conversação, do preparo limitado dos professores para ensiná-las e da
percepção de que tais habilidades em língua estrangeira seriam irrelevantes
para alunos universitários americanos, não seria prático ou viável insistir no
ensino de conversação. Assim, tal estudo sugeria que
um objetivo mais razoável para um curso de língua estrangeira seria (propiciar) um conhecimento de leitura na língua estrangeira, realizável através da introdução gradual de palavras e estruturas gramaticais em textos de leitura simplificada. O resultado principal dessa recomendação foi que a leitura tornou-se o objetivo da maior parte dos programas de línguas estrangeiras nos Estados Unidos (Richards & Rodgers, 1986, p. 11)
É possível sugerir que as recomendações feitas pelo Coleman Report
tenham sido determinantes para dois fatos. Em primeiro lugar, para o fato
de a ênfase na leitura dentro dos programas de língua estrangeira nos
Estados Unidos persistir até a II Guerra Mundial (ibid.). Em segundo lugar,
para o fato de os métodos de leitura terem sido desenvolvidos com amparo
metodológico em concepções teóricas que entendiam a leitura como
resultante de processos ascendentes, ou seja, de que a atribuição de
sentido na leitura seria dada pelo estímulo grafo-fonêmico da palavra
impressa no papel, cabendo ao leitor buscar o significado a ela inerente.
Não pretendo retomar aqui a discussão sobre as diferentes abordagens ao
processo de leitura, mas tão somente mostrar que o interesse pela pesquisa
que trata da leitura em língua estrangeira além de já existir há bastante
tempo, é também responsável por muitas das transformações nas
33
concepções teóricas sobre o processo de leitura.
Considerando que o presente trabalho enfoca especificamente a
leitura em ESP numa universidade inserida no contexto acadêmico
brasileiro, concentrarei a análise naqueles tópicos mais diretamente
vinculados às especificidades desse contexto, embora algumas questões de
âmbito geral sejam também discutidas.
No que se refere à pesquisa sobre leitura em ESP, poder-se-ia
mencionar nesse quadro o grande impulso recebido pela área na segunda
metade da década de 60, quando aumentou drasticamente o número de
estudantes nos Estados Unidos e Inglaterra que tinham o inglês como língua
estrangeira. Isso, segundo Grabe (1991, p. 376) teria gerado uma
necessidade de preparar um número crescente de estudantes com
habilidades avançadas (advanced skills) adequadas aos estudos no nível
universitário. O termo habilidade está sendo usado aqui para fazer
referência a certas capacidades específicas envolvidas na comunicação, e
não aos quatro tipos de habilidades normalmente referidas pelas pesquisa
em aquisição de linguagem (leitura, escrita, compreensão oral e fala), logo,
traz em seu bojo a concepção de que certos habilidades específicas seriam
necessárias ao trato acadêmico como, por exemplo, a habilidade de
distinguir a idéia principal das idéias secundárias no texto. Assim, é possível
inferir que um desdobramento lógico dessa tentativa de identificar
habilidades especificamente necessárias a um determinado tipo de cultura
(acadêmica, no caso) implicaria em fortalecer a pesquisa sobre as
especificidades dessa dada cultura.
34
Esse crescente número de estudantes estrangeiros nos Estados
Unidos e Inglaterra nos anos 60 funcionou como um estímulo ao
crescimento na pesquisa sobre ensino de ESP. Assim, é possível afirmar
que, ao longo dos últimos 30 anos, a área estabeleceu-se como um
movimento vigoroso dentro do campo de ensino de inglês como língua
estrangeira (cf., por exemplo, Johns & Dudley-Evans, 1991). Assim, quando
se fala de cursos de ESP, tem-se em mente cursos orientados para
determinados públicos, em contraposição àqueles voltados para um público
mais heterogêneo que faz uso de inglês para propósitos gerais. Em razão
dessa particularidade, define-se ESP a partir de quatro características
absolutas e duas características variáveis 9(Jonhs & Dudley-Evans, 1991, p.
298).
Como características absolutas poderia ser dito que ESP consiste no
ensino de língua inglesa que: a) é criado para atender as necessidades
específicas do aprendiz; b) tem conteúdos relacionados a disciplinas,
ocupações e atividades específicas; c) centra-se na exploração da
linguagem apropriada às disciplinas, ocupações e atividades acima, no que
se refere a sintaxe, léxico, retórica, etc. e d) contrasta com o que se entende
por ‘inglês geral’.
Como características variáveis, poder-se-ia dizer que o ensino de
ESP pode (embora não necessariamente): a) estar restrito às habilidades
lingüísticas que se quer aprender (por exemplo, leitura); e b) ser ministrado
sem seguir uma metodologia rigidamente pré-ordenada, ou seja, pode haver
9 Segundo Johns & Dudley-Evans (1991, p. 298), essa definição, proposta por Strevens
35
uma coexistência de diferentes métodos, desde que eles conduzam aos
objetivos específicos de ensino e de aprendizagem (ibid.).
Como essas características subjazem a praticamente todas as
iniciativas de ensino de ESP, iremos nos reportar a elas considerando o
caso específico desse tipo de ensino no Brasil.
O ensino de ESP tem grande popularidade e aceitação
internacionalmente (cf. Johns & Dudley-Evans, 1991). Especificamente no
ensino de terceiro grau, essa aceitação é ainda maior quando se trata de
leitura, tanto em conseqüência da centralidade dessa habilidade no universo
acadêmico, quanto da importância da língua nas mais variadas áreas do
conhecimento em nível mundial (cf. Philipson, 1992), e nacional (Célia,
1983; Tavares, 1993, p. 12).
Dada essa importância, surge, nos anos 80, o Projeto Ensino de
Inglês Instrumental, envolvendo um grande número de universidades
brasileiras. O projeto representou um marco fundamental na história do
ensino de língua inglesa no Brasil por diversas razões. Dentre essas razões,
tem especial destaque o fato de que, através do projeto, o desenvolvimento
de material didático ganhou uma nova dimensão. Com isso, a pesquisa em
sala de aula teve um estímulo adicional. A partir daí, dadas as
características específicas que os cursos de ESP procuravam ter, a análise
de necessidades do público envolvido assume um papel relevante e, em
função disso, o professor insere-se na sala de aula como pesquisador.
(1988, p. 1-2), é amplamente aceita no meio acadêmico.
36
Talvez por essa razão, durante a segunda metade da década de 80 e início
da década de 90, há um incremento no nível de produção de pesquisa
especificamente identificada com ESP na área de LA. Além disso, no final
dos anos 80 o projeto passa por uma avaliação que é destaque no cenário
global da área de ESP, visto que pela primeira vez um projeto de
abrangência nacional (principalmente se for considerado o porte e a
abrangência do projeto) passa por uma avaliação de resultados que vai
além da simples submissão dos alunos participantes a testes de língua.
Naquela avaliação, os alunos foram chamados a opinar sobre os processos
de ensino e aprendizagem do qual participaram. Isso ocorreu, em parte,
como uma reação à avaliação por parte de especialistas que, sem
envolvimento direto no projeto, avaliavam-no em visitas rápidas10(Alderson &
Scott, 1992, p. 27-37). Holmes (1992, p. 44-45) aponta ainda que, a partir
disso, os alunos passam a tomar parte ativa na pesquisa sobre como eles
próprios aprendem. Esse fato, segundo Holmes, colocaria o ensino de ESP
no plano da pós-modernidade da pesquisa em LA (ibid.).
Como desdobramento do projeto, iniciativas de pesquisa sobre as
especificidades do discurso acadêmico e das necessidades dos aprendizes
ajudaram a valorizar áreas como a Análise do Discurso (ver, por exemplo,
Motta-Roth, 1995; Santos, 1995) e as abordagens etnográficas da pesquisa
em sala de aula (ver, por exemplo, Cavalcanti, 1989; Moita Lopes, 1996)
10 Há, no texto de Alderson & Scott (1992) uma referência irônica a tais especialistas, chamados jocosamente de JIJOEs (Jet-In Jet-Out Experts). A ironia está na semelhança desse com o termo G.I.JOE, que se refere às brigadas de soldados (americanos) que tomam lugares de assalto, interferindo na vida dessas localidades.
37
Embora tais trabalhos abordem diferentes aspectos relacionados ao
ensino de ESP, parecem indicar, contudo, uma mudança de ênfase ao
longo das décadas de 80 e 90, quando o Projeto Nacional Ensino de Inglês
Instrumental em Universidades Brasileiras (conforme já mencionado, sob a
coordenação de Maria Antonieta Alba Celani, da PUC-SP) provoca um
redirecionamento das práticas pedagógicas na sala de aula de ESP através
dos materiais e das atividade desenvolvidos pelo Projeto. Passou-se da
ênfase ao produto da compreensão, que marcava o ensino de ESP até o
final dos anos 70, para uma preocupação claramente identificada com a
conexão entre o produto e o processo através do qual o significado da
leitura é construído (cf. Tavares, 1993; Kleiman, 1992). Dito de outra forma,
passa-se de uma prática pedagógica calcada em modelos de decodificação
para outra, que
pode refletir a adoção de um modelo psicolingüístico, caso a ênfase recaia em estratégias que privilegiem a contribuição do aluno-leitor, ou a adoção de um modelo interativo, caso as estratégias trabalhadas dêem conta dos procedimentos interpretativos e da bidirecionalidade do fluxo da informação. (Tavares, 1993, p. 31)
A partir da segunda metade dos anos 80, entretanto, a concepção de
leitura como processo interativo tem sido enfatizada na pesquisa e nos
currículos de ESP, indicando a necessidade de o ensino se ocupar em
trabalhar tanto os aspectos lingüísticos, quanto aqueles relativos ao
conhecimento prévio e ao discurso enquanto processo de negociação de
significado entre participantes de um ato comunicativo. Pode-se citar como
38
exemplo dessa ênfase, os trabalhos que indicam a necessidade de inter-
relacionar os processos ascendentes e descendentes no ensino de leitura
em ESP, como forma de garantir as bases sobre as quais possa ser
construída uma leitura que se postule crítica.
Nesse particular, é importante observar o crescente número de
trabalhos que se alinham com uma postura crítica em relação à leitura, na
premissa de que há a necessidade de se investigar o funcionamento do
discurso em suas diferentes facetas (ver, por exemplo, Scaramucci, 1996;
que propõe uma gramática centrada no léxico, especialmente nos estágios
iniciais do ensino de leitura em ESP e Braga, 1996, que parte de uma
concepção interativa entre processos ascendentes e descendentes e
advoga a intervenção do professor dentro da situação de ensino formal).
Discurso é interpretado neste trabalho nos termos apresentados por Motta-
Roth (1995, p. 2), a partir de Fairclough (1992), que entende discurso como
sendo um fenômeno social multifacetado, envolvendo três dimensões. A
primeira dimensão é aquela representada por um texto oral ou escrito. A
segunda, uma interação entre pessoas e os processos de produção e
interpretação. A terceira e última dimensão é a das ações sociais que
resultam do entrelaçamento entre texto e interação social (Fairclough, 1992,
p. 10).
2.5 Considerações finais
39
Embora todos os tópicos discutidos ao longo deste capítulo estejam
diretamente ou indiretamente relacionados à tessitura da análise dos dados
da presente pesquisa, convém apontar aqui a relevância desses tópicos
para o presente trabalho. Nesse sentido, na discussão sobre modelos de
leitura e sobre ESP que se procedeu aqui, procurei acentuar o entendimento
de que a leitura é um processo caracterizado tanto por aspectos cognitivos
quanto sociais e que toda leitura é social e historicamente localizada. Esse
mesmo entendimento permeia a discussão sobre testagem de proficiência
(Capítulo 3), onde os aspectos técnicos e procedimentais de testagem serão
discutidos tendo-se em mente a função e no impacto social da testagem de
proficiência em leitura.
3 TESTAGEM DE PROFICIÊNCIA EM LEITURA
3.0 Considerações iniciais
Em universidades brasileiras, a proficiência em língua estrangeira,
definida em termos gerais como a habilidade de usar uma língua estrangeira
para um determinado propósito11 , está entre as condições regulamentares
para admissão de candidatos à Pós-Graduação ou para a habilitação à
defesa dos trabalhos de conclusão dos cursos de Mestrado e Doutorado11.
Tal exigência pode ser justificada pelo fato de que uma das expectativas
que se têm sobre alunos de pós-graduação é que possam ter acesso ao
crescente volume de leituras exigidas nesse nível e, dessa forma, que sejam
capazes de interagir com seus pares, principalmente, por meio da leitura do
que é publicado nos mais diversos fóruns acadêmicos e científicos, tais
como, livros, revistas especializadas e anais de congressos.
Embora o termo proficiência em língua estrangeira esteja associado,
no contexto acadêmico brasileiro, a habilidades receptivas e produtivas orais
e escritas em qualquer língua que não o português, é possível observar uma
11 Definição de language proficiency tomada do Longman Dictionary of Language Teaching & Applied Linguistics ( Richards, Platt & Platt, 1992, p. 204). 11 Dois instrumentos legais dão amparo à testagem de suficiência/proficiência na UFSM. O primeiro é o Regimento Geral dos Programas/Cursos de Pós-Graduação, datado de dezembro de 1995, que apresenta como aspectos comum a tais Programas/Cursos stricto sensu da UFSM onze ítens, dos quais a exigência de realização de prova de língua estrangeira até o final do 1o ano de ingresso sem a qual nenhum candidato pode concluir seu curso. O segundo instrumento é a Resolução no 009/96, que define normas internas
41
concentração na habilidade de ler e interpretar textos acadêmicos em língua
inglesa. Isso poderia ser explicado principalmente pela constatação de que
a habilidade de leitura em ESP é freqüentemente necessária a alunos de
pós-graduação em qualquer área. Essa predominância da língua inglesa no
cenário acadêmico pode ser explicada pelo fato do inglês ser considerado
lingua franca nos mais diversos campos da atividade humana (Philipson,
1992). Assim, espera-se de indivíduos engajados em cursos de Pós-
Graduação uma proficiência de leitura em ESP12.
Entre os vários fatores relacionados ao conceito de proficiência, três
merecem especial atenção: competência, habilidade e desempenho.
Competência deve ser entendida neste trabalho como “a habilidade não
somente de usar as regras gramaticais de uma língua [no sentido
chomskyano de regras] para formar sentenças corretas, mas também saber
como, onde e para quem usar essas sentenças” (Richards, Platt & Platt,
1992, p. 65), prevendo, portanto, a habilidade de usar a linguagem como
discurso. Habilidade refere-se-á ao nível de capacitação demonstrado por
um sujeito para realizar uma determinada tarefa num dado contexto.
Finalmente, desempenho, refere-se ao nível mensurável de habilidade de
um sujeito, numa determinada tarefa, como, por exemplo, um teste. O termo
performance, quando utilizado, deve ser entendido como sinônimo de
desempenho.
para a realização de tais testes, segundo os preceitos do Regimento Geral. Em nenhum dos instrumentos há qualquer menção à língua na qual o teste deve ser prestado. 12 Para a finalidade do presente estudo, quando se falar em testes de proficiência, se estará tratando dos testes de leitura em ESP desenvolvidos e aplicados em universidades brasileiras, mesmo para aquelas instituições que adotam outras denominações, como é o caso da UFSM, onde o nome adotado é suficiência de leitura em língua inglesa.
42
Uma vez definidos esses termos, cabe mencionar que, no Brasil, a
pesquisa em testagem de proficiência é praticamente inexistente e que, a
despeito disso, os testes de proficiência continuam sendo aplicados. Assim
é fundamental que se incremente a pesquisa nessa área, posto que a
construção de testes de proficiência em universidades brasileiras pode estar
calcada fundamentalmente no que se pesquisa sobre o assunto em outros
países, notadamente nos Estados Unidos e na Inglaterra. Nesses países,
conforme mencionado anteriormente, o termo proficiência vai além da noção
de habilidade de leitura, visto que o aluno terá que enfrentar atividades as
mais diversas, envolvendo tanto a comunicação oral, como a escrita. Em
outras palavras, é sob a ótica do que é considerado razoável e adequado
para a realidade daqueles países que pode estar sedimentada a testagem
de proficiência no contexto nacional, fato que, por si só, justificaria um
esforço de pesquisa voltado à realidade local.
Assim, como a presente pesquisa parte do pressuposto de que o
insucesso de estudantes de mestrado, em testes de proficiência, pode ser
causado por falhas na adaptação da testagem ao contexto acadêmico no
qual se insere, optou-se por fazer um estudo que possa dar conta da
interface entre testagem e contexto. Para tanto, as indicações que Peirce
(1992, p. 687) faz sobre as diversas carências em termos de pesquisa sobre
testagem permitem identificar algumas áreas que interessaria pesquisar. De
acordo com aquela pesquisadora, seria razoável reivindicar estudos mais
aprofundados sobre os testes de proficiência, visando elucidar questões que
dizem respeito ao teste como um evento comunicativo, envolvendo o texto
43
como conteúdo proposicional e formal, participantes (pelo menos os
examinandos e o examinador) e o contexto que encompassa as relações e
ações que se estabelecem em torno desse evento comunicativo. É nessa
vertente que este estudo pretende seguir. Agora, no entanto, se discutirá
pesquisa sobre testagem. As questões relacionadas ao teste e ao contexto
são tratadas ao longo dos capítulos de discussão dos resultados.
3.1 Perfil histórico da pesquisa sobre testagem de proficiência
Numa simplificação da história da testagem, pode-se apontar quatro
momentos distintos. No primeiro momento, denominado “pré-científico”, é
possível identificar a ausência de um estudo sistemático dos testes e do
processo de testagem de línguas (Célia 1983, p. 46-48). Nesse período, o
referencial teórico era a Gramática Descritiva e a noção de proficiência dava
conta de que conhecer uma língua implicava tão somente em aprender as
regras de sua gramática. Não havia, portanto,
preocupação de caráter psicológico — o que ocorre na mente do indivíduo — sociológico — as interações sociais do aluno usando a língua — ou, muito menos, comunicativo — o uso real que o aluno faz da língua. (ibid., p. 47)
Os procedimentos de testagem nessa fase careciam de uma
preocupação com critérios técnicos, tais como, fidedignidade13— a
13 O termo original utilizado é reliability, cujo significado mais usual em português é confiabilidade. Optei, no entanto, por fidedignidade, conforme proposto por Célia (1983) que é, no meu entender, mais abrangente e fiel à acepção original do termo, que dá conta de
44
capacidade de mensuração consistente e invariável do desempenho de um
indivíduo no teste — e validade — a capacidade de medir com precisão o
que se espera que o teste meça. Os teste eram constituídos de exercícios
que refletiam tal concepção, como, por exemplo, a tradução mecânica de
textos.
Apesar dos ataques a essa primeira tendência em testagem (a
começar pela denominação a ela atribuída), em meados dos anos 80,
muitos currículos e, conseqüentemente, modelos de testagem eram
largamente baseados em tal concepção (ibid., p. 35). Pode-se dizer, então,
que o maior mérito dessa primeira tradição reside nas falhas que nela
transpareciam, que acabaram por resultar nas primeiras tentativas de
sistematizar a testagem de proficiência.
A segunda tradição, denominada de “psicométrica-estruturalista”,
surge com o advento do estruturalismo e a busca de uma cientificidade na
testagem. Tal abordagem buscava acompanhar basicamente o método
audio-lingual, inspirado no estruturalismo e na psicologia
comportamentalista, bem como nas concepções cognitivistas do ensino de
línguas, em que se aplicavam, em sala de aula, os princípios da gramática
transformacional. Durante essa fase tem-se como foco principal a
compreensão, com ensino dedutivo da gramática (ibid., p. 47), no sentido de
treinar o aluno para a produção de diálogos, com a finalidade de criar
hábitos e formar regras. Os dois fatos que se salientam nessa fase são o
quão fielmente um teste cumpre sua função de avaliação, ou, em outras palavras, quão confiável ele é enquanto instrumento de avaliação.
45
surgimento do primeiro teste padronizado de proficiência em larga escala, o
TOEFL (Test of English as a Foreign Language), e o estabelecimento de
bases que, até hoje, são válidas para a construção de testes de proficiência.
O surgimento do TOEFL foi muito relevante para o contexto da
testagem em função da quantidade de pesquisa que precisou ser feita até
que ele pudesse ser implementado. A preocupação com a técnica de
testagem e com o próprio conceito que se tinha de proficiência passa a
ocupar um plano de destaque na área de EFL. Outro fato que merece nota é
a sinonímia que se estabelece entre TOEFL e testagem de proficiência. O
Teste de Proficiência aplicado na UFSM, por exemplo, adota a
nomenclatura de Teste de Suficiência, provavelmente pelo entendimento de
que Testes de Proficiência são aqueles que seguem os moldes do TOEFL,
em que as quatro habilidades básicas (a compreensão e a expressão oral, a
escrita e a leitura) são testadas em separado segundo os preceitos
psicométrico-estruturalistas14. Essa pode ser, portanto, uma explicação
razoável para a diferenciação feita na UFSM entre suficiência e proficiência.
A terceira corrente teórica sobre testagem, chamada de
“psicolingüística-sociolingüística” têm origem na abordagem comunicativa
para o ensino de línguas e marca uma guinada na testagem,
particularmente porque até então a língua era vista dissociada de sua
função social. A partir daí, ter proficiência numa determinada língua não
implicava somente ter domínio sobre as estruturas da língua. A contribuição
14 O teste de expressão oral não é mais parte obrigatória da bateria de testes do TOEFL. Há que se mencionar ainda que o TOEFL está passando atualmente por um processo de
46
mais importante dessa corrente vem da proposta de modelo de competência
comunicativa de Canale e Swain (1980) que, por sua vez, é embasada na
noção de competência comunicativa, particularmente a partir de Hymes
(1972).
Canale & Swain sugerem a adição das noções de competência
sociolingüística, discursiva e estratégica àquela de competência lingüística
para explicar a natureza da proficiência de língua (Fouly, Bachman & Czico,
1990). A Figura 3 representa graficamente o modelo de competência
comunicativa proposta por Canale & Swain (1980), a partir de sugestões
feitas por Hecht (1987, p. 103-105), que trata a competência discursiva
como sub-item da competência sociolingüística, bem como usa o termo
competência gramatical ao invés de competência lingüística.
Figura 3 - Modelo de competência comunicativa de Canale e Swain (Hecht, 1987, p. 103)
revisão chamado TOEFL 2000, que visa adaptá-lo teórica e tecnicamente às necessidades atuais de testagem de língua (sobre isso, ver, por exemplo, Peirce, 1992).
COMPETÊNCIA COMUNICATIVA
competência estratégica
competência gramatical estratégias de compensação lexico competência sociolingüística morfologia sintaxe semântica e gramática da sentença regras coesão fonologia socioculturais coerência
47
O modelo da Figura 3 mostra que o entendimento que se pode ter
sobre competência extrapola o limite do texto em si, fazendo alusão a uma
competência sociolingüística, que compreende as regras sócio-culturais de
uso da linguagem e as regras do discurso, em termos de coesão e
coerência. O modelo menciona ainda a competência estratégica, ou seja, a
habilidade de usar recursos verbais e não-verbais para compensar falhas na
comunicação devidas a variáveis de performance ou a um nível insuficiente
de competência.
O quarto momento na história da testagem “sociolingüístico-
comunicativo” está enraizado em diversas áreas, tais como a pragmática, a
análise do discurso, a teoria dos atos de fala, além da análise de
necessidades e da relação entre competência lingüística e competência
comunicativa. Nessa tradição surge uma diferença fundamental em relação
à tradição “psicolingüística-sociolingüística” particularmente a partir do
modelo proposto por Bachman. Esse modelo entende que a competência
lingüística consiste em dois componentes, o organizacional e o pragmático
(Fouly, Bachman & Czico, 1990, p. 2-3).
O componente organizacional consistiria daquelas habilidades
envolvidas no controle da organização formal da língua, que compreenderia
a competência gramatical (léxico, morfologia, sintaxe e fonologia/grafologia),
e a competência textual (coesão e organização retórica). O componente
pragmático, onde, aliás, está a diferença para o modelo anterior, conforme
proposto por Bachman, foi concebido em função da teoria dos atos de fala
48
de Austin (1962) e Searle (1969) e da descrição das funções da linguagem
de Halliday (1973, 1976) e subdivir-se-ia em competência ilocucionária e
competência sociolingüística.
A competência ilocucionária seria o conhecimento para desempenhar
as funções da língua e a competência sociolinguïstica referir-se-ia à
habilidade de usar a língua estrangeira apropriadamente em uma cultura em
particular e em contextos variados naquela cultura.
Pode-se dizer que, pelo menos no que tange à concepção teórica
sobre a natureza da proficiência de língua, o modelo “sociolingüístico-
comunicativo” estabelece um relativo consenso entre pesquisadores (um
exemplo disso é a coletânea organizada por Douglas & Chapelle, 1993). É
importante observar também que, somente a partir da década de 80, a área
de testagem pôde reivindicar para si o status de disciplina dentro da LA,
com a criação de um periódico internacional na área (Language Testing) e
com a publicação de alguns textos seminais na disciplina (por exemplo,
Canale, 1983; Canale, 1988; Hughes, 1989; Skehan, 1989). Para resumir,
conforme coloca Bachman (1991, p. 679), atualmente já se reconhece que a
testagem de língua tem suas próprias questões e metodologia de pesquisa.
Dentre essas questões, observa-se, então, uma preocupação com
aspectos que vão além do rigor técnico na definição e mensuração da
competência comunicativa. Canale, por exemplo, (1988, p. 67-84) enfatizou
aquilo que ele denominou “dimensão humana” da testagem de língua, um
evento que ele conceituava como tendo origens e conseqüências sociais. É
49
por esse entendimento que o próprio Canale afirma que a quarta e atual
tradição em testagem de língua, também chamada por ele de “naturalística-
ética”, deve refletir a responsabilidade social (ética) da testagem, junto com
as preocupações acerca do uso de uma linguagem natural(ística) nos testes
(Canale, 1988, p. 77; Chapelle & Douglas, 1993, p. 1-4). Nesse sentido, a
linguagem natural referida por Canale pode ser vista, no caso da testagem
de ESP, como o uso de conteúdos e tarefas que os examinandos
efetivamente precisam usar nos seus estudos.
O termo “dimensão humana” conforme empregado por Canale, é
interpretado, no presente trabalho, como uma afirmação no sentido de que
toda testagem de proficiência tem no sujeito examinado, o seu foco maior
de atenção. Assim, a avaliação qualitativa do processo de testagem de
proficiência desenvolvida na UFSM parece demandar que as considerações
feitas sobre o teste estejam diretamente relacionadas ao examinando e à
função social que o teste desempenha.
A escolha do termo “naturalística”, por Canale, reflete sua crença de
que
os testes de língua devem medir a competência dos estudantes em usar aquilo que a teoria define como linguagem natural [ ou seja, que esteja relacionada o mais diretamente possível com as situações reais de uso de linguagem que o examinando tem que enfrentar] e avaliar a competência através da observação dos estudantes à medida em que eles desempenham tarefas naturais na [situação específica de uso da] língua (Chapelle & Douglas, 1993, p. 3).
50
Este termo implica também na busca de evidências substanciais no
que concerne ao significado dos escores obtidos pelos alunos nos testes,
salientando-se o fato de que, em última instância, os testes desviam dos
contextos de uso de linguagem natural. No tocante ao termo ético do
binômio, ele ali está para lembrar da responsabilidade que os usuários15 dos
testes têm em garantir que tais testes sejam experiências valiosas e que
produzam conseqüências positivas para todos os envolvidos. É por essa
razão que Canale adverte que o foco de atenção na tradição naturalística é
“o que testar, como testar e por que testar, refletindo, assim, a visão de que
a testagem de linguagem é notadamente uma questão ética” (Canale, 1988,
p. 77).
A nomenclatura e os conceitos propostos por Canale (1988) podem
ser interpretados como um estímulo para que os responsáveis pelos testes
de proficiência invistam na construção de um processo de testagem
marcado tanto por critérios técnicos adequados, quanto por uma
preocupação ética em relação aos usuários do teste.
Isso faz sentido na medida que, independentemente de intenção, tais
testes acabam por traçar uma linha divisória que coloca, de um lado,
aqueles considerados competentes e, de outro lado, uma massa crescente
de indivíduos à margem dessa “competência”. Amplificando tais resultados,
num mundo onde a língua inglesa ocupa um lugar de destaque, pessoas
cujo comando dessa língua é considerado adequado, passam a ter não só
15 Entenda-se usuário como todo sujeito envolvido no processo de testagem, seja o examinando, examinador, instituições promotoras e pessoas ou instituições que utilizem seus resultados.
51
versatilidade lingüística mas também, poder político, econômico e
educacional (Peirce, 1992, p. 686). Isso significa que testes que determinam
qual é o domínio adequado sobre a língua inglesa investem-se de um poder
de influenciar não somente o futuro educacional de indivíduos, mas, até
mesmo, o futuro político de nações inteiras (ibid.). É por exemplo, o caso do
TOEFL que, considerando o grande número de examinandos que a ele se
submetem anualmente, influencia algo em torno de um milhão de decisões
sobre carreiras profissionais e acadêmicas por ano (Bachman, Davidson &
Foulkes, 1993, p. 25).
Importa, portanto, buscar respostas às três questões consideradas o
foco da tendência naturalística-ética de testagem — o que, como e para que
testar. Especialmente no âmbito das universidades brasileiras, objeto de
interesse do presente trabalho, a resposta para tais perguntas pode ser um
tanto complexa. Para procurar respondê-las, acredito ser fundamental
entender, em primeiro lugar, o que são e de que consistem afinal os testes
aos quais alunos de Mestrado em universidades brasileiras têm que se
submeter. É importante também abordar a intrincada relação entre testagem
e o contexto no qual ela está inserida, buscando estabelecer um
relacionamento de mão dupla entre a pesquisa em testagem de proficiência
e o ensino de línguas.
3.2 Concentração em uma língua e baixo desempenho dos candidatos
Quando se fala em testagem de proficiência no contexto acadêmico
52
brasileiro, duas questões se destacam: a concentração da testagem
preferencialmente em língua inglesa, e o baixo desempenho dos
examinandos nos testes.
Em relação à primeira questão, deve-se ressaltar que processos de
testagem não ocorrem isoladamente, ou seja, pode-se pressupor uma
relação diretamente proporcional entre o volume ou quantidade de testagem
que ocorre numa dada língua e o ensino ou necessidade dessa língua num
dado contexto formal de ensino. Essa é a situação que parece ocorrer
tipicamente em relação aos testes de proficiência aplicados em
universidades brasileiras para averiguar o nível de habilidade de leitura
daqueles que postulam uma vaga num curso de Mestrado ou Doutorado, ou
que, já estando neles, precisam comprovar tal habilidade. Tomando por
base o que ocorre na UFSM, o número de candidatos que se submeteram
ao teste de proficiência em inglês na primeira edição realizada em 1996
(120), foi seis vezes superior ao número de candidatos que prestaram o
teste em língua espanhola, quinze vezes maior do que o número de
candidatos em francês e 60 vezes maior do que o número de candidatos em
alemão (dados coletados a partir das listas fornecidas pela Comissão
responsável pelo Teste de Suficiência da UFSM). Esses dados corroboram
o entendimento que a língua inglesa ocupa uma posição de destaque no
cenário acadêmico, principalmente se levarmos em conta que a opção pela
língua em que o teste deve ser prestado é de livre escolha do examinando.
Um outro aspecto que deve ser levantado diz respeito às razões pelas quais
os candidatos fazem tal opção. Pressupondo-se que a escolha
predominante pela língua inglesa decorra do fato dos alunos reconhecerem
53
a importância dessa língua no cenário acadêmico ou terem maior
conhecimento sobre ela, é possível inferir que isso, por sua vez, possa ser
atribuído a uma maior exposição à língua inglesa nos contextos
educacionais formais, começando pelo ensino de primeiro grau e se
estendendo até a pós-graduação.
A questão que parece ser problemática em relação a essa
predominância do inglês na testagem e no ensino de línguas diz respeito ao
baixo desempenho dos candidatos nos testes de proficiência em leitura em
ESP, realizados na UFSM. Nessa instituição, são considerados aprovados
no teste de proficiência os candidatos que obtiverem nota igual ou superior a
7,0. Aos candidatos aprovados são conferidos três diferentes conceitos: C,
para aqueles cuja nota situa-se entre 7,0 e 7,9; B, para aqueles com nota
entre 8,0 e 9,0 ; e A, para aqueles cuja nota excede a 9,1. Para aqueles
candidatos com nota inferior a 7,0, não há expedição de conceito, sendo
apenas informada a nota obtida.
Assim, pode-se ver na Tabela 1, que houve uma preferência dos
candidatos pela testagem em língua inglesa. Além desse fato, o índice de
candidatos cujo desempenho foi considerado insuficiente é bastante
elevado, representando quase metade dos candidatos. É interessante
observar também que esse índice se mantém relativamente estável entre as
quatro línguas em que se oferece a testagem, embora para inglês e alemão
esse índice seja um pouco mais elevado do que para espanhol e francês.
Tabela 1 - Resultados do Teste de Suficiência em Leitura em Língua Estrangeira na UFSM
54
Língua Escolhida
Conceito A
Conceito B
Conceito C
desempenho insuficiente
Total
INGLÊS * n
%
5
4,2
21
17,5
36
30
58
48,3
120
79,5
ESPANHOL n
%
1
5,3
2
10,5
8
42,1
8
42,1
19
12,6
FRANCÊS n
%
—
1
10
5
50
4
40
10
6,6
ALEMÃO n
%
—
1
50
—
1
50
2
1,3
TOTAL n %
6
3,9
25
16,6
49
32,4
71
47,1
151
100
*n = número de candidatos prestando o teste
Quanto ao elevado nível de reprovação, constatei, numa sondagem
preliminar, que a situação não é muito diferente em outras universidades16,
onde os fracos resultados obtidos pelos alunos nos testes de proficiência de
leitura têm demonstrado a existência de uma diferença entre as expectativas
das instituições e o desempenho efetivo dos alunos nos testes, sugerindo a
necessidade de pesquisas que discutam ou proponham caminhos para
interpretar e até mesmo minimizar esse problema (Wielewicki, 1995).
Dada a constatação de que um grande número de examinandos são
reprovados em testes de proficiência, não se postula aqui que seja o caso
de simplesmente dar menor relevância aos testes. Pelo contrário, o
argumento que venho desenvolvendo é de que a proficiência em leitura em
ESP tem um papel fundamental no sistema de pós-graduação, reconhecido
tanto pelos dispositivos legais que o regulamentam, quanto por
pesquisadores de diversas áreas (cf., Celia, 1983; Izquierdo, 1995). Esse
16 Embora ainda não haja estudos sistemáticos atualizados e publicados sobre o índice de reprovação em tais testes, há estudos em andamento na UFRGS sobre o assunto, bem como dados isolados de instituições como a UNIJUÍ e a UFPA. Informações esparsas
55
reconhecimento pode ser percebido, por exemplo, pelo uso da habilidade de
leitura em ESP como critério de seleção de alunos para cursos de pós-
graduação, via de regra, através de testes de proficiência. A justificativa para
tanto é simples: o Brasil é um país carente e o uso dos recursos investidos
em pós-graduação precisa ser otimizado, selecionando-se candidatos que
tenham uma razoável habilidade de leitura em ESP para fazer frente às
necessidades de leitura de seus respectivos cursos.
Com isso, torna-se necessário desenvolver testes que possam avaliar
consistentemente a habilidade de leitura necessária para se realizar estudos
em nível de pós-graduação. Pressupõe-se, portanto, um claro entendimento
das necessidades do sistema de pós-graduação e das potencialidades e
dificuldades dos examinandos, além das questões relativas à construção do
teste em si.
Assim, acredito que uma das atitudes a tomar está relacionada com a
aferição da qualidade dos testes com base em critérios que,
reconhecidamente, possam melhorar o entendimento sobre os eles e sobre
o desempenho dos examinandos nesses testes. Como os dois critérios mais
utilizados para avaliar a qualidade de um teste são validade e fidedignidade,
farei uma discussão sobre esses conceitos, a seguir.
3.3 Validade
oriundas de outras instituições, ainda não formalmente comunicadas, sugerem a consistência desses resultados.
56
Assumindo que os testes de proficiência sejam necessários, cabe
discutir então o termo validade, que normalmente refere-se à significância
atribuída a um teste. Aliada à significância está a noção de relevância.
Dessa forma, um teste será considerado válido se os conteúdos, noções,
funções e estruturas nele contidos forem, ao mesmo tempo, significativos e
relevantes para o público que faz uso deles (Célia, 1983, p. 38). Assim, a
validade é apontada como a característica mais importante e necessária
para um teste, podendo ser aferida a partir de diferentes parâmetros. Dentre
os principais parâmetros de validade adotados, podem ser citados os
seguintes: validade de construto, validade preditiva, validade de conteúdo e
validade aparente.
Validade de construto refere-se ao julgamento que se faz do teste a
partir de uma teoria de testagem ou de linguagem que sirva de base para a
testagem que se tem em mente. A validade preditiva tem relação com o
grau de previsibilidade que um determinado teste pode dar sobre o
desempenho futuro de um examinando nas atividades que envolvam as
habilidades testadas. A validade de conteúdo refere-se à representatividade
do conteúdo do teste para os objetivos de avaliação propostos. Já a
validade aparente estaria relacionada ao julgamento intuitivo sobre a
aceitabilidade de um teste como uma medida válida de proficiência
(Alderson, Clapham & Wall, 1995, p. 286-289).
A literatura mais recente em testagem, favorece a idéia de validade
como um conceito unitário e argumenta que o desenvolvimento de um
determinado teste torna necessária a reunião de informações a respeito da
57
relevância do conteúdo, da capacidade dos resultados desse teste
fornecerem previsões sobre o desempenho do candidato nos contextos
reais de uso de linguagem e da inter-relação dos critérios adotados
(Bachman, 1990, p. 237).
Embora Bachman pareça favorecer a uma maior integração de
diferentes parâmetros na construção do conceito de validade, o tratamento
dado à questão por Célia (1983), Hughes (1989) e Bachman (1990) é
basicamente o mesmo, que vêem tais parâmetros como diferentes métodos
para se chegar a uma validação plena dos testes. Assim, considerando que
nem a discussão sobre a teoria de testagem ou de linguagem que subjaz ao
teste, nem o grau de previsibilidade que o teste pode dar sobre o
desempenho futuro dos examinandos estão entre os objetivos imediatos do
presente trabalho, a questão da validade será abordada a partir de dois
desses parâmetros de validade: validade de conteúdo e validade aparente.
3.3.1 Validade de conteúdo
Considera-se que um teste apresenta validade de conteúdo (ou
relevância de conteúdo, conforme Bachman, 1990) se seu conteúdo
constituir uma amostra representativa e relevante das habilidades e
estruturas de língua que o teste busca especificamente avaliar (Hughes,
1989, p. 22). Assim, para ter validade de conteúdo, um teste de proficiência
que tenha como objetivo avaliar proficiência em leitura em ESP num dado
contexto, deve ser constituído por textos e questões que sejam
suficientemente representativos do que se entenda por proficiência naquele
58
contexto. Isso, por sua vez, garantiria, teoricamente, que se pudesse fazer
as generalizações relativas ao desempenho do candidato nos contextos
reais de uso da língua (Célia, 1983, p. 41).
Bachman (1990, p. 289-290) argumenta que esse tipo de validade é
“por si próprio inadequado para se fazer inferências sobre a demonstração
de habilidades pelos examinandos, já que ela só enfoca o teste, não
considerando o desempenho dos que a ele se submetem”.
É justamente nesse sentido que justifico a abordagem metodológica
adotada no presente trabalho, analisando não somente o teste com base no
seu conteúdo, mas também o desempenho dos examinandos nas questões
que o compõem. A correlação entre essas duas fontes de dados pode
propiciar uma avaliação mais consistente sobre a validade do teste, mas
não garante que se amplie o entendimento que se tem sobre o contexto em
que a testagem se desenvolve. Por isso, acrescento a essas duas fontes de
dados uma terceira — a auto-avaliação que os examinandos fazem de sua
própria habilidade de leitura em ESP. Espero, dessa forma, deslocar o eixo
da discussão. do teste para o processo de testagem.
3.3.2 Validade aparente
O termo validade aparente é usado na literatura sobre testagem para
dar conta da propriedade que um teste tem de parecer medir o que se
supõe que ele deva medir. Devido a isso, vários autores encaram esse tipo
de validade com certa reserva, alegando falta de cientificidade. A alegação é
59
procedente até certo ponto, já que o critério adotado para tal tipo de
validade é apenas o da opinião que os usuários têm do teste. Nada garante,
por exemplo, que um teste aceito como aparentemente válido, seja
fidedigno ou mesmo teoricamente fundamentado. Ocorre, entretanto, que,
se um teste não for reconhecido por seus usuários como medida válida e fiel
de habilidade lingüística ou de proficiência, os reflexos dessa falta de
reconhecimento podem afetar a motivação e as atitudes dos usuários em
relação ao teste e, em função disso, até mesmo o desempenho dos
candidatos no teste.
O parâmetro de validade aparente é relevante para o presente
trabalho na medida que a reprovação consistente de examinandos no teste
pode, de alguma maneira, estar relacionada a uma divergência entre a
concepção de leitura subjacente ao conteúdo do teste e aquela dos
examinandos. A discussão sobre essa questão, no entanto, pode ser mais
objetiva após a discussão do desempenho dos examinandos no teste, com
base nas suas auto-avaliações (Capítulo 7).
Para concluir a discussão sobre validade, é necessário salientar que
a testagem de proficiência ocorre “num dado contexto social e educacional e
os usos de tais testes são determinados em grande parte por mudanças
políticas que variam ao longo do tempo e de uma sociedade para outra”
(Bachman, 1990, p. 291). Assim, sendo, qualquer consideração que se faça
sobre validação de testagem deve necessariamente ir além dos limites da
psicometria e da LA, incluindo no rol da discussão os aspectos sociais, os
valores e opiniões que os usuários têm sobre os testes, bem como aqueles
60
aspectos relativos à fidedignidade dos testes, objeto de atenção da próxima
seção.
3.4 Fidedignidade
A fidedignidade de um teste está diretamente relacionada com seu
grau de precisão como instrumento de mensurarão de uma determinada
habilidade lingüística (Célia, 1983, p. 42). É, portanto, na demonstração
quantitativa dessa dimensão do teste que se concentra parte substancial da
literatura sobre fidedignidade. A preocupação com esses aspectos
quantitativos tem guarida na tentativa de se garantir que um teste tenha
duas características muito importantes. Primeiro, que reflita tão fielmente
quanto possível as situações e contextos sobre os quais o teste se baseia.
Em segundo lugar e, concomitantemente, que os escores expressos por ele
sejam representativos do nível de habilidade que o teste se propõe a testar.
É particularmente essa segunda característica que se discutirá aqui.
Considerando que muitas decisões acadêmicas são tomadas com
base no desempenho dos candidatos nos testes de proficiência, é
importante que os escores que expressam esse desempenho tenham a
menor margem de erro possível, de forma que as decisões neles pautadas
sejam dignas de crédito. Assim, é de fundamental importância que, no
desenvolvimento e uso desses testes se tente “identificar as fontes
potenciais de erro numa dada medida da habilidade comunicativa de
linguagem e minimizar o efeito desses fatores naquela medida” (Bachman,
61
1990, p. 160).
Acredita-se que basicamente quatro grupos de fatores afetem o
escore de um candidato num teste: habilidade comunicativa de língua,
características do método de testagem, atributos pessoais (por exemplo,
conhecimento prévio na área de conteúdo testada) e fatores aleatórios
(como, por exemplo, o nível de tensão do examinando).
De acordo com Bachman (ibid., p. 164) a influência do método de
testagem no escore do indivíduo ocorreria de uma forma sistemática, já que
supõe-se uma uniformidade entre diferentes edições de um teste no que
concerne, por exemplo, ao tipo de questões formuladas. Convém lembrar
ainda que o efeito do método de testagem sobre o escore pode ser o
mesmo para todos os indivíduos testados, podendo também sofrer
variações individuais. De forma similar, a influência dos atributos pessoais
(não relacionados diretamente com a habilidade lingüística) sobre o escore
do indivíduo também ocorreria de forma sistemática, ou seja, as
características individuais, tais como estilo cognitivo, conhecimento prévio,
sexo, etc. afetariam o desempenho do candidato no teste regularmente.
Para exemplificar, a escolha sistemática de assuntos com os quais os
candidatos de um teste não têm afinidade, poderia ser uma fonte potencial
tanto de interferência no desempenho dos candidatos, como de erro de
medida do teste (ibid.).
Além desses dois grupos de fatores que ocorrem sistematicamente,
os fatores do terceiro grupo mencionado por Bachman afetam o
62
desempenho dos candidatos no teste de forma assistemática. Entre eles,
pode-se citar o estado emocional do candidato e variações incontroladas
nos métodos de testagem.
Em função da influência desempenhada por esses fatores, Bachman
(ibid., p. 226) argumenta que é “fundamental para o desenvolvimento e uso
de testes de habilidade de uso de língua, ser capaz de identificar e estimar
os vários fatores que atuam sobre os escores dos testes” como forma de
reduzir os efeitos que não estejam diretamente relacionados com a
habilidade lingüística que se esteja testando, garantindo-se assim, que os
resultados expressos pelo escore do candidato no teste sejam um retrato fiel
de seu nível de habilidade.
Em geral, fidedignidade e validade são consideradas duas
características distintas, porém relacionadas, ou seja, “embora a validade de
um teste seja considerada a característica mais importante, a fidedignidade
é uma condição necessária para a validade” (ibid., p. 227). Em
conseqüência desse entendimento, Hughes (1989, p. 29-34) faz uma série
de sugestões para tornar os testes mais fidedignos. Entre elas, pode-se citar
o uso de uma amostragem de comportamentos o mais ampla possível, o
exercício de um controle rígido sobre as tarefas propostas, evitando assim
redundância e ambigüidade nas instruções e nos itens incluídos no teste, a
familiarização dos candidatos com o procedimento e as técnicas de
testagem, a pontuação de forma objetiva feita por pessoal especificamente
treinado para tal fim e a discussão prévia sobre quais respostas são
aceitáveis e quais escores são apropriados. O autor adverte, no entanto,
63
que ao buscar maior fidedignidade nos testes desenvolvidos, devemos estar
cientes do risco da redução de sua validade (ibid., p. 42). Uma forma de
contornar tal risco é o estabelecimento de tarefas que resultem num
comportamento que demonstre que o candidato leu com sucesso (ibid., p.
116).
Para finalizar a discussão sobre fidedignidade, é necessário observar
que, em função dos diferentes fatores que podem influenciar o desempenho
dos examinandos num teste, é virtualmente impossível criar um teste
perfeitamente fidedigno (cf. Alderson, Clapham & Wall, 1995, p. 87). Assim,
há que se considerar a possibilidade de que o baixo desempenho dos
examinandos no teste de proficiência possa também estar relacionado a
problemas associados à fidedignidade na testagem.
Tendo isso em mente, convém encaminhar a discussão para os
aspectos que dão base à construção do conceito do examinando no teste.
Nesse sentido, o desempenho dos examinandos no teste é avaliado em
termos das habilidades (ou micro-habilidades) de leitura que os
examinadores supõem que um aluno de mestrado deva ter. É sobre essas
micro-habilidades que trata a próxima seção.
3.5 Taxonomia de micro-habilidades de leitura (Munby, 1978)
Durante um longo tempo acreditava-se que era muito mais difícil
construir testes fidedignos e válidos de escrita e expressão oral, do que de
leitura e compreensão oral. A justificativa para tal raciocínio se originava, em
64
grande parte, da concepção de que, enquanto os testes de expressão oral e
escrita dependiam de medidas ‘subjetivas’ para a obtenção do escore do
candidato, nos testes de leitura e de compreensão oral a aplicação de
métodos ‘objetivos’ de pontuação era não somente possível, como também
muita apropriada. Hughes (1989, p. 116) adverte, entretanto, que tal
raciocínio não levava em conta que as habilidades de escrita e expressão
oral podiam ser testemunhadas em comportamento explícito, já que quando
as pessoas escrevem ou falam, nós as enxergamos ou ouvimos. No que
concerne à compreensão oral ou da leitura a situação seria diferente, pois
nem sempre ela seria observável em um comportamento explícito. Assim,
conclui Hughes, ganhou aceitação a idéia de que a proposição de tarefas
que resultem numa demonstração mensurável de sucesso na realização da
tarefa, não é algo tão simples de se conseguir.
Dessa forma, alguns pesquisadores interessados em testagem de
proficiência em leitura têm procurado oferecer subsídios à construção de
testes válidos e fidedignos e que, portanto, demonstrem com a maior
clareza possível o nível de habilidade de leitura do examinando. Para tanto,
é relativamente consensual entre os pesquisadores da área, de que é
necessário entender as habilidades que se deseja testar, podendo-se assim
especificá-las de uma forma completa e precisa. É nesse sentido, por
exemplo, que muitos autores lidando com testagem aludem à taxonomia de
micro-habilidades de leitura formulada por Munby (1978) como uma
referência para a construção de testes (cf., por exemplo, Celia, 1983;
Tavares, 1992). Há, no entanto, restrições por parte de outros autores (por
65
exemplo, Alderson & Lukmani, 1989), que argumentam que há uma falta de
base empírica e de ordenamento dessa taxonomia em níveis de cognição
hierarquicamente organizados. Apesar de tais restrições, a taxonomia de
Munby ainda é uma das fontes mais usadas na especificação das micro-
habilidades a constar em testes de leitura, particularmente, de leitura em
ESP (cf. Skehan, 1989, p. 218). Assim, parece ser adequada o suficiente
para os propósitos do presente trabalho.
Como nem todas as micro-habilidades que constam da taxonomia de
Munby estão relacionadas à leitura, Tavares (1992, p. 165-184) propõe uma
adaptação dessa taxonomia, considerando somente aquelas habilidades
normalmente acessadas quando da leitura. Assim como Tavares (ibid.),
entendo leitura como um processo onde diferentes habilidades são
integradas, mas, para os fins do presente trabalho, proponho organizar
essas micro-habilidades em 9 tipos17: (1) habilidades motoras e perceptuais;
(2) conhecimento lexical; (3) compreensão de significado conceitual; (4)
compreensão do valor comunicativo; (5) habilidades operantes no nível de
coesão do discurso; (6) conhecimento esquemático; (7) habilidades
operantes no nível de coerência do discurso; (8) habilidades de
sumarização; e (9) habilidades de leitura geral e de leitura seletiva.
3.5.1 Habilidades motoras e perceptuais
17 Manterei a nomenclatura originalmente proposta por Munby (1978). Assim, as referências a discurso nessa taxonomia referem-se de fato a texto.
66
O primeiro subgrupo agrega as micro-habilidades essencialmente
motoras e perceptuais, tanto de recepção, quanto de produção. Um exemplo
disso seria, o reconhecimento do script de uma língua: (a) discriminando os
grafemas; (b) seguindo seqüências de grafemas (sistema alfabético); e/ou
entendendo a pontuação. Entende-se aqui que esse tipo de micro-
habilidade, identificado com os processos ascendentes que ocorrem na
leitura, é necessário à realização de qualquer das tarefas de leitura
propostas no teste, mas, conforme sugere Hughes (1989), não devem ser
especificamente avaliadas num teste, já que o nível de processamento
dessas micro-habilidades seria inferior ao que interessa aferir num
examinando.
3.5.2 Conhecimento lexical
O segundo grupo de micro-habilidades está relacionado ao
conhecimento lexical e compreende basicamente a dedução de significado e
uso de itens lexicais desconhecidos através do entendimento sobre a
formação das palavras (por exemplo, por derivação ou sufixação) ou pelo
uso de pistas contextuais.
3.5.3 Compreensão de significado conceitual
A micro-habilidade básica nesse grupo é a compreensão de
significado conceitual. Munby (1978, p. 119-120) lista, de forma ilustrativa,
algumas áreas de significado conceitual que julga mais importantes, tais
67
como quantidade e quantia, definição e indefinição, comparação e grau,
causa, resultado, propósito, razão, condição e contraste, entre outras..
Segundo ele, essas áreas podem demandar diferentes graus de
refinamento, dependendo do objetivo comunicativo que se tenha em mente.
3.5.4 Compreensão do valor comunicativo
As micro-habilidades desse grupo tratam da compreensão do valor
comunicativo das sentenças e asserções, relacionando os processos
psicolingüísticos ao significado pragmático. Essas micro-habilidades de
leitura assumem, portanto, uma importância destacada na compreensão no
nível do discurso. Essa compreensão pode se dar através de marcadores
explícitos ou mesmo na ausência deles, como, por exemplo, numa situação
onde, entre duas ou mais sentenças, haja uma relação de exemplificação
que não esteja explicitamente sinalizada com marcadores do tipo “tais
como” ou “por exemplo”. Espera-se que o leitor seja capaz de identificar a
força ilocucionária das assertivas, independentemente da existência dos
marcadores discursivos mencionados.
3.5.5 Habilidades operantes no nível de coesão do discurso
As micro-habilidades desse grupo estão intimamente relacionadas à
coesão no nível do discurso e comportam uma subdivisão. De um lado,
estaria a compreensão de relações intra-sentenciais e estruturais e, de outro
lado, a compreensão de relações inter-sentenciais e semânticas.
68
A compreensão de relações intra-sentenciais e estruturais
demandaria um conhecimento mais apurado sobre os elementos de
estrutura da sentença, principalmente, sobre as estruturas de modificação,
as formas de negação, os auxiliares modais, os conectores intra-
sentenciais, a estrutura de subordinação complexa, o foco e o tema, a
anteposição e a inversão temática.
A compreensão de relações inter-sentenciais e semânticas, por outro
lado, demandaria um entendimento sobre as relações entre as partes de um
texto através de mecanismos de coesão lexical, tais como, repetição,
sinonímia, hiponímia, antítese, entre outros, e de mecanismos de coesão
gramatical, como, por exemplo, a referência anafórica, a referência
catafórica, a comparação, a substituição, a elipse, os mecanismos
relacionadores de tempo e lugar e os conectores lógicos.
3.5.6 Conhecimento esquemático
As micro-habilidades desse grupo enfatizam a importância do
conhecimento esquemático, pois tratam do relacionamento da informação
contida no texto com a informação que está externa a ele. Trata, portanto,
do uso da referência exofórica, da leitura das entrelinhas do texto e da
integração dos dados do texto com a própria experiência ou conhecimento
de mundo. Em função disso, acredito que um dos pontos mais relevantes no
desenvolvimento de testes é sua adequação ao nível de conhecimento
esquemático dos examinandos.
69
3.5.7 Habilidades operantes no nível de coerência do discurso
As micro-habilidades desse grupo operam no nível da coerência do
discurso e são especialmente pertinentes para as atividades envolvendo
textos mais longos. Podem ser citados aqui o reconhecimento dos
indicadores no discurso para a introdução de uma idéia, seu
desenvolvimento, a transição de uma idéia para outra, a conclusão, a ênfase
numa determinada questão, a explicação de uma questão já proposta ou a
antecipação de uma objeção ou visão contrária. Pode-se mencionar,
também, a identificação de ponto principal ou informação importante num
fragmento de discurso e a distinção entre a idéia principal e os detalhes
secundários, através da diferenciação entre, por exemplo, significância
primária e secundária, o todo e as partes, a asserção e o exemplo, e o fato e
a opinião.
3.5.8 Habilidades de sumarização
As micro-habilidades classificadas nesse grupo estão relacionadas a
diferentes aspectos de sumarização para diferentes propósitos. Teríamos
aqui a capacidade de extrair pontos salientes para sumarizar o texto todo,
uma idéia ou tópico específico no texto, ou uma idéia ou questão subjacente
ao texto. Pode-se tratar também da extração seletiva dos pontos salientes
de um texto, envolvendo a coordenação de informações relacionadas, o
rearranjo ordenado de itens contrastantes e a tabulação de informação para
comparação e contraste.
70
3.5.9 Habilidades de leitura geral e de leitura seletiva
Nesse último grupo estão reunidas duas micro-habilidades de suma
importância na leitura de um texto. De um lado, a leitura geral 18(skimming),
com vistas à compreensão da questão central ou da obtenção de uma
impressão geral sobre o texto e, de outro lado, a leitura seletiva (scanning),
para localizar informação especificamente requerida sobre um ou mais
pontos do texto, envolvendo tanto buscas simples, quanto buscas
complexas, ou ainda, informação sobre a totalidade de um tópico.
3.6 Considerações finais sobre testagem de proficiência em leitura em língua inglesa
Dentre os conceitos que discuti ao longo deste terceiro capítulo,
procurei mostrar que, quanto maior for a validade e a fidedignidade de um
teste, maiores são as chances de que o escore dos examinandos no teste
seja representativo de seu nível de habilidade de leitura em ESP. Procurei
argumentar também que o nível de validade e fidedignidade de um teste não
pode ser aferido única e exclusivamente a partir do estudo do teste em si.
Procurei mostrar também, (consoante com a visão de leitura como um
processo interativo e com uma abordagem naturalística-ética de testagem)
que o ponto de vista do leitor deve, necessariamente, fazer parte da
avaliação sobre a qualidade de um processo de testagem. Assim, justifico
minha opção por analisar o processo de testagem de proficiência a partir da
confluência entre os dados sobre o teste, sobre o desempenho dos
18 Os termos leitura geral e leitura seletiva são propostos por Motta-Roth (1996) no Curso de Leitura Instrumental oferecido pelo DLEM-UFSM.
71
examinandos no teste e, principalmente, sobre a auto-avaliação que os
examinandos fazem sobre sua própria habilidade de leitura.
No que concerne aos passos dessa análise, julguei conveniente
analisar o conteúdo do teste em termos do texto cuja leitura era base para
as tarefas propostas nas questões que o constituíram. A idéia do teste como
um conjunto de tarefas a serem desempenhadas pareceu exigir uma análise
que desse conta do que se esperava que os examinandos fizessem em
cada questão do teste. Assim, a taxonomia de micro-habilidades proposta
por Munby (1978) mostrou-se satisfatória para que se pudesse proceder a
análise do teste em termos das tarefas ali propostas.
Para levar em conta o ponto de vista dos examinandos no processo
de testagem, no entanto, a situação era um tanto mais complexa. Não havia
informações sistematizadas sobre os examinandos e seu desempenho nos
testes e nem mesmo sobre o próprio teste enquanto instrumento de
avaliação de habilidade de leitura. Assim, em conformidade com a idéia de
que a validade de conteúdo, por si só, não dá uma base sólida para se fazer
inferências sobre a habilidade de leitura dos examinandos, optou-se pela a
aplicação de um questionário que apurasse informações sobre os
examinandos para, ao mesmo tempo, ampliar o entendimento que se tem
sobre sobre o contexto onde o teste se desenvolve e fornecer um parâmetro
adicional a ser utilizado na análise da validade do teste.
Evidentemente que, como em qualquer estudo, esse tipo de
abordagem também tem suas limitações, mas, dada a carência de
informações sobre o contexto a que me referi acima, entendo que meu
72
trabalho cumpre o papel de iniciar uma discussão mais sistemática sobre a
função desempenhada pelos testes de proficiência na UFSM.
Além disso, não se pode perder de vista que o objetivo do presente
trabalho é interpretar o problema do alto índice de reprovação dos
examinandos no teste e, pelo menos em princípio, as informações aqui
apuradas ajudam a mapear a situação sob uma perspectiva relativamente
ampliada.
4 METODOLOGIA
4.0 Pressupostos
Conforme procurou-se mostrar ao longo nos capítulos anteriores, a
complexidade do objeto de pesquisa do presente trabalho — a testagem de
proficiência em ESP desenvolvida na UFSM — demandou uma abordagem
que fosse capaz de explorar os diversos aspectos envolvidos nesse
processo. Ainda em conformidade com essa idéia, embora se tenha tido a
preocupação de esboçar um planejamento das atividades de pesquisa, a
definição dos procedimentos de pesquisa foi determinada pelo próprio
andamento do trabalho, referendando o entendimento de Davis (1992: 605)
de que, na pesquisa qualitativa, não há uma única realidade pré-construída,
mas um processo de construção múltipla da realidade, cabendo ao
pesquisador interagir com seu objeto de estudo e com seu marco teórico
referencial, numa relação de mútua influência e de tomada de decisões
frente aos desafios que a atividade de pesquisa coloca, e não numa base a
priori (cf. Meloy, 1994: 20). Assim, à medida que a análise dos dados
suscitava questionamentos adicionais ou mostrava pontos de inconsistência,
novos procedimentos foram adotados para contornar tais situações. Esses
procedimentos, assim como o corpus da pesquisa, são descritos nesse
capítulo com a finalidade de explicitar os métodos adotados para a análise,
justificando sua inserção na pesquisa.
74
4.1 Corpus da pesquisa
O corpus da pesquisa é constituido de duas fontes básicas: o teste de
proficiência aplicado na UFSM no primeiro semestre letivo de 1996 e os
dados provenientes de questionários aplicados à população-alvo da
testagem.
4.1.1 Seleção das fontes e coleta de dados
Considerando que o presente trabalho trata do problema do
acentuado índice de reprovação dos examinandos no teste, o ponto de
partida para a presente pesquisa foi o teste de proficiência em si. Definiu-se
por concentrar o estudo em uma única edição do teste, de forma a explorar
quantitativa e qualitativamente outros aspectos envolvidos no processo de
testagem, tais como, a visão dos examinandos sobre sua habilidade de
leitura e seu desempenho no teste.
A razão fundamental para a escolha da edição do teste a ser
analisada foi a possibilidade de aplicar um instrumento de pesquisa durante
a realização do teste, levantando assim dados mais ricos sobre o público e o
contexto onde a testagem ocorreria, em conformidade com a idéia de que
apenas a análise do teste em si, seria insuficiente para se discutir a
testagem numa perspectiva mais ampliada (seção 3.3.1, Capítulo 3). Além
disso, uma mudança no formato das questões do teste, de discursiva para
múltipla escolha, abriu a possibilidade de mapear as respostas dos
examinandos à cada questão do teste, o que efetivamente foi feito. Esse
procedimento possibilitou a visualização do desempenho dos examinandos
75
no teste, oferecendo indicativos sobre suas dificuldades e sobre alguns
problemas relacionados ao próprio teste que não fossem passíveis de
esclarecimento apenas pelo critério de julgamento prévio das questões (por
exemplo, o nível de dificuldade de uma determinada questão para os
examinandos).
A comissão de professores do DLEM, responsável pelo teste,
permitiu o acesso a uma cópia do teste aplicado, subseqüentemente à
divulgação dos resultados, o que ocorreu 30 dias após sua realização. Foi
feita, então a análise do teste no que concerne ao texto utilizado e às tarefas
propostas aos examinandos.
Quanto aos examinandos, ao final do teste foi aplicado um
questionário aos 151 sujeitos, independentemente da língua de escolha. A
análise aqui empreendida, no entanto, considera apenas os questionários
retornados por 61 examinandos que prestaram o teste em ESP e que se
identificaram, permitindo assim o cruzamento dos dados do questionário
com os do levantamento sobre suas respostas às questões do teste.
4.2 Procedimentos para análise do teste
O teste foi analisado a partir do texto cuja leitura deu base às
questões propostas e sob o ponto de vista das micro-habilidades de leitura
que pareciam ser o foco de avaliação nessas questões. Os dados sobre o
desempenho dos examinandos nas questões também foram considerados
na discussão sobre as questões do teste.
76
O texto que deu base às questões do teste foi submetido ao
programa Longman Mini Concordancer versão 1.01, a fim de se apurar a
quantidade e a freqüência de palavras utilizadas no texto. É através esse
levantamento que se identificou, por exemplo, a presença marcante de grau
comparativo de adjetivos no texto. Além desse levantamento, o texto
também foi analisado em termos do argumento desenvolvido pelo autor.
A análise das questões do teste foi realizada em termos das micro-
habilidades de leitura que pareciam ser necessárias para o solução das
questões propostas, sendo objeto de atenção no Capítulo 5. A base teórica
para a análise das micro-habilidades de leitura é a taxonomia proposta por
Munby (1978: 116-132) e adaptada por Tavares (1992: 165-184). Para
tanto, as tarefas solicitadas nas questões foram delimitadas e procurou-se,
em primeiro lugar, identificar quais micro-habilidades de leitura seriam
necessárias para cumprir essas tarefas. O passo seguinte foi a definição de
como essas micro-habilidades seriam operacionalizadas, levando-se em
conta, tanto as alternativas disponíveis, quanto a busca de informação no
texto, que os examinandos supostamente teriam que fazer. Nessa etapa de
análise, foram consideradas, prioritariamente, as micro-habilidades que os
examinandos poderiam ter usado para chegar às respostas consideradas
corretas.
Na discussão do desempenho dos examinandos no teste (Capítulo
7), no entanto, também são considerados os fatores que podem ter
influenciado as respostas e, conseqüentemente, a performance dos
77
examinandos nas questões do teste.
4.3 Procedimentos para a análise dos dados sobre a população alvo da testagem
O processamento das respostas ao questionário foi feito em termos
das freqüências relativas e absolutas dessas, bem como de cruzamentos
entre as diversas variáveis disponíveis, tais como, dados pessoais e
acadêmicos, situação dos examinandos em relação à testagem,
representações dos examinandos sobre habilidade de leitura, sugestões dos
examinandos sobre a testagem, e dados relativos ao desempenho dos
examinandos no teste. Esses dados são discutidos e analisados nos
Capítulos 5 e 7.
O questionário foi dividido em duas partes (ver Apêndice A). Na
primeira, procurou-se levantar dados pessoais e acadêmicos sobre os
examinandos, tais como, sexo, idade, formação acadêmica, curso ao qual
estavam vinculados, ingresso no curso. Na segunda parte, foram buscadas
informações sobre os seguintes itens: (1) situação dos examinandos em
relação a aprovações e reprovações em outros testes de proficiência; (2)
sua opinião sobre a importância das línguas nas suas respectivas áreas de
atuação; (3) seu auto-conceito sobre habilidade de leitura em língua
estrangeira; e (4) sugestões que esses examinandos teriam em relação à
testagem de proficiência.
Dos 151 questionários aplicados durante o teste de proficiência, 105
foram retornados. Desses, 84 foram referiam-se ao teste em ESP, sendo
78
que 61 vieram identificados, tornando possível, em conseqüência disso,
fazer um levantamento sobre as respostas desses examinandos às
questões do teste. Todos esses 61 questionários, assim como os dados
referentes às respostas desses examinandos às questões do teste, foram
tabulados e processados através do pacote estatístico SAS (Statistical
Package for Data Analysis, Sas Institute, Inc.), disponível na UFSM, que
permite um processamento ágil e flexível das variáveis utilizadas no
questionário, além da fusão de arquivos de dados distintos. Isso possibilitou
a combinação de informações apuradas através dos questionários com
aquelas levantadas através da análise das respostas às questões do teste.
As respostas dos 61 examinandos ao questionário foram transcritas
para uma planilha e, posteriormente, cotejadas com aquelas provenientes
dos testes, obtendo-se um perfil global dos examinandos.
A seguir, as respostas dos examinandos foram agrupadas com base
nas duas variáveis fundamentais para o presente trabalho: (1) o auto-
conceito dos examinandos sobre sua habilidade de leitura em ESP; e (2) o
conceito que esses examinandos obtiveram no teste. Com tal procedimento,
se obteve um mapeamento estratificado das respostas dos examinandos no
teste, através do qual foi possível analisar-se as respostas dos examinandos
em relação ao auto-conceito sobre sua habilidade de leitura e ao seu
desempenho efetivo no teste. Tal mapeamento é de extrema importância
para o presente trabalho, na medida em que permite correlacionar teste,
desempenho e auto-conceito, ampliando as possibilidades de interpretação
tanto sobre os problemas do teste, quanto sobre as dificuldades dos
79
examinandos.
4.4 Foco de análise
Considerando os procedimentos de análise acima descritos, buscou-
se a correlação entre o auto-conceito sobre a habilidade de leitura dos
examinandos e seu desempenho efetivo nos testes, tendo sido observados
os pontos de convergência e os focos de inconsistência entre essas duas
variáveis. A partir dessa observação, procurou-se relacionar tais resultados
ao teste e às micro-habilidades aparentemente avaliadas nas seções do
teste, com o objetivo de oferecer uma interpretação sobre os problemas de
desempenho dos examinandos.
As considerações tecidas a partir dos pontos de convergência e os
focos de inconsistência entre as auto-avaliações e o desempenho efetivo
dos examinandos são fundamentadas com base numa visão interativa sobre
leitura e sob a perspectiva naturalística- ética do processo de testagem de
proficiência em leitura em ESP.
Nesse sentido, procurou-se conciliar os aspectos quantitativos e os
aspectos qualitativos envolvidos na pesquisa, numa composição
metodológica abrangente o suficiente para dar um retrato da situação de
testagem analisada, concomitantemente a considerações mais
especificamente direcionadas aos problemas e dificuldades apontadas.
Acentuou-se assim a importância da consideração da visão dos
examinandos sobre leitura e testagem, assim como do teste em si, na
discussão sobre o processo de testagem. Para otimizar a discussão dos
80
resultados do presente estudo, os dados acima referidos são tratados em
três capítulos. No Capítulo 5, discute-se os dados provenientes dos
questionários, no Capítulo 6, o teste e no Capítulo 7, a auto-avaliação e o
desempenho efetivo dos examinandos no teste.
5 A VISÃO DOS EXAMINANDOS SOBRE LEITURA E TESTAGEM
5.0 Considerações iniciais
Conforme tenho tentado argumentar, dentro de uma visão ética de
testagem, é importante considerar-se o ponto de vista do examinando para
se ampliar o entendimento sobre o processo de testagem como um todo.
Em função disso, optei pela aplicação de um questionário que pudesse
fornecer informações até então não sistematizadas sobre os sujeitos que
têm se submetido aos teste de habilidade de leitura em ESP, além,
evidentemente, de buscar nas suas respostas às questões do teste mais
uma fonte de informação para o entendimento desse processo. Para tanto,
discutirei informações que apurei sobre os examinandos no que se refere a
dados pessoais (5.1), perfil acadêmico (5.2), e, sugestões relativas a
testagem de proficiência (5.3). A discussão sobre a habilidade de leitura e
sobre o desempenho dos examinandos será feita no Capítulo 7, onde são
integrados os dados relativos aos examinandos com aqueles relacionados
ao teste em si.
5.1 Dados pessoais
102
Dos 61 examinandos, (60.7%) são mulheres e 73.8% variam
basicamente entre 23 e 30 anos de idade. Se tomarmos como referência a
idade de 40 anos, esse número salta para 92.3%. Como se vê, portanto, é
um público essencialmente feminino e academicamente jovem em termos
de Brasil, se considerarmos que uma grande parcela dos mestres formados
no Brasil apenas atingem esses graus praticamente em final de carreira.
Nesse sentido, a argumentação que sustenta a proposta de modificações
estruturais no sistema de pós-graduação brasileiro privilegia a formação de
quadros em nível de mestrado e doutorado em estágios iniciais de suas
carreiras acadêmicas.
5.2 Perfil acadêmico dos examinandos
Desses 61 examinandos, 52 (85.2%) estão matriculados nos cursos
de mestrado da UFSM. Os 9 restantes (14.8%) são alunos do último
semestre do curso de Medicina que estão prestando o teste basicamente
para postular vagas em programas de residência médica e, nesse sentido,
sua aprovação é vital para a continuidade de seus estudos, já que a
proficiência em leitura em língua estrangeira é considerada condição
fundamental para aceitação nesses programas20 . Além disso, 36 dos 61
examinandos (59%) formaram-se entre 1991 e 1996, portanto, nos últimos
cinco anos. Logo, na maior parte, são profissionais em fase inicial de
carreira.
20 Como os acadêmicos do último semestre de Medicina estão prestando o teste para cumprimento dos pré-requisitos para a aprovação no exame da AMRIGS e, por conseguinte, tanto o teste quanto o exame são condições imprescindíveis para sua aceitação em
103
Ao investigar se haveria alguma relação entre tempo efetivo de curso
(de pós-graduação) e desempenho no teste, os resultados obtidos
apontaram duas questões interessantes. Se considerarmos apenas os
dados dos 52 examinandos que já estão efetivamente matriculados em
cursos de mestrado, 35, ou seja, a maioria (67.3%), estavam entre o
primeiro e o terceiro semestre de curso e os 17 restantes (32.7%) já haviam
cursado quatro ou mais semestres. Desses 35 examinandos que estavam
entre o primeiro e o terceiro semestre de curso, 24 (68.6%) foram aprovados
no teste e 11 (31.4%) foram reprovados. Dos 17 examinandos que já tinham
cursado quatro ou mais semestres, apenas 5 (29.4%) foram aprovados e 12
(70.6%) foram reprovados.
A primeira questão apontada por esses resultados diz respeito ao fato
do maior índice de aprovação no teste ter ocorrido entre os examinandos
que estavam nos três primeiros semestres de seus cursos. Essa situação
(aparentemente paradoxal, já que se espera que a habilidade de leitura
melhore com o passar do tempo e com o ganho de experiência, conforme
Haas, 1994) pode, a meu ver, ser explicada pelo fato de que os
examinandos em geral prestam o teste nos três primeiros semestres com
um índice de aprovação que tem ficado em torno de 70%. Os 30% de
examinandos que comumente reprovam, têm de refazer o teste nos
semestres subseqüentes. Com isso, pode estar ocorrendo uma
concentração de alunos já previamente reprovados no grupo de
examinandos que prestam o teste a partir do terceiro semestre. Supondo-se
programas de Residência Médica, eles serão considerados aqui, para efeito de análise,
104
que os testes de proficiência estejam medindo adequadamente a habilidade
de leitura dos examinandos, não seria de todo equivocado se esperar que,
nesse grupo de alunos já previamente reprovados, o índice de aprovação
tenda a ser consideravelmente menor do que 70%. O fato de alguns
examinandos refazendo o teste serem aprovados em tentativas
subseqüentes pode indicar que sua habilidade de leitura em ESP tenha
melhorado entre uma e outra edição do teste, devido a cursos realizados ou
ao ganho de experiência de leitura.
A segunda questão aqui evidenciada é que, a partir do quarto
semestre de curso parece estabelecer-se uma relação em que, quanto
maior o tempo de curso, maior o índice de reprovação no teste. A
justificativa para tanto pode ser a mesma da questão anteriormente
levantada, mas aqui parece ocorrer ainda um outro problema. A duração
prevista para um curso de mestrado é de quatro semestres, de acordo com
os critérios da CAPES. Conseqüentemente, pode-se dizer que alunos que já
estejam nos seus cursos por mais de quatro semestres estão em atraso
com suas obrigações junto aos seus próprios cursos, à UFSM e aos órgãos
que financiam a pós-graduação no Brasil. Assim, não há porque se esperar
que, no que concerne à reprovação desses alunos nos testes de
proficiência, sua situação seja uma exceção em relação aos outros aspectos
de seu rendimento acadêmico. Evidencia-se, no entanto, a necessidade de
se ampliar a discussão do papel da leitura em ESP e da testagem de
proficiência no âmbito dos cursos de mestrado da UFSM.
como alunos em situação de ingresso em curso de pós-graduação.
105
Em relação às áreas de atuação dos candidatos, duas parecem ser
predominantes: ciências da saúde (32.8% dos examinandos) e ciências
rurais (27.8%). Juntas, essas duas áreas de conhecimento perfazem 60%
de todos os candidatos que são submetidos à testagem de proficiência em
leitura em ESP na UFSM. Somando-se a elas, a área das engenharias
(18%) e das ciências naturais e exatas (matemática, física e química)
(14.8%), observa-se que elas totalizam mais de 90% dos candidatos que
realizam o teste de proficiência.
Ressalve-se aqui que nem todos os cursos de pós-graduação na
universidade estão representados na amostragem por duas razões
diferentes. Em primeiro lugar, há cursos em que a habilidade de leitura em
língua estrangeira é um pré-requisito para admissão e, assim, há a
exigência da comprovação prévia dessa habilidade (É o caso, por exemplo,
do Mestrado em Letras, que usa testes elaborados pelo DLEM, e do
Programa de Pós-Graduação em Ciência do Movimento Humano, que exige
testes padronizados, do tipo do TOEFL). Em segundo lugar, há cursos que
oferecem a alternativa de seus alunos cursarem disciplinas de língua
estrangeira instrumental oferecidas pelo DLEM. Esse é o caso, por exemplo,
dos cursos de mestrado e doutorado em Educação e do mestrado em
Agronomia. A aprovação em tais disciplinas dispensa-os automaticamente
da realização do Teste de Suficiência. Essa possibilidade, parece mais
produtiva do ponto de vista didático-pedagógico, já que procura desenvolver
as habilidades do aluno para ler textos acadêmicos em língua estrangeira da
maneira mais satisfatória possível. Ocorre, no entanto, que essa alternativa
106
esbarra em aspectos práticos de implementação como, por exemplo, a falta
de estrutura na UFSM para suprir disciplinas para todo esse público. Além
disso, o próprio gerenciamento do tempo dos alunos de pós-graduação é
também um fator limitador, já que, muitas vezes, tais alunos têm seu tempo
comprometido com o cumprimento de créditos e prazos, relegando a um
segundo plano as tarefas que não estejam diretamente vinculadas com o
cumprimento dos créditos obrigatórios. Cabe alertar, no entanto, que, para
aqueles alunos que não conseguem ter um desempenho satisfatório de
leitura em ESP, esse semestre de língua instrumental é de fundamental
importância.
5.2.1 Razão para escolha da língua do teste
Ao buscar informação sobre os examinandos, pareceu ser importante
descobrir a razão principal que os movia a optar por uma ou outra língua
estrangeira na testagem. Dos 104 candidatos que retornaram o
questionário, a maioria (79.8%) optou por realizar o teste em inglês.
Os 61 examinandos que constituem o corpus da presente pesquisa
apontaram o entendimento da prioridade da língua inglesa na pós-
graduação (59%) e a suposição de terem maior conhecimento dessa língua
(45.8%) como as principais razões para a opção pelo teste em língua
inglesa21 . Outras razões foram mencionadas, embora de forma muita
discreta como, por exemplo, exigência do curso (1.6%), uso posterior do
resultado (para seleção de doutorado) e afinidade ou interesse geral na
107
língua (1.6%). Essas informações apontam claramente para duas situações.
Em primeiro lugar, que a maioria dos candidatos tende a reconhecer na
língua inglesa um papel de centralidade no contexto acadêmico. Essa
opinião é reforçada pelas respostas dadas pelos examinandos sobre a
importância da habilidade de leitura em diferentes línguas para suas
respectivas áreas de interesse.
Tabela 2. Opinião dos candidatos sobre a importância da habilidade de leitura em inglês e em português no contexto global e no contexto brasileiro (em %)
contexto global contexto brasileiro
muito importante
de razoável importância
pouco importante
muito importante
de razoável importância
pouco importante
inglês 95.1 4.9 - 88.5 6.6 8.2
português 18 36.1 44.3 54.1 32.8 8.2
A Tabela 2 mostra as opiniões expressas sobre inglês e português,
evidenciando que, até mesmo no contexto brasileiro, a habilidade de leitura
em língua inglesa parece ser mais valorizada pelos testandos do que o
próprio português, possivelmente em função da grande quantidade de
informação disponível naquela língua .
A segunda situação é o paradoxo que se estabelece entre a opção
dos examinandos pelo teste em inglês por julgarem ter maior conhecimento
21 A soma dos percentuais é superior a 100% porque vários candidatos indicaram mais do que uma razão para a escolha da língua.
108
nessa língua do que nas demais línguas e o desempenho não satisfatório
desses candidatos no teste. Uma das maneiras de se explicar esse
paradoxo é que os examinandos talvez estejam equivocados em relação ao
conceito que têm sobre sua habilidade de leitura em EFL e, nesse sentido,
os testes não fariam mais do que refletir essa situação, indicando pelos
escores, de que sua habilidade de leitura está abaixo do nível considerado
suficiente para alunos de pós-graduação. Uma outra explicação é que os
examinandos talvez tenham razão em afirmar que têm um bom nível de
conhecimento ou habilidade de leitura em inglês, pelo menos no que se
refere ao uso instrumental da língua. Nesse caso, a discussão sobre a
validade e a fidedignidade do teste reveste-se de uma importância ainda
maior.
Como se viu, as razões que levaram os examinandos a optarem pelo
teste em língua inglesa ajudam a esclarecer, embora apenas parcialmente,
alguns pontos que podem contribuir para a formação do auto-conceito que
eles têm sobre sua habilidade de leitura. Essas razões, no entanto, estão
mais diretamente relacionadas às potencialidades desses alunos para a
leitura em ESP. É oportuno invocar também um fator que pode funcionar
como um elemento moderador na avaliação dos examinandos sobre sua
habilidade de leitura — a reprovação em testes anteriores.
109
5.2.2 Reprovação em testes anteriores
Dos 61 candidatos, 36 (59 %) estavam fazendo o teste pela primeira
vez e 25 (41%) já tinham se submetido a algum teste de proficiência pelo
menos uma vez anteriormente.
Desses 25 examinandos, 2 tinham prestado teste anteriormente em
outra língua (espanhol e alemão) e 23, em inglês. Dos 23 candidatos que já
haviam feito o teste pelo menos uma vez anteriormente em inglês, somente
um estava refazendo-o para melhorar o conceito obtido. Os outros 22, ou
seja, 36.1% do corpus, estavam refazendo o teste por terem reprovado
anteriormente. O caso é particularmente mais sério se levarmos em conta
que, daqueles 22 candidatos, 5 já haviam sido reprovados no teste pelo
menos duas vezes anteriormente (com dois casos de reprovação tripla entre
esses 5). Os dados referidos acima estão representados na Tabela 3.
Tabela 3. Quadro esquemático da situação dos examinandos em relação a reprovações anteriores
número total de examinandos 61
examinandos que já haviam prestado o teste de suficiência anteriormente 25
examinandos reprovados anteriormente no teste de proficiência em inglês 22
examinandos com pelo menos duas reprovações anteriores 5
examinandos com pelo menos três reprovações anteriores 2
Nesse ponto cabe questionar: Se o teste de proficiência tem como
função determinar o nível de habilidade de leitura em língua inglesa
necessário para realizar um curso de pós-graduação, como é possível que
110
alunos reprovados no teste já se encontrem em fase adiantada em seus
cursos?
Uma explicação possível talvez esteja relacionada a uma diferença
entre os tipos de tarefas de leitura que os examinandos têm de
desempenhar em seus cursos e o que têm de enfrentar de fato no teste. Um
exemplo disso seria o uso de textos no teste que diferem da especificidade
de suas disciplinas. Partindo dessa especulação, analisarei agora algumas
das opiniões que os examinandos têm sobre a testagem de proficiência,
como uma tentativa de esclarecer que espécie de expectativas tais
examinandos têm sobre o teste de proficiência.
5.3 A testagem sob o ponto de vista dos examinandos
A partir de uma lista de 9 opções do questionário, envolvendo tanto a
forma do teste, quanto as habilidades lingüísticas a incluir na testagem,
solicitei que os examinandos externassem suas opiniões sobre a testagem
de proficiência a que haviam sido submetidos, podendo indicar quantas
alternativas desejassem. Minha preocupação era abordar duas questões
básicas: a legitimidade do que é exigido em termos de comprovação de
proficiência e o prestígio que certas habilidades lingüísticas têm, em
detrimento de outras.
5.3.1 A exigibilidade do teste
111
Apenas 7 examinandos (11.5%), de um total de 61 disseram
considerar que o teste de suficiência seria uma formalidade dispensável,
enquanto que um número quatro vezes superior a esse (45.9%)
responderam que o teste deveria ser um pré-requisito para a aceitação de
alunos em cursos de pós-graduação. Uma terceira opinião foi expressa por
29 examinandos (47.5%), que consideram que, embora o teste seja uma
exigência necessária, poderia ser realizado durante o curso, ou seja, da
mesma forma que o teste ora analisado. No entanto, a opção que é indicada
pela maioria dos 61 examinandos (59%), sugere que o teste poderia ser
substituído por cursos de língua ao longo do cumprimento dos créditos do
curso de pós-graduação. Alguns examinandos indicaram mais do que uma
alternativa, possivelmente por entenderem que a comprovação de
proficiência deve acomodar diferentes soluções.
Minha interpretação para essas respostas é que os examinandos
parecem reconhecer, de uma forma geral, a legitimidade da exigência de
comprovação de proficiência, o que é compatível com a importância que
atribuem à habilidade de leitura em ESP em suas respectivas áreas de
atuação. Mesmo aqueles que consideram o teste uma formalidade
dispensável parecem estar cientes da importância do conhecimento de
língua estrangeira nas suas áreas, pois, em geral, indicam uma forma
alternativa de se garantir que alunos de pós-graduação tenham habilidade
de leitura (por exemplo, realização de cursos de língua). Isso talvez seja um
indício de que esses examinandos reconhecem que, no estágio inicial de um
112
curso de mestrado, um aluno talvez ainda não tenha a habilidade de leitura
em ESP suficiente para as demandas de seu curso.
Para aqueles sujeitos que entenderam que o teste deveria ser um
pré-requisito na aceitação do candidato nos cursos de pós-graduação, talvez
o fator mais importante para essa tomada de posição seja o julgamento de
que, em suas áreas de atuação, a habilidade de leitura em língua
estrangeira é de extrema importância. Nesse particular, há cursos e áreas
em que o conhecimento de ESP é absolutamente fundamental e, não raro,
condição sine qua non para a admissão nos bons cursos de pós-graduação
existentes no Brasil (Izquierdo, 1995: 5-6).
Finalmente, em relação à exigibilidade do teste, aqueles que
entendem que a comprovação da habilidade de leitura deva ocorrer ao
longo do cumprimento dos créditos do curso de pós-graduação, talvez levem
em consideração duas razões distintas. A primeira é que eles talvez tenham
um determinado desenvolvimento da habilidade de leitura e crêem que essa
habilidade tenda a se desenvolver ao longo do curso, através da leitura
intensiva que os alunos de pós-graduação se vêem obrigados a fazer.
Assim, a possibilidade de comprovar posteriormente, via testagem, que
houve um progresso em sua habilidade de leitura lhes pareceria mais justa
ou adequada. A segunda razão é que esses sujeitos talvez reconheçam a
importância do conhecimento de língua e estejam cientes de suas limitações
em relação a essa habilidade, mas julgam que poderiam ainda ter uma
chance a mais para contornar essas limitações através de cursos
promovidos pela universidade com o objetivo específico de desenvolver as
113
habilidades necessárias. A idéia subjacente a essas duas razões é que um
curso de pós-graduação é caracterizado por um crescimento, não somente
de conhecimento relacionado especificamente ao campo disciplinar do
estudante, mas também daqueles relacionados a domínios conexos que
contribuam para a realização do curso (cf. Haas, 1994).
Uma questão que não está esclarecida, no entanto, é, se nos cursos
de mestrado onde os alunos têm a possibilidade de cursar disciplinas de
ESP para suprir suas carências em termos de leitura, essas carências tem
sido realmente atenuadas ou solucionadas. Nesse sentido, um trabalho
concluído recentemente na UFSM (Santos & Hönig, 1996) indica que,
embora alguns problemas ainda estejam ocorrendo, há indícios de que a
alternativa representada pelos cursos de inglês instrumental seja uma saída
interessante para o problema de leitura dos alunos.
Um outro ponto que merece atenção é a opinião que os examinandos
têm sobre quais habilidades lingüísticas deveriam ser incluídas na testagem
de proficiência, assunto da seção que se segue.
5.3.2 Habilidades gerais a incluir na testagem
Procurei avaliar, através do questionário, que capacidades ou
habilidades deveriam, na opinião dos examinandos, ser foco de avaliação
na testagem de proficiência. Meu objetivo com isso era aquilatar quais
habilidades seriam mais ‘prestigiadas’ pelos examinandos, supostamente,
nas tarefas cotidianas de seus cursos de pós-graduação.
114
Assim, não foi surpresa observar que 45 (73.8%) dos 61
examinandos consideraram que o teste deveria avaliar a capacidade de
leitura e compreensão de textos. Por outro lado, 20 examinandos (32.8%)
entenderam que o teste deveria avaliar a capacidade de traduzir textos para
a língua materna. Houve ainda a menção por 11 examinandos (18%) de que
o teste deveria avaliar a habilidade para escrever na língua estrangeira, com
4 menções (6.6%) para a inclusão da habilidade de conversação na língua
estrangeira no teste e 6 (9.8%), para a habilidade de compreensão oral na
língua estrangeira.
De meu ponto de vista, esses resultados corroboram o entendimento
geral de que a leitura de textos é a habilidade mais importante para
estudantes de pós-graduação. No entanto, alguns estudantes parecem
assumir que a plena compreensão de um texto depende de sua tradução
para a língua materna. Convém observar que os sujeitos que consideraram
interessante incluir a avaliação da habilidade de traduzir textos para a língua
materna sempre fizeram essa observação associada a uma outra
habilidade, particularmente, a de leitura. Isso pode significar que tais alunos
encaram a tradução como recurso adicional para a compreensão de textos.
Pode-se observar também que, dentre os examinandos que sugeriram a
inclusão, tanto de leitura, quanto de tradução como capacidades que
deveriam ser avaliadas, a maior parte foi aprovada no teste.
A habilidade de escrever na língua estrangeira não parece ser
essencial para a maioria dos examinandos, já que apenas 11 deles
sugeriram sua inclusão no teste. Para aqueles que, no entanto, indicaram
115
que ela deveria ser incluída no teste, duas condições presentes em outras
respostas desses examinandos no questionário poderiam explicar tal opção:
(1) bom nível de habilidade escrita; (2) proximidade do final de seus cursos.
O auto-conceito favorável dos examinandos sobre essa habilidade
pode ter tido um peso considerável na decisão de indicar a inclusão dessa
resposta em seus questionários. O fato de estarem nos estágios finais de
seus respectivos cursos pode também responder por essa opção, em
função de que é nessa fase que o acadêmico geralmente procura inscrever
trabalhos em congressos e eventos de sua área. Como muitos congressos
exigem a submissão de abstracts em inglês, é possível que isso tenha
alguma influência no juízo de valor que esses 11 examinandos formaram
sobre a importância da habilidade escrita.
Quanto às demais habilidades mencionadas (expressão e
compreensão oral), elas só são mencionadas juntamente com outras
habilidades e, de uma forma geral, por examinandos da área de medicina.
Pode-se inferir, portanto, que os examinandos dessa área julguem haver um
volume de informação oral nessa área (como, por exemplo, em congressos,
conferências, palestras, etc.) superior ao existente nas demais.
Para finalizar a discussão sobre as sugestões dos examinandos em
relação ao teste, parece-me que, similarmente à questão da exigibilidade do
teste, não há uma solução única e completa que seja aplicável a todos os
alunos de todos os cursos de pós-graduação da UFSM, conforme
referenciarei posteriormente na conclusão do presente trabalho (Capítulo 8).
116
As realidades desses cursos, assim como suas necessidades, são distintas.
Assim, a opção que a UFSM faz — unificando os procedimentos de
testagem em torno da leitura de textos de Epistemologia ou Metodologia da
Pesquisa, teoricamente comum a todas as áreas e cursos — por um lado, é
abrangente, mas, por outro lado, relega o aspecto instrumental da leitura a
um plano secundário, já que não testa leitura de textos específicos na área
do testando e, portanto, se afasta de uma situação mais naturalística de uso
de linguagem (cf. Canale, 1988).
A questão do grau de especificidade de um teste é polêmica. Há, por
exemplo, pesquisas que indicam que o conhecimento prévio relacionado a
uma disciplina pode afetar a compreensão de leitura e de que alguns grupos
de estudantes podem ficar em desvantagem quando testados em áreas fora
de sua disciplina (Alderson & Urquhart, 1988, p. 182). Há também outros
estudos que argumentam que a falta de conhecimento fundamental da
língua estrangeira (e não de conhecimento prévio) é que pode ser
responsável pelos problemas de leitura dos examinandos (Maciel & Thielen,
1988, p. 224-225). Em ambos os casos, os autores sugerem
aprofundamento da pesquisa para que se possa ser mais conclusivo sobre o
assunto.
No próximo capítulo, será feita a análise do teste, tanto para suprir
algumas informações sobre sua constituição, como para preparar o terreno
para a discussão sobre o desempenho dos examinandos no teste com base
no seu auto-conceito sobre sua própria habilidade de leitura. Conforme se
117
tem argumentado aqui, as auto-avaliações que os examinandos fazem de
suas próprias habilidades de leitura em ESP constituem pontos
interessantes para a discussão de testagem, embora não prescindam de um
entendimento concomitante sobre o teste.
6 DISCUSSÃO E ANÁLISE DO TESTE
6.0 Pressupostos para a análise do teste
Ao tentar abordar o problema do acentuado índice de reprovação dos
examinandos no teste de proficiência aplicado na UFSM, desenvolvi a
análise de um teste anterior (edição de abril de 1995), em termos das micro-
habilidades de leitura envolvidas. Na análise daquela edição do Teste de
Suficiência, focalizei especificamente as questões propostas, traçando
algumas considerações sobre modelos teóricos de leitura, discutindo a
estrutura organizacional do teste e analisando duas de suas cinco questões
em termos das tarefas solicitadas e do conhecimento prévio necessário para
que os examinandos pudessem completá-las adequadamente.
Embora tal análise tenha se mostrado de utilidade para a
compreensão do teste em si, a falta de dados sobre a população alvo da
testagem ajudou a mostrar que um entendimento mais amplo sobre o
processo de testagem demandaria a consideração de informações sobre o
contexto onde essa testagem se desenvolve. Em função disso, busquei
contato com 14 universidades19, além da UFSM, para levantar dados sobre
como a testagem de proficiência é vista e encaminhada em outras
19 As universidades para as quais se enviou correspondência são: UFPB (João Pessoa-PB), UFU (Uberlândia-MG), PUC-RIO (Rio de Janeiro-RJ), UFPE (Recife-PE), UFMG (Belo Horizonte-MG), UFF (Niterói-RJ), FUAM (Manaus-AM), UEL (Londrina-PR), UFRN (Natal-RN), UFPA (Belém-PA). Foram realizados contatos pessoais e telefônicos com as seguintes
102
instituições. A escolha das universidades teve como critério a participação
de pesquisadores daquelas universidades na área de leitura em ESP nos
dois últimos Encontros Nacionais de Professores Universitários de Língua
Inglesa (XII e XIII ENPULI, realizados respectivamente, em Porto Alegre, em
1993 e no Rio de Janeiro, em 1995), fato que poderia ser interpretado como
um indício de atividade de pesquisa na área. Foi enviada uma carta
solicitando exemplares de testes de proficiência, juntamente com um
questionário composto de seis perguntas (ver Apêndice B) cujo objetivo era
levantar dados gerais sobre os testes: há quanto tempo as instituições
promoviam tais testes, quem eram os responsáveis pela formulação dos
mesmos, que tipo de testes eram aplicados (isto é, se consistiam de um
único modelo para todas as áreas ou se eram específicos por área), qual o
percentual aproximado de candidatos aprovados e, finalmente, se havia
diferenças de performance nas áreas e quais seriam essas diferenças.
Infelizmente, apenas três instituições responderam prontamente à
solicitação (UFRGS, UFSC e UFPA), uma universidade estava implantando
seus testes (UNIJUÍ) e duas responderam apenas recentemente (UEL e
UFMG). Constatou-se, então, que a pretensão de realizar um estudo em
escala nacional esbarrava, em primeiro lugar, na falta de resposta por parte
das instituições contatadas e, em segundo lugar, na carência de
informações sobre testes de proficiência em nível nacional. A UFRGS foi
uma exceção à regra, não sem razão, já que daquela instituição se
originaram as duas únicas dissertações encontradas, tratando
instituições: UFSC (Florianópolis-SC), UNIJUÍ (Ijuí-RS), e UFRGS e PUC-RS (Porto Alegre-
103
especificamente sobre testagem de proficiência em leitura em ESP no Brasil
nos últimos 15 anos (Maciel, 1980; Célia, 1983). Evidenciou-se, portanto, a
necessidade de reorientar os objetivos iniciais do trabalho proposto,
deixando de lado a tentativa de traçar um perfil nacional dos testes de
proficiência em ESP e voltando as atenções para o processo de testagem
desenvolvido na UFSM. De qualquer forma, vale registrar o fato de que pelo
menos aparentemente a questão da testagem de proficiência em leitura em
ESP não tem recebido um tratamento mais detalhado por parte da pesquisa
em Lingüística Aplicada realizada no Brasil.
A professora Anna Maria Becker Maciel, profissional responsável na
UFRGS pela elaboração do Teste de Proficiência em Leitura em Inglês,
prestou uma valiosa contribuição ao trabalho, indicando fontes, caminhos e
dificuldades que a pesquisa sobre testagem de proficiência poderia oferecer.
Essa contribuição foi determinante para uma reorientação nos rumos da
pesquisa. Por sugestão do professor Dr. Luiz Paulo Moita Lopes, busquei
nos testes promovidos pela UFSM o material para o estudo. Essas
sugestões foram determinantes para a decisão de, além da analisar o teste
em si, realizar-se também para o levantamento de dados sobre os
examinandos, como forma de ampliar a compreensão sobre o contexto no
qual tal testagem era desenvolvida.
Uma dificuldade adicional no levantamento ficou por conta da falta de
informações sistematizadas sobre os testes da UFSM, problema que parece
ser comum a praticamente todas as instituições consultadas. Apesar das
RS).
104
dificuldades e, com o auxílio de professores do Departamento de Letras
Estrangeiras Modernas da UFSM (DLEM), foi possível analisar as edições
de 1994, 1995 e 1996 (abril) dos testes.
A análise preliminar desses testes indicou uma mudança no formato
das questões do teste na edição de abril de 1996, quando se adotou o
formato de questões de múltipla escolha. A justificativa para tal mudança
teve, segundo relato dos professores da cadeira de língua inglesa do DLEM,
a preocupação de garantir uma medida mais padronizada na correção dos
testes, de facilitar a correção do grande número de testes que havia a cada
edição e de concentrar os esforços dos candidatos durante a testagem nas
tarefas diretamente relacionadas com a leitura, já que, até o final de 1995,
os alunos tinham várias tarefas nas quais eram exigidas habilidades outras
que a leitura como, por exemplo, versão de trechos do texto para o
português e redação sintética de idéias do texto. Ainda de acordo com esse
relato, o DLEM planeja manter esse formato, aperfeiçoando-o na medida do
possível e do necessário. A análise preliminar do conteúdo e das tarefas dos
testes indica consistência entre aqueles aplicados durante os anos de 1994
e 1995 e o aplicado em abril de 1996.
O estudo concentrou-se, portanto, na edição do teste de abril de
1996, partindo de um visão de que se, por um lado, a habilidade de leitura é
resultado de uma interação entre processos cognitivos e sociais, por outro
lado, a avaliação do nível dessa habilidade parece demandar procedimentos
que dêem conta da manifestação concreta da leitura e compreensão. Nesse
sentido, a análise das questões do teste a partir das micro-habilidades
105
aparentemente avaliadas em cada uma das seções pode, nos termos que
defini no Capítulo 3, dar algumas indicações sobre a visão que os
examinadores têm sobre os níveis de competência de leitura que um
estudante de pós-graduação deva ter.
Uma vez delimitado o perfil dos examinandos, discuto, no presente
capítulo, os dados referentes ao teste, em termos do texto cuja leitura é a
base para as questões do teste, as questões propostas e as micro-
habilidades de leitura que parecem ser o foco de avaliação nas questões do
teste. Com isso, creio que seja possível situar o processo de testagem de
proficiência sob uma ótica mais orientada para sua função e impacto social.
6.1 Visão geral sobre o teste
O teste de proficiência é promovido na UFSM duas vezes ao ano, em
datas fixadas pelo Conselho de Ensino Pesquisa e Extensão (CEPE) e
incluídas no calendário. De acordo com a Resolução No 009/96, o DLEM
tem a incumbência de planejar e operacionalizar tais testes.
O teste analisado está dividido em cinco seções, perfazendo no total,
15 questões. Todas as questões deveriam ser respondidas com base na
leitura do texto “Growth of Knowledge”, extraído do livro Introduction to the
Philosophy of Science (O’Hear, 1990, p. 3-6) (ver Apêndice C).
6.2 O texto base para as tarefas do teste
Como todas as questões deveriam ser respondidas com base na
106
leitura desse texto (ver Figura 4)20, realizei uma análise de seu conteúdo e
sua inserção no teste. O texto, situado na área de Filosofia da Ciência,
argumenta centralmente que há alguma diferenças no modo de produção de
conhecimento nas artes e nas ciências. Essa argumentação é conduzida a
partir de dois pontos relativos ao tópico: (1) o julgamento sobre a validade
de uma teoria científica; e (2) a forma de desenvolvimento ou progresso do
conhecimento.
Assim, no primeiro parágrafo do texto, o autor estabelece seu ponto
de partida, invocando o progresso que teria ocorrido na ciência durante os
quatro últimos séculos, citando alguns exemplos desse progresso e
indicando alguns fatos que nos permitem dizer que esse progresso
efetivamente aconteceu. No segundo parágrafo, o autor aponta a existência
de um contraste fundamental entre o desenvolvimento da ciência moderna e
o das artes, discutindo particularmente a noção de que, nas artes e, em
especial, na música, o fato de uma obra ter surgido numa época mais
recente do que outra não significa, por si só, que essa obra é melhor do que
as que a antecederam. Isso aconteceria porque, nas artes, não seria
possível estabelecer uma escala de julgamento com base num critério de
atualização, desde que um certo nível de adequação expressiva fosse
alcançado.
No terceiro parágrafo, o autor indica que, na ciência, isso ocorreria de
forma diversa, já que, com as teorias científicas, essa escala de julgamento
20 Para fins de diagramação foi necessário reduzir o tamanho geral e a fonte usada em algumas palavras do texto reproduzido na Figura 4. A numeração de linhas,ali inserida
107
de validade seria possível e, normalmente, se basearia na busca de uma
maior aproximação com a verdade sobre um fato do mundo natural. Assim,
de acordo com o autor, geralmente uma teoria mais recente seria
considerada mais apropriada ou mais próxima da verdade. O quarto
parágrafo do texto sintetiza os dois parágrafos anteriores, dizendo que, nas
ciências, se pode falar num progresso ou desenvolvimento objetivo, porque
alguém trabalhando numa época mais recente, por esse fato em si, pode
dizer que sabe mais que seus antecessores, enquanto que, nas artes, isso
não seria necessariamente verdadeiro.
No quinto parágrafo, o autor retoma o contraste entre o avanço do
conhecimento nas ciências e nas artes, fazendo uma citação de T.S. Eliot
que afirma que, enquanto na literatura se pode dizer que sabemos mais que
nossos predecessores, pois o que conhecemos é justamente o seu trabalho,
na ciência, o crescimento de conhecimento seria encarado de maneira muito
diferente, pois a história da ciência seria feita da superação de uma teoria
por outra e o trabalho dos antecessores seria lembrado muito mais como
curiosidade histórica. Dessa forma, o conhecimento previamente produzido
na literatura faria parte da tradição da área, enquanto que, na ciência, as
teorias dos antecessores estariam mortas, do ponto de vista científico. Isso
justificaria a validade de se pesquisar a obra de literatos antigos.
manualmente foi adicionada por mim, objetiva facilitar a remissão ao texto. Tanto o texto, quanto as questões do teste são reproduzidos em escala natural no Apêndice C.
108
Figura 4 - Texto utilizado no Teste
de Suficiência
Growth of Knowledge
In a perfectly obvious sense, over the last four hundred years or so there has been progress in science. Measurement of physical quantities becomes more precise, previously unknown particles and substances are discovered, new effects are produced and applied. Even if the ancients were wiser than us, and knew better how to live, they did not know the speed of light or the mass of the earth or the structure of the hydrogen atom or how to produce and apply lasers or the 4 SCIENCE AS AN INTELLECTUAL ACTIVITY photo-electric effect. And we know now that, despite the brilliance of many of the observations, most of the theories of the universe expounded in Aristotle’s writings are quite simply false. The earth is not the centre of the universe, nor do heavy bodies seek the centre of the earth as their natural resting-place, nor is the earth surrounded by series of con-centric circles on which the other heavenly bodies revolve. There is a striking contrast between the development of modern science and the arts. No one would say of a work of music or literature that it was better than an earlier work just because it was later. A recent work by Luciano Berio is not, because of its modernity, better than Beethoven’s Violin Concerto, and, it would be just as hard to say that Brahms’s Violin Concerto was better than Beethoven’s . In contrast to the development of theories in modern science, a later masterpiece in a given artistic genre is not thereby better than an earlier one, nor does it necessarily attain the aim of the genre better, or anything of that sort. Indeed, in the case of violin concertos, it would be hard if not actually senseless to specify a target at which all violin concertos are aiming, and in relation to which one could say that concerto A got nearer to the target than concerto B. Leaving Berio aside, it hardly makes sense to say of the Beethoven and the Brahms that one is better than the other. There just is no scale on which one could judge such things, once certain level of expressive adequacy has been reached. The case with scientific theories, though, is quite different. Here we are able to specify a clear target at which all theories aim, and we often have confidence that theory A has got closer to the target than theory B. The aim might be characterized as discovering the truth about the natural world, and when we have theories which aim to describe the same bits of the natural world we can often say that a later theory is better than an earlier. Thus, Copernicus’s helio-centric picture of the universe was better than Aristotle’s geocentric picture, and Newton provided a better account of
SCIENCE AS AN INTELLECTUAL ACTIVITY 5 the solar system and the universe than either. Similarly, every schoolchild now knows that the chemist Joseph Priest-ley mistankenly thought he had identified a substance he called ‘phlogiston’, a gaseous fluid with possibly negative weight which, among other things, was given off when metals burned. We now know that there is no such thing and that there is no one substance that does all the things phlogiston had been supposed to do. Priestley had actually been observing the effects of oxygen, which metals absorb from the air when burned, rather than those of the phlogis-ton they were supposed to give off. When he imagined he had isolated a sample of dephlogisticated air, he had actually produced oxygen. As I say, this story about Priestley and phlogiston is something every schoolchild knows and in that sense, every schoolchild has knowledge Priestley did not have, and in that sense is in advance of Priestley. But it is not the case that every schoolchild is a better chemist than Priestley, any more than Berio or even Brahms is a better composer than Beet- hoven. We can speak of an objective advance or progress in the one case but not in the other because we can speak unambiguously of knowledge having grown in the sciences, so that those working later in a given field of science, by that very fact alone, may be said to know more than their predecessors. Apparently rather against the grain of what I have just been saying, T. S. Eliot once remarked that in literature we know far more than our predecessors because what we know is their work. Growth of knowledge in science, though, is not at all like that, and this is another way of bringing out the distinction I am drawing between science and the arts. Although a few stories from the history of science, like that of Priestley and phlogiston, are part of the folklore of the subject, most workers in a scientific field do not know the history of their field in any depth or detail. They do not have to know it, because the history of science will consist largely
6 SCIENCE AS AN INTELLECTUAL ACTIVITY
of theories that have been discarded, and which are regarded as giving far less true information about the world than their sucessors. An astronomer will tell you what, in the con-sidered view of astronomers today, the universe is like, not what Aristotle or Copernicus thought it was like. The theories of Aristotle and Copernicus are, from the scientific point of view, dead; we have progressed beyond them and there is no need to revive them except as historical curiosities we may briefly contrast with present knowledge. The case is quite different with works of art and literature. The dead writers of whom Eliot spoke are part of the soil and tradition in which we live, and we deepen and refresh our understand-ing both of ourselves and of art by returning to them and deepening our acquaintance with them.
O’ Hear, Anthony. 1990 - Introduction to the Philosophy of Science Clarendon Press - Oxford I 3 - 6
109
6.3 Micro-habilidades de leitura avaliadas nas seções do teste
Embora a idéia subjacente ao presente trabalho seja a de que a
leitura é uma interação de processos cognitivos e sociais, conforme se
mencionou anteriormente, a maneira que pareceu ser mais produtiva para a
análise de cada uma das cinco seções do Teste de Proficiência objeto
desse estudo, foi a descrição das micro-habilidades de leitura que parecem
ser o foco de avaliação nessas seções.
Devo frisar que não se pretende com essa abordagem reconstituir os
complexos processos mentais que ocorrem na leitura, mas tão somente
identificar as habilidades que parecem ser foco específico de testagem e
que, portanto, estão no cerne da discussão sobre a razão, a função, e a
forma do Teste de Suficiência em ESP na UFSM. Nessa perspectiva, as
habilidades que dão suporte à leitura, sem, no entanto, constituírem foco de
avaliação, como, por exemplo, aquelas relacionadas a aspectos motores e
perceptuais, não são, em princípio, relevantes para os propósitos do
trabalho.
6.3.1 Seção I do teste
A seção I do teste é composta por apenas uma questão que detém o
maior peso relativo (1.6 contra 0.6 por questão nas demais seções).
110
Figura 5. Seção I do Teste de Suficiência
Essa questão (ver Figura 5) solicita que o examinando escolha, entre
três alternativas, aquela que melhor expressa a idéia global do texto.
Parece, assim, haver o predomínio de duas micro-habilidades de leitura
para a solução adequada da tarefa proposta: a leitura geral (skimming) para
depreender a idéia global do texto, e a distinção entre a idéia principal e os
detalhes secundários (seções 3.5.9 e 3.5.7 do Capítulo 3, respectivamente).
Para responder ao exercício proposto, supõe-se que o candidato
deveria procurar compreender o sentido geral do texto para, então, cumprir
adequadamente a tarefa de identificar a questão central do texto. Para
tanto, o examinando deveria também fazer a distinção entre a idéia principal
e os detalhes secundários uma vez que todas as alternativas oferecidas
traziam asserções verdadeiras em relação a determinados trechos do texto,
porém somente a alternativa B representava a idéia geral nele contida.
Essa questão foi respondida corretamente por 55 dos 61
examinandos (90.2%), o que pode significar que a maioria dos examinandos
têm domínio sobre as micro-habilidades avaliadas nessa questão,
principalmente se for levado em conta o fato de que apenas no grupo dos
I. Escolha a alternativa que melhor expressa a idéia global do texto. Marque com um X a
resposta mais apropriada. (Peso 1.6)
a. ( ) A constatação da falsidade de alguns escritos mais antigos à luz dos desenvolvimentos
posteriores da ciência.
b ( ) O estabelecimento das diferenças entre as trajetórias cronológicas em duas áreas
diferentes do conhecimento.
c ( ) A elucidação do objetivo das ciências naturais.
111
examinandos que auto-conceituou sua habilidade de leitura como ‘não
satisfatória’ o índice de acertos foi baixo (33,3%). Isso parece corresponder
à impressão dos examinandos de que eles entendem a idéia geral do texto
(cf. Santos & Hönig, 1996), embora não consigam realizar adequadamente
todas as tarefas de leitura (propostas no teste).
6.3.2 Seção II do teste
A seção II é composta por duas questões, II.1 e II.2, valendo, assim
como as subseqüentes, 0.6 pontos cada. A instrução básica para a
resolução de ambas as questões é de que se assinale a alternativa que
melhor corresponde às idéias apresentadas no texto (ver Figura 6).
A micro-habilidade de extração dos pontos salientes para a
sumarização de uma idéia/tópico específico no texto (seção 3.5.8, Capítulo
3) é a micro-habilidade que parece operar com maior destaque nessa
seção, já que os tópicos sobre os quais os examinandos tinham que
responder estão localizados ao longo de parágrafos inteiros do texto e a
tarefa principal dos examinandos seria sintetizar os pontos principais desses
trechos.
A questão II.1 solicita que os examinandos identifiquem uma
afirmação feita pelo autor do texto, no primeiro parágrafo, em relação a
algumas comparações entre períodos diferentes da história da humanidade.
A alternativa correta (B), foi apontada por 98.4% dos examinandos (apenas
um examinando, que auto-conceituou sua habilidade de leitura como ‘não
112
satisfatória’, foi incapaz de identificar a alternativa correta).
Figura 6. Seção II do Teste de Suficiência Já em II.2, foi solicitado que o examinando identificasse, entre as três
alternativas oferecidas, a posição do autor em relação às artes e, em
especial, à música (ver Figura 6). Novamente o índice de acertos foi
bastante elevado (98.4%) e, contrariamente às minhas expectativas, o único
examinando que não conseguiu identificar a alternativa correta (A), auto-
conceituou sua habilidade de leitura num nível ‘bom/razoável’.
O elevado índice de acertos em ambas as questões da seção II
poderia ser explicado pela extração bem sucedida de pontos salientes para
a sumarização de uma idéia/tópico específico no texto).Nesse caso, pode-se
II. Assinale a alternativa que melhor corresponde às idéias apresentadas no texto.
(Peso 0.6x2)
1. No primeiro parágrafo do texto, o autor estabelece algumas comparações entre períodos
diferentes da história da humanidade. Ele afirma que:
a ( ) Não houve progresso substancial na ciência nos últimos séculos. Os antigos eram mais
inteligentes e viviam melhor do que nós.
b ( ) Ainda que os antigos fossem mais inteligentes e tivessem melhor qualidade de vida do
que nós desconheciam a velocidade da luz, entre outros avanços da ciência.
c ( ) Com todo o brilhantismo das observações feitas sobre a natureza, a maioria das teorias
sobre o universo elaboradas nos textos de Aristóteles estavam corretas.
2. De acordo com o autor do texto, nas artes:
a ( ) ...especialmente na música, não se pode julgar a qualidade de produções na área com
base no critério de atualização.
b ( ) ...o crescimento é progressivo e atualizado, o que permite a rejeição de manifestações
anteriores.
c ( )...uma manifestação recente é necessariamente considerada melhor do que uma anterior.
113
falar de uma similaridade com a seção I, já que nessas duas seções, a
compreensão do texto é avaliada num nível mais geral do que nas demais e,
em ambas, o índice de acertos é elevado. Isso pode ser um indício de que
os examinandos, ao longo de sua experiência de leitura nos cursos de
mestrado, desenvolvem melhor as habilidades que lhes permitem ter uma
idéia global do sentido do texto, priorizando-as na leitura (cf. Célia, 1983, p.
131-132; Santos & Hönig, 1996).
Há também que se considerar a possibilidade de que o uso de
estratégias de testagem (por exemplo, o descarte de alternativas
inadequadas ou incompatíveis) possa ter contribuído para esse alto índice
de acertos. De qualquer forma, o uso de tais estratégias, mesmo de forma
intuitiva, demonstra algum tipo de habilidade que pode estar relacionada à
seleção de itens lexicais chaves ou ao uso do conhecimento prévio do
examinando (nos termos da seção 2.3.2, do Capítulo 2).
6.3.3 Seção III do teste
A partir da seção III, o número de questões sobe para quatro por
seção, também com valor de 0.6 pontos cada. Essa seção tem uma
caraterística peculiar em relação às demais: é a única em que o formato de
múltipla escolha não foi adotado. Nos quatro itens que a compõem, o
candidato é instado a indicar as linhas onde determinadas informações
podem ser localizadas no texto, sugerindo que a micro-habilidade de leitura
mais importante para a realização da tarefa é a leitura seletiva (scanning)
para localização de informação especificamente requerida sobre certos
114
tópicos do texto (seção 3.5.9, do capítulo 3). Há, no entanto, algumas
diferenças no que concerne à forma pela qual os examinandos poderiam
chegar às respostas consideradas corretas.
Figura 7. Seção III do Teste de Suficiência
Conforme se vê na Figura 7, a questão III.1 solicita a indicação do
trecho onde são exemplificados os avanços científicos ocorridos nos últimos
quatro séculos, ou seja, há também a pressuposição de que o examinando
seja capaz de identificar a existência de uma relação de exemplificação
entre duas partes do texto (seção 3.5.4, Capítulo 3), seja através de
sinalizadores explícitos, ou pela compreensão da relação entre as
sentenças. Uma tarefa adicional que cabe ao examinando é a delimitação
de onde se inicia e se encerra essa exemplificação.
Assim, em III.1, embora a relação de exemplificação não esteja
sinalizada por marcadores explícitos (i.e., for example ou such as), a
sentença tópica, no primeiro parágrafo, chama atenção para o progresso da
ciência nos últimos quatrocentos anos. Em seguida, alguns fatos que podem
ser tomados como exemplos desse progresso (linhas 2-5) são enumerados.
Portanto, a resposta certa à questão seria a informação contida entre as
III. Anote ao lado de cada informação, a(s) linha(s) em que o autor do texto: (Peso 0.6x4)
1. Exemplifica os avanços científicos ocorridos nos últimos quatro séculos:
2. Cita exemplos de teorias falhas de Aristóteles:
3. Estabelece a diferença entre avanço do conhecimento na arte e na ciência:
4. Posiciona-se sobre a validade de se pesquisar obras de artistas e literatos antigos:
115
linhas 2 e 5.
Embora seja possível crer que o objetivo da questão III.1 tenha sido a
avaliação da habilidade dos examinandos em localizar informação
específica no texto (seção 3.5.9), o baixo índice de acertos dos
examinandos nessa questão (36.1%) pode estar relacionado à falta de
habilidade dos examinandos para discernir entre os exemplos de avanços
científicos ocorridos nos últimos quatro séculos (linhas 2-5) e os exemplos
de fatos sobre a natureza que os povos da antigüidade desconheciam
(linhas 6-9), posto que 59 dos 61 examinandos deram respostas que
oscilaram entre as linhas 2 e 9.
Em III.2, foi solicitado que os examinandos citassem exemplos de
teorias falhas de Aristóteles e, semelhantemente à questão III.1, aqui
também há uma sentença que diz que, apesar do brilhantismo das
observações de Aristóteles, muitas de suas teorias sobre o universo eram
falhas. Da mesma forma que o trecho base para a questão III.1, não há
sinalizadores explícitos de exemplificação, mas a sentença subseqüente cita
alguns fatos, marcados por formas de negação (linhas 12-15) que poderiam
remeter o leitor ao conceito de falta ou falha. Em primeiro lugar, o
examinando precisaria compreender que os fatos citados entre as linhas 12
e 15 são negações de teorias e que essas teorias, por sua vez, são
atribuídas a Aristóteles. Com isso, a resposta que poderia ser considerada
correta estaria entre as linhas 12 e 15 do texto, tendo sido apontada
corretamente por 88.5% dos examinandos.
116
Na questão III.3 pediu-se que os examinandos anotassem as linhas
onde o autor estabelece a diferença entre o avanço de conhecimento na
arte e aquele ocorrido na ciência moderna. Por se tratar de diferenciação, o
examinando teria que localizar o ponto A (avanço do conhecimento na arte)
e o ponto B (avanço do conhecimento na ciência moderna) reconhecendo
as diferenças entre eles. Embora a resposta possa estar localizada ao longo
do segundo e do terceiro parágrafos, parece haver diferentes possibilidades
de formulá-la. A primeira possibilidade (e, provavelmente, a mais adequada)
seria o trecho que vai da linha 17 à 19, onde, após mencionar, na sentença
tópica, a existência de uma grande diferença entre o avanço do
conhecimento na ciência moderna e nas artes (linha 16-17), o autor
argumenta que ninguém diria que uma obra mais recente de música ou
literatura seria melhor do que aquelas que a antecederam somente por ser
mais recente.
As demais possibilidades de resposta estavam situadas ao longo do
segundo e do terceiro parágrafos, onde o autor expande o argumento sobre
a diferença entre as áreas, ilustrando a idéia de desenvolvimento na ciência
moderna e nas artes através de exemplos, comparações e síntese. Assim,
outras respostas admissíveis seriam os trechos 16-42, 22-26, 22-42 e 35-42.
Essa multiplicidade de respostas admissíveis pode ter sido
ocasionada por diferentes interpretações do termo ‘estabelece’ usado na
delimitação da tarefa a ser cumprida pelos examinandos. Com isso, a
comissão que procedeu à correção dos testes, considerou muitas dessas
respostas como estando corretas, já que não se pedia o trecho que melhor
117
representa a diferença entre as duas áreas citadas, mas tão somente, o
trecho onde a diferença é estabelecida.
Não estranhamente, a questão III.3 foi a que apresentou o menor
índice de acertos no teste (14.8%). Dadas as diferenças tanto nas respostas
dos examinandos como na variabilidade de opções aceitas como corretas
pela comissão responsável pelo teste, não seria arriscado dizer que essa
questão tem problemas de elaboração que podem ter comprometido sua
validade e fidedignidade na testagem. Esse fato, no entanto, reforça a idéia
de que as questões com formato de múltipla escolha podem reduzir o risco
da variabilidade de julgamento na correção das questões de um teste.
Nesse sentido, embora a questão aparentemente tenha tentado avaliar a
habilidade dos examinandos na localização de pontos específicos no texto
(seção 3.5.9, Capítulo 3), além da habilidade de distinguir entre a idéia
principal e os detalhes secundários (seção 3.5.7, Capítulo 3), não creio que
seja possível afirmar que o baixo desempenho dos examinandos esteja
relacionado apenas à falta dessas duas habilidades. Talvez haja mais
fatores envolvidos, como, por exemplo, as restrições na interação do leitor
com o texto, que podem ter causado falhas na atribuição de relevância às
partes do texto pelo leitor (Cavalcanti, 1989, p. 46-47) ou à dificuldade da
questão21.
Na questão III.4, pediu-se que os examinandos indicassem o trecho
onde o autor posiciona-se sobre a validade de se pesquisar sobre as obras
21 O índice de dificuldade é dado pelo percentual de acertos dos examinandos na questão (cf. Alderson, Clapham & Wall, p. 80-81), isto é, quanto menor o nível de acertos, maior o índice de dificuldade numa dada questão.
118
de artistas e literatos antigos. Essa informação está localizada no final do
quarto parágrafo (linhas 90-94), no qual, após indicar que, enquanto na
ciência as teorias superadas só serviriam como curiosidade histórica, nas
artes, por outro lado, o retorno aos escritores do passado ajudaria a
melhorar o entendimento que se tem sobre nós mesmos e sobre a própria
arte. Supõe-se que o examinando deveria proceder a uma leitura seletiva
para permitir a localização de informação específica no texto (seção 3.5.8,
Capítulo 3). Nesse caso específico, tal tarefa parece demandar o acesso à
micro-habilidade de compreensão do significado conceitual22 subjacente à
idéia de tomada de posição pelo autor do texto (seção 3.5.3, Capítulo 3).
Essa questão teve um índice de acertos de 49.2%, sendo que as
respostas consideradas erradas demarcaram uma variedade de trechos que
não dão conta da idéia de justificativa de propósito (por exemplo, 17-19, 22-
26, 26-30, 30-34, 58-69, 64-69, e 79-83), solicitada na questão III.4. Isso
pode significar que aproximadamente metade dos examinandos não foram
capazes de localizar a informação específica solicitada, talvez em função da
falta de habilidade para compreender a argumentação do autor sobre a
validade de se pesquisar as obras de literatos antigos.
Para sintetizar a análise da seção III, o fato que se destaca é o baixo
índice de acertos dos examinandos nas questões que a compõem (com
exceção da questão III.2). Para melhor esclarecer as razões para esse baixo
índice de acertos parece ser necessário invocar o auto-conceito dos
22 Conforme referido no Capítulo 3, significado conceitual refere-se, nesse caso específico, à noção de propósito de se pesquisar obras de literatos antigos.
119
examinandos sobre sua habilidade de leitura em ESP, como parâmetro de
julgamento que, associado ao estudo das questões propriamente ditas,
pode ajudar a entender se o problema está mais diretamente relacionado à
falta das micro-habilidades de leitura dos examinandos ou a outros fatores.
Um problema que parece evidente, no entanto, é que questões com índice
geral de acertos muito elevado, ou demasiadamente baixo dificultam
sobremaneira a identificação do nível de habilidade de leitura do
examinando. Índices de acerto consistentemente baixos, por exemplo,
podem dar muito mais informação sobre o nível de dificuldade da questão,
do que sobre a habilidade lingüística do examinando propriamente dita
(Alderson, Clapham & Wall, 1995, p. 81).
6.3.4 Seção IV do teste
As quatro questões da seção IV (Figura 8) podem ser chamadas de
questões de referência, já que a tarefa proposta é a seleção da alternativa
que liga formas referenciais a seus referentes no texto. Postula-se a
compreensão das relações entre partes de um texto através de mecanismos
de coesão gramatical por substituição em IV.1 (pronome They substituindo
substantivo the ancients), IV.2 (pronome either substituindo Copernicus e
Aristotle) e IV.4 (substantivo subject no lugar do substantivo science) , e,
também, por referência anafórica (ligando such thing a phlogiston), em IV.3.
Trata-se do acesso às micro-habilidades operantes no nível de coesão do
discurso, citadas na seção 3.5.5 do Capítulo 3, limitando-se, entretanto à
coesão referencial.
120
Figura 8. Seção IV do Teste de Suficiência
A maior parte dos examinandos foi capaz de identificar as alternativas
corretas nas questões IV.1 (88.5% apontaram a alternativa B) e IV.2 (85.2%
assinalaram a alternativa C), indicando que, em geral, esses examinandos
talvez identifiquem claramente as relações entre partes do texto feitas
através de mecanismos de coesão gramatical por substituição de
substantivos por pronomes. Já no que se refere à substituição de um
substantivo por outro (IV.3) ou nos casos de referência anafórica (IV.4) a
situação parece ser diferente , sendo aparentemente consistente com os
resultados obtidos por Maciel (1980, p. 55-56), que argumenta que a função
e o uso dos termos referenciais seriam desconhecidos pelo leitor.
Na questão IV.3, 30 examinandos (49.2%) conseguiram identificar
que such thing referia-se a ‘flogiston’ (alternativa B). No entanto, outros 24
IV. Selecione a alternativa que melhor expressa o elemento a que cada expressão abaixo
se refere:(Peso 0.6x4).
1. They (linha 6):
a. ( ) às pessoas de um modo geral
b. ( ) aos povos da antigüidade
c. ( ) aos cientistas
2. Either (linha 45):
a. ( ) Copernicus, Aristotle, Newton
b. (....) Sistema solar e universo
c. ( ) Copernicus e Aristotle
3. Such thing (linha 50):
a. ( ) A um fluido gasoso
b. ( ) Ao flogiston
c. ( ) Aos metais
4. The suspect (linha 78):
a. ( ) À ciência
b. ( ) A priestley
c. ( ) A uma área científica
121
(39.3%) julgaram que a referência seria ‘a um fluido gasoso’, não souberam
distinguir, portanto, entre o termo referido pelo determinador such
(phlogiston) e a explicação desse termo (a gaseous fluid...).
Na questão IV.4, 32 examinandos (52.5%) assinalaram a alternativa
correta (A), enquanto 24 apontaram a alternativa C. Isso leva a crer que os
dois erros de digitação que podem ser vistos na questão IV.4 (Figura 8),
onde a palavra subject foi grafada suspect no cabeçalho da questão e
Priestley foi grafado com inicial minúscula, não parecem ter afetado
significativamente o desempenho dos examinandos nessa questão, já que
apenas 5 examinandos (8.2%) apontaram a alternativa B (que permitiria
ligar o substantivo suspect ao nome próprio Priestley).
Para concluir a discussão sobre a seção IV do teste, posso adiantar
que numa escala de dificuldades para os examinandos, baseada no índice
de acertos dos examinandos nas questões, essa seção viria em terceiro
lugar. Nessa escala, a seção III ocuparia a primeira posição, seguida pela
seção V, que passo a discutir agora.
6.3.5 Seção V do teste
As questões V.1, V.2, V.3 e V.4, solicitavam ao examinando a
seleção da alternativa que melhor traduzisse, em português, certos trechos
do texto (transcritos como cabeçalho de cada questão). As questões V.1 e
V.2 apresentavam três opções, enquanto que V.3 e V.4 contavam com
122
quatro alternativas cada. Em se tratando de questões envolvendo tradução,
dois grupos de micro-habilidades parecem ter uma atuação mais destacada.
O primeiro grupo de micro-habilidades se relaciona à competência lexical,
com a dedução de significado e uso de itens lexicais desconhecidos (seção
3.5.2, Capítulo 3). O segundo grupo, de habilidades operantes no nível de
coesão do discurso, com a compreensão das relações intra e inter-
sentenciais (seção 3.5.5, Capítulo 3). Embora esses pareçam ser os grupos
de micro-habilidades que mais se destacam nessa questão, as estratégias a
serem empregadas pelos examinandos para a resolução das questões
possivelmente tenham tornado necessário o acesso a outras micro-
habilidades, tais como a compreensão de significado conceitual (seção
3.5.3), especialmente de comparação e grau (de grande importância para as
questões V.1, 2 e 3).
Apesar do envolvimento de um amplo rol de micro-habilidades de
leitura, o componente sintático parece ter um peso elevado na solução das
questões da seção V, já que, entre as alternativas propostas para cada
questão, o conhecimento lexical não parece ser suficiente para se fazer a
opção apontada como correta. Assim, o baixo índice de acertos dos
examinandos nas questões da seção V pode ser um indício de que esses
examinandos, apesar de serem leitores funcionais, não têm uma
competência mais apurada no que se refere à sintaxe (seção 3.5.5, Capítulo
3), processando a leitura em níveis mais ‘baixos’ do sistema da língua. Isso
pode ser explicado pela tendência, muito comum a leitores em L2, de
conferir uma importância muito grande ao conhecimento lexical no processo
123
de leitura (cf., por exemplo, Scaramucci, 1996; Santos & Hönig, 1996),
relacionando o léxico peculiar às suas respectivas disciplinas ao
conhecimento esquemático das suas áreas de atuação (seção 2.3.1,
Capítulo 2).
Uma evidência dessa tendência pode ser ilustrada pelo fato de
apenas 23 examinandos (37.7%) apontarem a alternativa correta (B) para a
questão V.1. Nessa questão (ver Figura 9), o predicado do verbo say não
está na ordem canônica (say something of someone) na sentença base para
tradução, o que pode ter representado uma dificuldade adicional aos
examinandos, mesmo considerando que as alternativas A e B
aparentemente poderiam resolver essa inversão. O problema ocorrido aí
com 31 dos 61 examinandos (50.8%) é que eles parecem ter usado o
conhecimento lexical (seção 3.5.2, Capítulo 3) como base para resolver a
questão, indicando a alternativa C, que oferecia a possibilidade de uma
tradução literal (No one would say of a work...→ Ninguém diria de um
trabalho...) que funciona adequadamente até o ponto de inserção da palavra
just, que foi traduzida como ‘justamente’, ao invés de ‘somente’.
124
Figura 9. Questões V.1 e V.2 do Teste de Suficiência
Embora 42 examinandos (68.9%) tenham indicado a resposta correta
(A) para a questão V.2 (ver Figura 9), possivelmente, pelo reconhecimento
de que o pronome indefinido no anteposto a scale, equivale a not any, 17
examinandos (27.9%) não apresentaram esse nível de compreensão das
relações intra-sentenciais (seção 3.5.5, Capítulo 3), tendo indicado a
alternativa C como correta. Esses 17 examinandos parecem ter
compreendido que havia uma situação de negação na sentença base para a
tradução, mas podem ter entendido a negação como relacionada apenas ao
verbo there to be e não ao substantivo scale. Isso talvez se deva ao fato de
que, contrariamente ao que acontece em inglês, a língua portuguesa usa a
V. Assinale a sentença que melhor traduz cada um dos trechos abaixo: (Peso 0.6x4)
1. “No one would say of a work of music or literature that it was better than an earlier work
just because it was later” (linhas 17-19).
a. ( ) Nenhuma pessoa diria que um trabalho de música ou literatura é melhor do que um
trabalho anterior porque foi realizado em outra época.
b. ( ) Ninguém diria que um trabalho de música ou literatura é melhor do que outro apenas
por ter sido realizado em época mais recente.
c. ( ) Ninguém diria de um trabalho de música ou literatura que ele era melhor do que um
trabalho anterior justamente por ser mais atual.
2. “There just is no scale on which one could judge such things, once certain level of
expressive adequacy has been reached.” (linhas 32-34)
a. ( ) Não há nenhuma escala a partir da qual se possa julgar tais coisas, uma vez que um
certo nível de adequação tenha sido atingido.
b. ( ) Existe uma escala justa pela qual se pode julgar coisas quando um nível de adequação
é alcançado.
c. ( ) Não há somente uma escala a partir da qual se possa julgar tais coisas uma vez que se
tenha alcançado um nível de adequação.
125
negativa dupla ‘Não há nenhuma escala’ (como na alternativa A) . Além
disso, just pode ser comumente traduzido como somente, embora não
nessa sentença.
Já na questão V.3, (ver Figura 10) três das quatro alternativas
disponíveis (A, B e C) poderiam ser facilmente descartadas caso o
examinando reconhecesse que a palavra objective (linha 64) não tem, no
texto, a função de substantivo e sim de adjetivo. Além disso, a alternativa C
poderia ainda ser descartada em função da palavra because (linha 65), que
está traduzida inadequadamente como ‘portanto’. Assim, novamente, a
compreensão das relações inter-sentenciais e estruturais (seção 3.5.5,
Capítulo 3) é a habilidade que parece ter sido de fundamental importância
para a solução da questão V.3, em que o nível de acertos foi de 52.5%.
Assim, pode-se falar numa tendência consistente de atribuição de relevância
ao componente sintático na resposta às questões da seção V, que pode
representar uma dificuldade adicional para os examinandos, considerando-
se que, segundo Maciel (1980, p. 65), “os sujeitos têm dificuldades de usar
as informações sintáticas que o texto oferece”.
126
Figura 10. Questões V.3 e V.4 do Teste de Suficiência
Como se pode ver na Figura 10, na questão V.4, as quatro
V. Assinale a sentença que melhor traduz cada um dos trechos abaixo: (Peso 0.6x4)
3. “We can speak of an objective advance or progress in the one case but not in the other
because we can speak unambiguously of knowledje having grown in the sciences, so that
those working later in a given field of science, by that very fact alone, may be said to
know more than their predecessors.” (Linhas 64-69)
a. ( ) Podemos falar de um avanço nos objetivos ou progresso em um caso mas não no
outro porque podemos falar da ambigüidade do conhecimento evoluindo nas ciências ,
de maneira que aqueles trabalhando mais tarde em um dado campo da ciência, por
aquele fato somente, pode-se dizer que sabem mais do que seus precedentes.
b. ( ) Podemos falar de um avanço ou progresso nos objetivos em um caso mas
não no outro porque podemos falar indiscutivelmente do avanço do conhecimento nas
ciências, de maneira que aqueles trabalhando mais tarde em um dado campo da ciência,
por aquele fato somente, podem saber mais que seus precedentes.
c. ( ) Podemos falar de um avanço nos objetivos ou progresso de um caso mas não no
outro portanto podemos falar indiscutivelmente do avanço do conhecimento das
ciências, de forma a que aquele trabalho realizado mais tarde, possa levar a conhecer
um dado campo a ciência mais do que os precedentes.
d. ( ) Podemos falar de um avanço ou progresso objetivo em um caso mas não no outro
porque indiscutivelmente podemos dizer que o conhecimento evoluiu nas ciências, de
modo que aqueles que vêm a trabalhar depois em uma determinada área da ciência,
apenas por esse fato, podem ser considerados como sabendo mais do que seus
antecessores.
4.”The theories of Aristotle and Capernicus are, from the scientific point of view, dead;
we have progressed beyond them and there is no need to revive them except as
historical curiosities we may briefly contrast with present knowledge.” (linhas 85-89).
a. ( ) As teorias de Aristóteles e Copérnico estão, do ponto de vista dos cientistas,
mortas; conseguimos avançar até elas e não necessitamos revê-las, exceto nas
curiosidades históricas, as quais podem ser contrastadas com o presente.
b. ( ) As teorias de Aristóteles e Copérnico estão do ponto de vista científico, mortas,
conseguimos ultrapassá-las e não necessitamos agora voltar até as curiosidades históricas,
com excessão do que se refere ao conhecimento do presente.
c. ( ) As teorias de Aristóteles e Copérnico estão, do ponto de vista científico, mortas, já
progredimos além delas e do que se necessita para revivê-las, exceto no que diz respeito
às curiosidades históricas que brevemente contrastam com nosso conhecimento atual.
d. ( ) As teorias de Aristóteles e Copérnico estão, do ponto de vista científico, mortas;
nós progredimos além delas e não há necessidade de revivê-las, a não ser como
curiosidades históricas que se contrastam timidamente com o conhecimento atual.
127
alternativas oferecidas têm períodos compostos, com a mesma tradução
para a primeira oração, ficando as diferenças cirscunscritas à parte final de
cada período no restante de cada uma das sentenças. Quarenta e seis
examinandos (75.4%) optaram corretamente pela alternativa D,
possivelmente em função do reconhecimento do significado conceitual de
except as como ‘a não ser como’ (seção 3.5.3, Capítulo 3) e da
interpretação do advérbio briefly como ‘timidamente’, ambas naquela
alternativa. A razão principal para a opção (incorreta) pela alternativa C pode
ter sido a tradução do advérbio briefly como ‘brevemente’ que, no entanto,
não é adequada nessa situação.
6.4 Considerações finais sobre a análise do teste
Para finalizar, é interessante observar que as questões das seções III
e V estão, de certa forma, inter-relacionadas, de forma que a informação
solicitada na questão III.3 poderia ser recuperada quase em sua totalidade,
através das tarefas de tradução nas questões da seção V. Assim, não é de
se estranhar que haja uma relação bastante próxima entre o nível de
acertos dos examinandos na questão III.3 e a seção V.
É curioso, no entanto, que, no trecho cuja leitura era a base para a
solução da questão II.2, a sentença que melhor sintetizava a informação
solicitada na questão (“No one would say of a work of music or literature that
it was better than an earlier work just because it was later”) foi também
utilizada na questão V.1 e ali, no entanto, o nível de acertos dos
examinandos foi de apenas 37.7%, contra os 98.4% da questão II.2. Além
128
da possibilidade de que a questão II.2 tenha sido respondida com base em
uma estratégia de testagem, isso talvez seja um indício de que os
examinandos foram capazes de captar a idéia central ou pontos mais
importantes desse trecho do texto, mas tiveram maior dificuldade quando
precisaram depreender a informação num nível maior de detalhamento, em
que seria necessário acessar outras micro-habilidades de leitura
envolvendo, por exemplo, o componente sintático.
Isso reforça o argumento de que, para alguns examinandos a leitura
em ESP talvez seja um “jogo psicolingüístico de adivinhações” em que o
leitor tenta reconstruir o significado do texto a partir dos mínimos indicadores
possíveis para se chegar a uma adivinhação correta. Nesse caso, o
conhecimento esquemático desses examinandos (nos termos tratados na
seção 2.3.1 do Capítulo 2) ajudaria a compensar suas deficiências
relacionadas ao conhecimento sistêmico. Isso ajuda a explicar o fato desses
examinandos serem leitores funcionais, isto é, serem capazes de ler os
textos necessários aos seus estudos, mas, ainda assim, reprovarem no
teste. Pode-se também aludir às observações feitas por Maciel (1980, p. 67-
68), de que a falta de conhecimento da estrutura sintática da língua e de um
nível básico de vocabulário geral não permite que os leitores alcancem o
nível retórico construído sobre a sintaxe.
Um problema que pode ser ocorrido, especialmente nas questões da
seção V é que em função da grande quantidade de informação a ser
processada pelo leitor, quer pela tarefa ou até pela leitura, pode-se
especular também que talvez tenha ocorrido aí um estrangulamento da
129
capacidade de armazenagem de informação na memória do leitor, nos
termos indicados por Tomitch (1995).
Apesar dos problemas apontados acima, se tais examinandos têm,
de fato, habilidade de leitura em ESP suficiente para concluir seus cursos e
isso estaria refletido no auto-conceito que têm sobre habilidade de leitura,
mas não no conceito que efetivamente obtém no teste, não seria o caso de
se questionar a própria função do teste, de avaliar o nível de habilidade de
leitura em ESP necessário para um aluno realizar um curso de pós-
graduação?
Creio, conforme já mencionado, que a resposta para tal questão
passa necessariamente por considerar o ponto de vista do examinando em
relação à leitura e testagem em ESP. Esse aliás é o ponto que considero
fundamental em minha pesquisa, principalmente porque a análise que fiz
sobre o teste neste capítulo é importante, na medida em que procura
esclarecer quais aspectos da habilidade de leitura parecem ser avaliados no
teste e quais itens podem representar algum tipo de controvérsia, mas não é
suficiente para dar conta da dimensão social da testagem de proficiência.
Assim, enquanto no Capítulo 5 discuti dados referentes aos examinandos e
neste capítulo procurei situar o teste em termos do que ele parece avaliar,
no Capítulo 7 pretendo mostrar que o auto-conceito que os examinandos
têm sobre sua habilidade de leitura em ESP pode ser uma fonte rica de
informações sobre o processo de testagem, particularmente se essas
informações forem correlacionadas com aquelas obtidas através da análise
do teste.
7 AUTO-AVALIAÇÃO E DESEMPENHO EFETIVO DOS EXAMINANDOS
7.0 Considerações iniciais
Conforme mencionei anteriormente, a testagem de proficiência em
leitura em ESP, numa perspectiva ética-naturalística pressupõe o
conhecimento do que testar, como testar e por que testar. Isso demanda
aprofundar o entendimento sobre as necessidades, potencialidades e
limitações do público que se submete aos testes. Consoante com essa
idéia, no Capítulo 5, tratei de algumas informações sobre os examinandos.
Essas informações ajudam a entender quem são os examinandos e
permitem compreender alguns fatores que podem contribuir para a
formação do conceito que eles têm sobre sua habilidade de leitura. Naquele
capítulo procurei enfatizar que, dentre as informações apuradas através do
questionário, o dado que mais interessava ao presente estudo era o auto-
conceito dos examinandos sobre sua habilidade de leitura, já que, através
dele, pode-se acrescentar a visão do examinando na discussão sobre o
teste, estabelecendo-se um parâmetro adicional para a avaliação do
processo de testagem.
Assim, no presente capítulo, procuro discutir não somente as auto-
avaliações dos examinandos sobre sua habilidade de leitura, mas também
os pontos de convergência ou divergência entre as auto-avaliações e o
desempenho efetivo no teste, numa tentativa de aprofundar a discussão
131
sobre a função e o impacto dos testes de proficiência no contexto dos
cursos de pós-graduação da UFSM. Para tanto, a discussão está aqui
organizada em três seções. Na primeira (7.1), trato das auto-avaliações dos
examinandos, em termos gerais. Na segunda seção (7.2), discuto a
correlação entre as auto-avaliações e o desempenho efetivo dos
examinandos. A terceira seção (7.3) trata dos dificuldades apresentadas
pelos examinandos no teste.
7.1 Auto avaliações dos examinandos
Quando se perguntou aos 61 examinandos sobre como eles
conceituariam sua habilidade de leitura em inglês, 48 (78.7%), definiram sua
habilidade de leitura como boa ou razoável, 7 deles (11.5%) julgaram ter um
excelente nível de habilidade de leitura, 3 (4.9%) estimaram que sua
habilidade de leitura em ESP poderia ser conceituada como não satisfatória
e, finalmente, os 3 restantes (4.9%) não souberam ou preferiram não
informar a respeito. Há, no entanto, dados relativos ao desempenho dos
examinandos no teste que, de certa forma, contrariam as auto-avaliações.
Os dados sobre o desempenho global dos 61 sujeitos que constituem
o corpus da presente pesquisa indicam que, se consideradas as notas
atribuídas, 3 examinandos (4.9%) estariam na faixa considerada excelente e
30 candidatos (49.1%) poderiam ter um desempenho considerado bom ou
razoável. No entanto, 28 deles (45.9%) teriam, de acordo com os
parâmetros da instituição, um desempenho insuficiente, ou seja, sua nota
seria inferior a 7,0. A Tabela 4 correlaciona o auto-conceito e o desempenho
132
global dos candidatos.
Tabela 4 - Correlação entre auto-conceito dos examinandos sobre sua habilidade de leitura e desempenho global dos candidatos no Teste de Suficiência em Leitura em Língua Inglesa da UFSM (08/04/96)
auto-conceito dos candidatos
desempenho global efetivo dos candidatos
(n) não satisfatório
(%)
3
4.9
28
45.9 (n)
bom/razoável (%)
48
78.7
30
49.1 (n)
excelente (%)
7
11.5
3
4.9 (n)
não informou (%)
3
4.9
—
Conforme se pode ver na Tabela 4, os conceitos auto-atribuídos
pelos examinandos parecem ser mais altos que aqueles efetivamente
obtidos por eles nos testes. Uma explicação possível para esse fato seria a
existência de uma tendência geral de um leitor se auto-atribuir um conceito
mais elevado do que sua habilidade efetiva de leitura. Se essa explicação
for verdadeira, então o auto-conceito que os candidatos têm sobre sua
habilidade de leitura em outras línguas tenderia a ser consistentemente
positiva. Não é isso, no entanto, que parece ocorrer no caso específico do
corpus analisado. Para tentar elucidar essa questão, a Tabela 5 mostra a
correlação entre o auto-conceito que os examinandos que prestaram o teste
em inglês têm sobre sua habilidade de leitura em quatro diferentes línguas:
133
inglês, espanhol, francês e alemão.
Tabela 5 - Comparação entre auto-conceito dos examinandos prestando o teste em inglês, sobre sua habilidade de leitura em inglês, espanhol, francês e alemão
inglês
no % espanhol
no % francês
no % alemão
no %
excelente 7 11.5 15 24.6 1 1.6 — —
bom/razoável 48 78.7 36 59 13 21.3 4 6.6
não satisfatório 3 4.9 3 4.9 41 67.2 50 82
não informou 3 4.9 7 11.5 6 9.8 7 11.5
total 61 100 61 100 61 100 61 100
Conforme mencionado anteriormente (seção 5.2.1, Capítulo 5), as
duas principais razões dos examinandos para optarem pelo teste em ESP
foram a prioridade da língua inglesa para seus estudos (59%) e a crença de
terem mais conhecimento nessa língua (45.8%). Assim, é de se esperar que
o auto-conceito sobre sua habilidade de leitura nessa língua seja melhor do
que nas demais. A Tabela 5 parece refletir esse entendimento, conforme
pode ser observado pelas avaliações de que teriam uma menor
‘produtividade’ de leitura em francês e alemão. Em relação ao conceito
‘positivo’ atribuído em espanhol (59% de bom/razoável e 24.6% de
excelente) talvez seja possível explicá-lo através do senso comum de que
entre o português e o espanhol há tantos pontos de semelhança, que seria
mais fácil ler naquela do que na demais línguas estrangeiras. O fato de essa
134
projeção corresponder ou não à verdade em termos absolutos não vem ao
caso aqui.
O ponto que merece atenção é que os dados expostos na Tabela 5
sobre o auto-conceito que os examinandos têm sobre sua habilidade de
leitura devem ser examinados, considerando-se a forma como os
examinandos manifestam concretamente sua habilidade de leitura, ou seja,
como respondem às tarefas propostas pelo teste e de que forma essas
respostas podem atestar uma falta de habilidade de leitura.
Antes de fazer isso, porém, pretendo mostrar ainda que, quando se
confronta auto-conceito e desempenho efetivo dos examinandos no teste,
há uma coincidência perfeita em alguns casos (por exemplo, examinandos
que avaliam sua habilidade como ‘não satisfatória’ obtiveram conceito
insuficiente, ou ainda, mais da metade dos examinandos que se avaliaram
na faixa ‘bom/razoável’ obtiveram esse conceito). Há ainda outras áreas em
que há uma relação de proximidade (por exemplo, os 5 examinandos que se
auto-avaliaram na faixa considerada ‘excelente’ e que obtiveram conceito
qualificado como ‘bom/razoável’). O que preocupa, no entanto, são aquelas
áreas onde examinandos avaliaram sua habilidade de leitura como
‘excelente’ ou ‘boa/razoável’ e, no entanto, não foram aprovados no teste
(ver Tabela 6).
Tabela 6 - Desempenho dos examinandos no teste por auto-conceito conceito obtido pelos examinandos no teste de
suficiência auto-conceito
dos examinandos (A) excelente no %
(B/C) bom/razoável no %
(D) insuficiente no %
total no %
135
excelente 1 14.3 5 70.4 1 14.3 7 100
bom/razoável 2 4.2 25 52.1 21 43.7 48 100
não satisfatório — — — — 3 100 3 100
não informou — — — — 3 100 3 100
Assim, dos 7 examinandos que afirmaram ter uma ‘excelente’
habilidade de leitura em ESP, somente um teve um conceito correspondente
(A). Cinco deles obtiveram conceitos considerados bons (B e C). Um,
entretanto, teve um conceito não satisfatório (D, nota 6.4). Em relação aos
48 examinandos que representaram sua habilidade de leitura como sendo
boa ou razoável, 2 superaram essa expectativa e atingiram um conceito
‘excelente’ (A). Outros 25 tiveram conceitos que corresponderam às suas
representações (B e C). No entanto, 21 examinandos tiveram um
desempenho considerado insuficiente.
Assim, o fato preocupante é que 39 dos 61 examinandos (63.9%),
tiveram, no teste, um desempenho muito próximo ou até mesmo idêntico ao
seu auto-conceito, enquanto que para 22 deles (36.1%) não há essa relação
de proximidade entre auto-avaliações e conceito efetivamente obtido. Em
outras palavras, a auto-avaliação de uma grande parcela dos examinandos
é consistente com a medida de habilidade fornecida pelo teste, enquanto
que isso não acontece para o restante dos examinandos.
Dessa forma, para os 22 examinandos cujo desempenho efetivo está
numa faixa inferior ao auto-conceito que eles têm sobre sua habilidade de
136
leitura, pode-se falar ainda na possibilidade de eles não reconhecerem no
teste uma medida representativa da sua habilidade de leitura, gerando
problemas no que se refere à validade aparente do teste. Conforme
mencionado anteriormente (Capítulo 3, seção 3.4.4), a motivação, as
atitudes e até mesmo o desempenho dos examinandos no teste, podem ser
afetados por problemas dessa natureza.
Tendo essa questão em mente, passo agora ao ponto que considero
o de maior importância na análise que estou fazendo sobre o processo de
testagem de proficiência desenvolvido na UFSM: a discussão sobre o
desempenho dos examinandos nas questões do teste, tomando-se base o
auto-conceito dos examinandos sobre sua habilidade de leitura em ESP.
7.2 Desempenho dos examinandos em relação ao seu auto-conceito
Embora tradicionalmente a avaliação da qualidade de um teste seja
pautada quase que exclusivamente na análise do teste em si, tento mostrar
aqui que, dadas as características e funções dos testes de proficiência em
ESP, há outras dimensões tão ou mais importantes a serem consideradas
no desenvolvimento de testes que sejam, ao mesmo tempo, válidos,
fidedignos e, em função disso, justos. Foi com essa preocupação que
busquei informações sobre os examinandos e sobre seu desempenho no
teste. Assim, o ponto de que tratarei agora inter-relaciona praticamente
todos os dados que levantei ao longo da presente pesquisa. É necessário
ter em mente, portanto, que, quando tratei sobre o teste no Capítulo 5
137
indiquei quais de suas seções poderiam ser consideradas mais ‘difíceis’
para os examinandos e, nesse sentido, potencialmente problemáticas (no
caso, seções III, V e IV). Além disso, nas seções anteriores deste sétimo
capítulo, tentei dar uma visão sobre os examinandos, enfatizando que a
auto-avaliação sobre sua habilidade de leitura em ESP precisa ter um papel
de relevância na discussão sobre o processo de testagem. É por essa razão
que passo agora a discutir o desempenho dos examinandos no teste sob a
perspectiva de seu auto-conceito.
Conforme mencionado anteriormente, dos 61 examinandos que
constituem o corpus dessa pesquisa, 7 (11.5%) afirmaram ter um ‘excelente’
nível de habilidade de leitura em ESP, 48 (78.7%) conceituaram sua
habilidade num nível ‘bom/razoável’, 3 (4.9%) qualificaram seu nível como
‘não satisfatório’ e 3 (4.9%) omitiram opinião a esse respeito. Para a maior
parte desses examinandos, esse auto-conceito é semelhante ou até mesmo
idêntico ao conceito efetivamente obtido por eles no teste, conforme discuto
a seguir.
7.2.1 Desempenho dos examinandos com auto-conceito ‘excelente’
Dos 7 examinandos que conceituaram sua habilidade de leitura como
sendo ‘excelente’, apenas 1 obteve, no teste, um conceito idêntico. Cinco
deles (71.4%) foram avaliados na faixa de ‘bom/razoável’, ficando, portanto,
numa faixa de desempenho efetivo próxima de seu auto-conceito. Um, no
entanto, não foi aprovado. Percebe-se, portanto, que, para a maioria dos
examinandos nessa faixa de auto-conceito, o conceito obtido no teste não
138
destoa significativamente das auto-avaliações que esses examinandos têm
sobre sua habilidade em leitura em ESP.
A análise do índice de acertos dos examinandos nas questões do
teste feita a partir do auto-conceito e do conceito efetivo no teste mostra
algumas diferenças no que concerne ao desempenho desses 7
examinandos nas seções e questões do teste (Tabela 7).
Como se pode ver, independentemente do conceito efetivo obtido, o
índice de acertos dos examinandos com auto-conceito ‘excelente’ atinge
100% em cinco das questões dos teste: I, II.1, II.2, IV.1 e IV.2, e tem níveis
bastante elevados em outras três: III.2, IV.3 e IV.4. Assim, em três das cinco
seções que compõem o teste (I, II e IV), esse grupo de 7 examinandos teve
seu melhor desempenho, permitindo inferir que eles têm as principais micro-
habilidades de leitura avaliadas nessas seções (compreensão da idéia
global do texto, sumarização dos pontos ou tópicos principais e localização
de formas referenciais, respectivamente).
Tabela 7 - Índice de acertos nas questões do teste, dos examinandos com auto-conceito ‘EXCELENTE’.
QUESTÕES
desempenho geral dos 7
examinandos
conceito A
(excelente) (n=1)
conceitos B/C (bom/razoável)
(n=5)
conceito D
(insuficiente) (n=1)
% n % n % n % n
I 100 7 100 1 100 5 100 1
II.1 100 7 100 1 100 5 100 1
139
II.2 100 7 100 1 100 5 100 1
III.1 0 0 0 0 0 0 0 0
III.2 85.7 6 100 1 80 4 100 1
III.3 28.6 2 100 1 20 1 0 0
III.4 85.7 6 100 1 100 5 0 0
IV.1 100 7 100 1 100 5 100 1
IV.2 100 7 100 1 100 5 100 1
IV.3 85.7 6 100 1 80 4 100 1
IV.4 85.7 6 100 1 80 4 100 1
V.1 57.1 4 100 1 60 3 0 0
V.2 71.4 5 100 1 60 3 100 1
V.3 85.7 6 100 1 100 5 0 0
V.4 85.7 6 100 1 100 5 0 0
O problema desses examinandos parece estar localizado, no entanto,
nas micro-habilidades avaliadas nas seções III e V (dedução de significado
e uso de itens lexicais desconhecidos, e na seção V, (compreensão das
relações intra e inter-sentenciais). A extensão do problema parece ser
diferenciada de acordo com o conceito obtido no teste. Por exemplo, o
examinando cujo auto-conceito coincidiu com o conceito obtido no teste, só
teve problema com a questão III.1, não sendo capaz de identificar com
precisão o trecho onde a informação solicitada poderia ser encontrada.
Em relação ao grupo que qualificou seu nível de habilidade de leitura
como sendo ‘excelente’, mas obteve conceitos B e C no teste
(bom/razoável), há duas questões cujo nível de acertos foi muito baixo (III.1
140
e III.3) e duas em que o nível de acertos foi de 60% (V.1 e V.2). Logo, há
uma concentração dos problemas desse grupo nas micro-habilidades
avaliadas nas seções III e V.
Já em relação ao examinando com auto-conceito ‘excelente’ e
conceito ‘insuficiente’ no teste, os erros ocorreram nas questões III.1, III.3,
III.4, V.1, V.3 e V.4.
Esses dados permitem concluir que a falta de habilidade para
localizar informação específica no texto pode ter sido determinante para as
dificuldades da maioria desses examinandos na resposta às questões da
seção III do teste. O problema que pode ter ocorrido aí talvez tenha se
derivado da dificuldade dos examinandos para acessar outras micro-
habilidades que dão suporte à localização de informações específicas, tais
como, distinção entre a idéia principal e os detalhes secundários, nas
questões III.1 e III.3, e compreensão do significado conceitual subjacente à
posição do autor em relação à validade de pesquisar as obras de literatos
antigos, na questão III.4.
No caso específico do examinando que obteve um conceito
considerado ‘insuficiente’, as questões da seção V foram um fator agravante
desse desempenho abaixo da expectativa. Nessa seção, o problema não
somente desse, mas também de outros examinandos, pode ter sido a falta
de competência sintática necessária para compreender o texto num nível
maior de detalhamento. Isso, por sua vez, pode truncar a interação com o
texto enquanto discurso, consoantemente com Maciel (1980, p. 65), que vê
141
na falta das competências lexical e sintática um empecilho à compreensão
no nível do discurso.
7.2.2 Desempenho dos examinandos com auto-conceito ‘bom/razoável’
Os 48 examinandos que conceituaram seu nível de habilidade de
leitura em ESP como ’bom/razoável’ perfazem 78.7% do total de
examinandos. Esse grupo também concentra o maior número de
examinandos cujo desempenho não correspondeu plenamente ao seu auto-
conceito sobre habilidade de leitura. Ainda assim, 2 examinandos desse
grupo (4.2%) tiveram um desempenho acima do conceito que haviam
atribuído à sua habilidade de leitura em ESP, sendo que um já havia
reprovado numa edição anterior do teste.
Outros 25 examinandos (52.1%) dentro desse grupo obtiveram
conceitos B e C no teste, o que corresponde plenamente à auto-avaliação
que tinham sobre sua habilidade de leitura em ESP. Desses, 13 estavam
prestando o teste pela primeira vez e 12 já haviam prestado o teste
anteriormente.
Há, no entanto, dentro dessa faixa de auto-conceito ‘bom/razoável’,
21 examinandos (43.8%) que apresentaram um desempenho inferior ao
nível de habilidade de leitura em ESP considerado satisfatório. Desses
examinandos, 11 estavam se submetendo pela primeira vez ao teste e 10 já
haviam prestado o teste em edições anteriores.
Tabela 8 - Índice de acertos dos examinandos com auto-conceito ‘BOM/RAZOÁVEL’.
142
QUESTÕES
desempenho geral dos 48
examinandos
conceito A
(excelente) (n=2)
conceitos B/C (bom/razoável)
(n=25)
conceito D
(insuficiente) (n=21)
% n % n % n % n
I 91.6 44 100 2 100 25 81 17
II.1 100 48 100 2 100 25 100 21
II.2 97.9 47 100 2 100 25 95.2 20
III.1 45.6 22 100 2 60 15 23.8 5
III.2 87.5 42 100 2 92 23 81 17
III.3 14.7 7 0 0 24 6 4.8 1
III.4 47.9 23 100 2 60 15 28.6 6
IV.1 87.5 42 100 2 92 23 81 17
IV.2 85.4 41 100 2 92 23 76.2 16
IV.3 47.9 23 100 2 68 17 19 4
IV.4 54.2 26 100 2 72 18 28.6 6
V.1 33.3 16 100 2 32 8 28.6 6
V.2 33.3 34 100 2 68 17 71.4 15
V.3 52.1 25 100 2 60 15 38.1 8
V.4 75 36 100 2 84 21 61.9 13
À primeira vista, essa inconsistência entre auto-avaliação e conceito
obtido parece alta e mereceria um exame mais atento, conforme se
argumentará adiante.
Conforme pode ser visto na Tabela 8, o desempenho dos
examinandos que conceituaram sua habilidade de leitura como
‘boa/razoável’ apresenta algumas diferenças em relação ao grupo com auto-
conceito ‘excelente’.
O grupo de examinandos que conceituou seu nível de habilidade de
143
leitura em ESP como ‘bom/razoável’ parece ter três fontes de dificuldade na
realização do teste: as seções III e V (que também foram problemáticas
para os examinandos do grupo anteriormente analisado), e duas questões
da seção IV nas quais o desempenho dos examinandos foi menor do que
nas demais daquela seção. Para sintetizar, no caso dos examinandos do
grupo auto-conceituado como ‘bom/razoável’ pode-se falar de três situações
distintas em relação ao padrão de respostas.
Na primeira situação, estariam os dois sujeitos que superaram as
expectativas manifestas em seu auto-conceito (‘bom/razoável’), obtendo o
conceito A no teste (classificado como ‘excelente’). Nesse caso, o problema
está especificamente concentrado numa única questão — III.3 — de
localização de informação específica no texto, que, a seu turno, talvez
demandasse o acesso à micro-habilidade necessária para distinguir entre a
idéia principal e os detalhes secundários (seção 3.5.7, Capítulo 3).
Na segunda situação, aparecem os 25 examinandos cujo auto-
conceito e conceito efetivo coincidem na faixa ‘bom/razoável’. Considerando
uma índice de acertos de algo em torno de 70% como razoável, pode-se
falar numa concentração das dificuldades desse grupo em quatro questões:
III.1, III.3, V.1 e V.3, similarmente ao ocorrido com o grupo de examinandos
com desempenho efetivo na mesma faixa, mas com auto-conceito
‘excelente’. A diferença parece se dever à variabilidade na correção das
respostas dadas à questão III.3, onde 13 examinandos deram respostas que
poderiam ter sido consideradas corretas, mas não o foram.
144
As respostas dadas por esses examinandos estariam dentro das
possibilidades de interpretação da instrução dada pela questão (conforme
discutido na seção 6.3.3, do Capítulo 6), tendo sido consideradas corretas
para alguns examinandos e não para outros (por exemplo, o trecho das
linhas 16-19). Isto pode ter acontecido devido aos testes serem corrigidos
por mais do que uma pessoa. Assim, enquanto um examinador pode ter
considerado um determinado trecho apontado num dos testes como válido,
outros examinadores podem ter tido uma diferente interpretação, não
considerando-o.
Embora a desconsideração dessas respostas ‘corretas’ não altere
radicalmente o resultado global do teste (ou seja, um aluno reprovado, não
deixaria de sê-lo, só em função disso), essa situação serve de alerta para os
riscos da variabilidade no julgamento de respostas dos examinandos,
reforçando a idéia de que o formato de múltipla escolha pode evitar tal tipo
de acontecimento.
Finalmente, a terceira situação aqui apontada compreende os 21
examinandos que tiveram um desempenho efetivo inferior ao ‘bom/razoável’
que esperavam obter. Nesse caso, os problemas são mais claramente
apontáveis nas questões III.1, III.3, III.4, IV.3, IV.4, V.1 e V.3. Novamente
aqui parece ocorrer um problema relacionado à variabilidade de julgamento
de respostas de examinandos à questão III.3., conforme referido no
parágrafo anterior
Também interessa observar que, nesse grupo, apenas 1 dos 21
145
examinandos conseguiu acertar todas as questões da seção IV, indicando
que a compreensão das relações entre as partes do texto através de
dispositivos de coesão (seção 3.5.5, Capítulo 3), parece oferecer algum
nível de dificuldade para esses examinandos. O mesmo parece ocorrer em
relação à compreensão das relações intra e inter-sentenciais, foco de
avaliação na seção V, onde somente dois examinandos conseguiram
acertar as quatro questões que a compunham.
Para sintetizar o desempenho dos examinandos com auto-conceito
‘bom/razoável’ no teste, pode-se produzir uma escala de progressão de
dificuldade, em que a seção III seria o ponto de maior dificuldade para todos
os examinandos. Nessa escala, o segundo foco de problemas seria a seção
V que, no entanto, afetaria apenas aqueles examinandos com um
desempenho intermediário ou, em outras palavras, ‘bom’. Já para aqueles
examinandos com um desempenho abaixo do nível considerado ‘suficiente’,
parece haver uma terceira fonte de problemas alojada nas questões da
seção IV, conforme se verá a seguir.
7.2.3 Desempenho dos examinandos com auto-conceito ‘não satisfatório’ e ‘não informado’
A análise do desempenho desses dois últimos grupos foi agrupada
aqui com base na semelhança entre eles, já que se pode especular que
aqueles examinandos que preferiram não conceituar seu nível de habilidade
em leitura em ESP talvez o tenham feito para evitar a emissão de um
conceito ‘negativo’. O fato é que o desempenho efetivo de ambos os grupos
146
foi situado numa faixa considerada ‘insuficiente’ para os padrões da
instituição. Assim, embora haja algumas diferenças no que concerne aos
problemas enfrentados por um e por outro grupo, de uma forma geral, há
uma série de questões que se mostraram problemáticas para ambos, como,
por exemplo, as questões III.1, III.3, IV.3, IV.4 e toda a seção V (ver Tabela
9).
O grupo que auto-conceituou sua habilidade de leitura em ESP como
‘não satisfatória’, tem alguns problemas adicionais, como, por exemplo, as
questões I, II.1, IV.1 e IV.2. As questões II.2 e III.2 foram as únicas onde o
nível de acertos desse grupo foi elevado (ver Tabela 9).
Tabela 9 - Índice de acertos dos examinandos com auto-conceito ‘NÃO SATISFATÓRIO’ e ‘NÃO INFORMADO’.
auto-conceito ‘não satisfatório’
auto conceito ‘não informou’
QUESTÕES
desempenho geral dos 6 examinandos (não satisfatório +
não opinou)
conceito D
(insuficiente) (n=3)
conceito D
(insuficiente) (n=3)
% n % n % n
I 66.7 4 33.3 1 100 3
II.1 83.3 5 66.7 2 100 3
II.2 100 6 100 3 100 3
III.1 0 0 0 0 0 0
III.2 100 6 100 3 100 3
III.3 0 0 0 0 0 0
III.4 16.7 1 33.3 1 0 0
147
IV.1 83.3 5 66.7 2 100 3
IV.2 66.7 4 33.3 1 100 3
IV.3 16.7 1 0 0 33.3 1
IV.4 0 0 0 0 0 0
V.1 50 3 33.3 1 66.7 2
V.2 50 3 66.7 2 33.3 1
V.3 16.7 1 33.3 1 0 0
V.4 66.7 4 66.7 2 66.7 2
Ainda em relação ao grupo que se conceituou como ‘não satisfatório’,
ou seja, que aparentemente está consciente de suas limitações em leitura
em ESP, o baixo índice de acertos nas seções III e IV pode ser interpretado
como um indício de que esses examinandos não conseguem localizar
informação específica no texto, nem tampouco identificar com clareza as
relações entre partes das sentenças. Com isso, o nível mais elevado de
acertos desse grupo na seção V (em comparação com os acertos das
seções III e IV) pode ser devido até mesmo ao acerto casual propiciado pelo
formato de questões objetivas. Considero, no entanto, que nas demais
faixas (excelente e bom/razoável), os examinandos tenham confiado muito
mais nas habilidades que julgaram ter, do que na escolha aleatória.
No caso dos examinandos que preferiram omitir opinião sobre sua
habilidade de leitura, as seções I e II (respectivamente, identificação da
idéia/tópico central do texto e extração dos pontos salientes para
sumarização de uma idéia/tópico específico do texto) não parecem ter sido
148
problemáticas, já que todos acertaram as questões dessa seção. Para esse
grupo, houve ainda três questões com 100% de acertos de todos os
examinandos: III.2, IV.1 e IV.2. Assim, o problema desse grupo parece estar
confinado às seções III (com exceção da questão III.2), IV (com exceção
das questões IV.1 e IV.2) e V.
Ao longo da seção 7.2 do presente capítulo, procurei identificar os
pontos problemáticos nas respostas dos examinandos à partir do auto-
conceito que eles tinham sobre sua habilidade de leitura. Assim, indiquei
que a seção III do teste apresentou um nível de dificuldade maior do que as
demais. Também apontei que a seção V apresentou dificuldades para
examinandos em praticamente todas as faixas de auto-conceito, embora em
níveis diferenciados. A seção IV, por sua vez, trouxe dificuldades
praticamente apenas para os examinandos com desempenho efetivo
classificado como insuficiente. Por fim, as seções I e II, não representaram
dificuldades para os examinandos, à exceção daqueles que classificaram
sua habilidade de leitura como ‘não satisfatória’. Com isso, na próxima
seção, discutirei esses itens problemáticos apontados, encaminhando a
discussão para o último ponto a tratar no presente trabalho, ou seja, a
função e o impacto social da testagem de proficiência no contexto
acadêmico, especificamente no âmbito da UFSM.
7.3 Dificuldades dos examinandos nas questões do teste
Conforme procurei mostrar, as micro habilidades de leitura avaliadas
nas seções I (leitura geral para depreender a idéia global do texto, e
149
distinção entre a idéia principal e os detalhes secundários) e II (extração dos
pontos salientes para a sumarização de uma idéia/tópico específico no
texto) do teste, não parecem ter sido foco de problema para os
examinandos, de uma forma geral, à exceção daqueles que conceituaram
seu nível de habilidade de leitura em ESP como ‘não satisfatório’. Pode-se
concluir, portanto, que, em geral, os examinandos foram capazes de
entender o conteúdo do texto e, por extensão, poder-se-ia dizer também
que, alguma forma de interação, ainda que num plano mais geral, parece ter
sido estabelecida entre leitor e texto.
Uma outra possibilidade de interpretação para esse fato, no entanto,
é que, devido ao seu índice de acertos consistentemente elevado, essas
duas seções não possibilitam uma diferenciação muito clara entre
examinandos com maior ou menor habilidade de leitura em ESP. Em
relação à seção I, o trabalho de Santos & Hönig (1996) torna possível dizer
que os examinandos têm a micro-habilidade de compreender a idéia geral
do texto bem desenvolvida, já que os alunos entrevistados naquela pesquisa
definem leitura como: 1) a organização de idéias e conceitos; 2) a
compreensão dos pontos principais de um texto; e 3) o relacionamento do
conhecimento que têm com que o autor diz no texto.
Embora em princípio se pudesse dizer o mesmo em relação à seção
II, as alternativas oferecidas nas duas questões daquela seção podem ter
testado muito mais uma estratégia de testagem dos examinandos (descarte
de itens ‘absurdos’) do que a habilidade de leitura em ESP, propriamente
dita. Nesse sentido, é interessante observar que o uso de alternativas que
150
demandem mais elaboração na resposta dos examinandos pode melhorar a
capacidade de se fazer uma distinção mais clara entre a demonstração da
micro-habilidade de leitura avaliada e outros fatores envolvidos, tais como, o
acerto casual e a facilidade excessiva da questão (cf. Allan, 1992, p. 109-
110).
Já a seção III parece ter oferecido dificuldade para os examinandos
nas diferentes faixas de auto-conceito, atingindo tanto os que se consideram
mais proficientes, quanto aqueles que se consideram menos proficientes.
Nessa seção do teste, somente a questão III.2 teve um elevado
índice geral de acertos (entre 80 e 100%), talvez em função da proximidade
do nome Aristotle e a negação associada a elementos que poderiam ser
creditados a Aristóteles, em função dos conhecimentos lexical e
esquemático dos examinandos. Assim, esse alto índice de acertos poderia
ser explicado tanto pela demonstração da habilidade de identificar, no texto,
a citação de algumas teorias falhas de Aristóteles, quanto, pelo nível de
explicitude das intenções do autor no texto.
No caso da questão III.1, o índice de acertos só foi elevado para os
examinandos que se representaram como ‘bons’ leitores e que superaram
essa expectativa, obtendo um conceito classificado como ‘excelente’. Nem
mesmo os examinandos que se conceituaram como ‘excelentes’ leitores em
ESP tiveram acertos nessa questão. A dificuldade aí talvez esteja
relacionada com a falta de marcadores explícitos de exemplificação no
trecho em que os examinandos deveriam apontar uma exemplificação de
151
avanços científicos ocorridos nos quatro últimos séculos. Somado a isso,
havia dois conjuntos de exemplos bastante próximos, sendo que somente o
primeiro (linhas 2-5) poderia ser considerado correto. Apesar disso, 16
examinandos indicaram apenas esse segundo trecho (linhas 6-9) e 9
incluíram-no em suas respostas, ou seja, 41% dos examinandos não
souberam identificar que apenas o primeiro conjunto de exemplos era
adequado para a tarefa proposta. Isso quer dizer que eles não conseguem
distinguir claramente entre a idéia principal e os detalhes secundários.
O problema de delimitação de tarefa pode ter contribuído para o baixo
desempenho dos examinandos na questão III.3, principalmente pelo uso da
expressão ‘estabelece’. Dependendo do que o examinando entendesse por
‘estabelecer a diferença’, diferentes respostas poderiam ser dadas. Para os
que entendessem que estabelecer é ‘mencionar a existência’, vários trechos
poderiam ser apontados (como, por exemplo, linhas 16-19, linhas 22-26 e
linhas 35-42). Caso fosse entendido como ‘demonstrar’, a delimitação feita
pelo examinando deveria ser mais ampla e poderia abarcar quase
integralmente o segundo e o terceiro parágrafos do texto. Essa variabilidade
de interpretação também se deu por parte da comissão responsável pela
correção do teste, que considerou diferentes respostas como corretas,
embora tenha desconsiderado outras similares ou até mesmo idênticas.
A questão III.4 foi problema quase exclusivo para os examinandos
que se situaram nas faixas intermediária (bom/razoável) e inferior (não
satisfatório) de proficiência. Metade dos examinandos foram capazes de
identificar o trecho no qual o autor posicionava-se sobre a validade de se
152
pesquisar as obras de literatos e artistas antigos. Ainda assim, a outra
metade divergiu sobremaneira na delimitação de sua resposta, indicando,
principalmente, trechos onde arte e ciência eram contrastadas e, mais
especificamente, onde se apresentavam situações relacionadas às artes,
embora o trecho que vai da linha 90 até a linha 94 justificasse o porquê de
se fazer tal tipo de pesquisa. Uma explicação para essa grande quantidade
de erros talvez seja o caráter argumentativo do texto, que contrasta com o
caráter mais expositivo ou informativo dos textos das áreas de atuação da
maioria dos examinandos. Logo, é possível que muitos desses examinandos
não tenham os esquemas formais necessários à plena compreensão das
informações contidas no texto. Isso leva a crer que a falta de conhecimento
esquemático também pode ter sido uma fonte de dificuldade para os
examinandos. Nesse particular, o recomendável seria realizar pesquisas,
levando em conta, por exemplo, a sugestão de Célia (1983, p. 62) de que a
testagem de proficiência possa ser feita a partir de diferentes testes, e até
mesmo em níveis diferenciados.
Os problemas relacionados à seção IV do teste ocorreram
principalmente para os examinandos que se identificaram como estando na
faixa inferior de proficiência, permitindo dizer que os aspectos relacionados
à coesão textual são problemáticos para os sujeitos com tal nível de
proficiência em leitura. Parece ser possível estabelecer alguma correlação
entre esses resultados e os de Maciel (1980, p. 55-56), que argumenta que,
apesar da simplicidade vocabular dos termos referenciais, seu
funcionamento é “essencialmente semântico, realizado a nível do
153
significado”, sendo necessário “conhecer o seu funcionamento, explicitado
na gramática da língua” e “dispor de memória e atenção para poder reaver o
termo referido no momento oportuno” (ibid.). Assim, de acordo com a
pesquisadora, muitos dos problemas relacionados a referência podem ser
explicados pela interpretação dos termos referenciais como itens lexicais
individuais (ibid., p. 57).
No tocante à seção V, pode-se dizer que suas questões talvez
tenham dado um papel de alta relevância ao componente sintático na
solução da tarefa de tradução proposta. Para chegar à resposta certa, os
examinandos precisavam ter um conhecimento sintático relativamente
elevado para diferenciar, por exemplo, que ‘there is just no scale’ equivale a
‘there is not any scale’ (questão V.2). O elevado índice de erros dos
examinandos nas questões da seção V , de uma forma geral, pode estar
relacionado a uma leitura lexicalmente orientada, quando o componente
sintático parecia ser o elemento diferenciador fundamental entre as
alternativas. Considerando a existência de uma tendência dos leitores em
L2 orientarem sua leitura a partir do léxico (cf. Scaramucci, 1996; Santos &
Hönig, 1996), é possível que tanto o auto-conceito dos examinandos sobre
sua habilidade de leitura em ESP, quanto seu desempenho efetivo no teste,
possam ser explicados parcialmente pela orientação lexical de leitura
adotada por esses examinandos.
Isso explicaria também a aparente desconexão entre as respostas da
seção II e as das seções III e V que, embora tenham se concentrado
basicamente sobre os mesmos pontos do texto, impuseram aos
154
examinandos diferentes demandas em termos de processamento cognitivo
e lingüístico. Dessa forma, embora o trecho do texto que dá base às
questões II.1 seja o mesmo da questão III.1, assim como o trecho que dá
base à questão II.2 seja o mesmo da questão V.1, diferentes habilidades
parecem concorrer para a realização das tarefas propostas nessas
questões. Logo, o desempenho diferenciado dos examinandos nessas
questões pode estar relacionado ao domínio de uma micro-habilidade de
leitura numa questão (por exemplo, a extração dos pontos salientes para
sumarização de um tópico do texto) e à falta de domínio de outra micro-
habilidade de leitura, numa outra questão (por exemplo, a
localização/delimitação de informação específica no texto).
Isso, no entanto, permite crer que os examinandos talvez não tenham
percebido claramente a integração entre as diferentes tarefas propostas nas
questões do teste e até mesmo a integração das idéias no texto. As razões
para tanto são especificamente discutidas no próximo capítulo, bem como
as implicações do presente estudo para o processo de testagem de
proficiência na UFSM, além de sugestões para futuras pesquisas na área.
8 CONCLUSÕES, LIMITAÇÕES E SUGESTÕES PARA FUTURAS
PESQUISAS
8.0 Síntese das conclusões da pesquisa
O objetivo principal do presente trabalho foi a investigação sobre as
possíveis causas do acentuado índice de reprovação dos examinandos nos
testes de proficiência em leitura em ESP desenvolvidos na UFSM. Assim as
análises que precederam este capítulo de conclusão procuraram levantar
informações que pudessem ser aventadas na interpretação do problema.
Em relação aos examinandos, tracei um perfil geral no qual
identifiquei que os examinandos eram oriundos basicamente de quatro
grandes áreas: ciências da saúde (32.8%), ciências rurais (27.8%),
engenharias (18%) e ciências naturais e exatas (14.8%). Também apontei
que a principal razão para a escolha da língua inglesa no teste estava
relacionada a um entendimento de que essa era a língua prioritária para
seus cursos (59%) e de que supunham ter maior conhecimento de inglês do
que de outras línguas (45.8%). Além disso, apurei que 41% dos
examinandos já tinham se submetido à testagem de proficiência
anteriormente, em geral, em inglês e com reprovação.
A maior parte dos examinandos entende que o teste de proficiência
poderia ser substituído por cursos de ESP (59%), embora também admitam
que o teste poderia ser um pré-requisito para a aceitação de candidatos aos
156
cursos de pós-graduação (45.9%). Há ainda os que consideram que a
testagem possa ser mantida dentro dos atuais moldes, isto é, que ela possa
ocorrer durante a realização de seus cursos (47.5%). Como se viu, os
examinandos parecem ser favoráveis à adoção de diferentes formas de
comprovação de proficiência em leitura em ESP, mas são quase unânimes
em afirmar de que tal comprovação é necessária e justificável, já que
entendem que a habilidade de ler em inglês seja importante para seus
estudos.
Além de discutir questões relacionadas aos examinandos, também
analisei o teste a partir do texto cuja leitura era base para a solução das
tarefas propostas nas questões do teste, das questões propriamente ditas e
das micro-habilidades de leitura que aparentemente estavam sendo
avaliadas nessas questões. Indiquei, portanto, que o texto base era oriundo
da área de Filosofia da Ciência e que as questões do teste procuraram
avaliar uma variedade de micro-habilidades que incluíam leitura geral (seção
I do teste ) e seletiva (seção III), sumarização (seções II e III), conhecimento
de elementos operantes no nível de coesão do discurso (seções IV e V) e
no nível de coerência do discurso (seções I e III), conhecimento lexical
(seção V), e compreensão de significado conceitual (seção III). Procurei
mostrar também que, embora algumas micro-habilidades fossem foco
específico de avaliação nas questões e seções do teste, freqüentemente o
acesso a elas envolvia o uso de outras micro-habilidades. Isso reforça a
idéia de que a leitura é um processo complexo que envolve diferentes níveis
de processamento em operação simultânea, em conformidade com uma
157
visão interativa de leitura. Além disso, indiquei que muitas das dificuldades
apresentadas pelos examinandos podem estar relacionadas à diferença
entre o conhecimento esquemático necessário à leitura do texto proposto e
aquele aparentemente usado pelos examinandos na leitura dos textos de
suas respectivas áreas.
Ainda em relação ao teste, apontei algumas problemas que podem
estar relacionados à formulação das questões ou à proposição das tarefas a
serem cumpridas nas questões. Esses problemas podem ser facilmente
solucionáveis a partir de duas medidas: reuniões técnicas para análise das
questões anteriormente à sua aplicação e pré-testagem dos itens incluídos.
Um outro problema que pode ser apontado em relação ao teste diz
respeito aos níveis extremos de acertos em algumas questões. As questões
da seção I e II, por exemplo, têm um nível muito elevado de acertos para
todos os examinandos, não permitindo distinguir claramente as diferenças
no desempenho de candidatos com diferentes avaliações sobre sua própria
habilidade de leitura. Praticamente o mesmo poderia ser dito sobre as
questões das seções III e V, porém nelas, ocorre o oposto, ou seja, o índice
de acertos é muito baixo. A diferença entre esses dois grupos de questões é
que naquelas em que o nível de dificuldade foi maior, ainda é possível ver
alguma diferença no desempenho dos examinandos, ao passo em que nas
primeiras isso praticamente não ocorre. Seguindo a mesma linha de
raciocínio, pode-se dizer que as questões da seção IV são aquelas que
permitem diferenciar melhor o desempenho de examinandos com diferentes
avaliações sobre sua habilidade de leitura.
158
A conseqüência dessa alta concentração tanto de acertos, como de
erros é que tais questões podem estar informando muito mais sobre o nível
de facilidade/dificuldade das questões do que propriamente sobre a
habilidade de leitura dos examinandos, podendo ocasionar assim,
problemas relativos à fidedignidade do teste como instrumento de medida.
As considerações que venho tecendo são relacionadas ao teste em
si, e conforme indiquei em várias ocasiões anteriormente, são importantes,
na medida em que procuram esclarecer questões intrinsecamente ligadas
ao processo de construção do instrumento de testagem. Essas
considerações são insuficientes, entretanto, para dar conta do processo de
testagem como um todo e, em conseqüência disso, não podem ser tomadas
como medida única para validação do teste.
Foi por essa razão, conforme fiz questão de frisar ao longo de minha
exposição, que entendi ser necessário inserir dados relativos aos
examinandos na construção de meu trabalho, tanto através do questionário
(para melhor entender quem são afinal os examinandos e como eles
avaliam o teste e sua própria habilidade de leitura), quanto através de dados
sobre seu desempenho nas questões do teste. A associação de todas essas
fontes de informação parece fornecer um retrato um pouco mais aproximado
do processo de testagem como um todo e, nesse sentido, talvez possa
oferecer algumas explicações sobre o acentuado índice de reprovação dos
examinandos no teste.
Dessa forma, os dados levantados no questionário ajudaram na
159
compreensão de como esses examinandos construíram a auto-avaliação de
sua habilidade de leitura. Assim, a constatação de que a maioria dos
examinandos auto-conceituou sua habilidade de leitura num nível
equivalente ou superior a ‘bom/razoável’ pode ser relacionado ao fato de
muitos deles já estarem em estágios relativamente avançados de seus
cursos, o que supostamente significa que, de alguma maneira, estão
conseguindo fazer as leituras necessárias ao desenvolvimento de seus
projetos de pesquisa, ou seja, podem ser considerados leitores funcionais
em ESP.
Embora discretas, há algumas diferenças no que concerne ao
desempenho dos examinandos nos diferentes grupos de auto-conceito
sobre habilidade de leitura. É a isso que referi quando propus uma escala de
dificuldades dos examinandos no teste, na qual as questões da seção III
parecem ter afetado o desempenho de praticamente todos os examinandos,
embora com menor intensidade para aqueles num nível mais elevado de
proficiência de leitura. Nessa escala, a seção V seria o segundo maior foco
de dificuldade, permitindo uma melhor diferenciação entre os examinandos
na faixa superior de proficiência e aqueles da faixa intermediária
(‘bom/razoável). A seção IV, por ser o ponto intermediário dessa escala,
pode ser considerada como aquela que melhor reflete o auto-conceito dos
examinandos sobre sua habilidade de leitura, permitindo uma distinção mais
clara entre as diferentes faixas de proficiência. As seções I e II ocupam o
ponto mais baixo nessa escala de dificuldades, podendo ser interpretadas
de duas formas. A primeira, como um indício de que os examinandos
160
conseguem depreender as idéias mais gerais do texto. A segunda forma de
interpretar esse alto índice de acertos é como um sinal de que essas
questões são muito fáceis para todos os examinandos, independente de seu
nível efetivo de proficiência. Assim, seria incauto propor generalizações
sobre o desempenho lingüístico dos examinandos com base apenas nessas
seções.
O ponto ao qual agora dirijo a atenção e que entendo como central
para os objetivos do trabalho é a correlação entre as auto-avaliações dos
examinandos e seu desempenho efetivo no teste. Conforme mencionei no
Capítulo 6, parece haver um padrão consistente de similaridade entre auto-
avaliação e conceito no teste, já que praticamente dois terços dos
examinandos (63.9%) obtiveram conceitos similares à auto-avaliação sobre
sua habilidade de leitura em ESP. Esses dados, associados à concentração
de acertos (e de erros) em algumas seções do teste, permitem crer que a
fidedignidade do teste enquanto instrumento de mensuração de habilidade
de leitura pode ter sido ligeiramente comprometida na edição aqui
analisada. Isso não responde ainda à questão inicial desse estudo, sobre o
que pode estar causando esse elevado índice de reprovação no teste.
Vejamos, portanto, a questão por outro ângulo.
Os examinandos reprovados no teste e que tinham uma auto-
avaliação sobre sua habilidade de leitura no nível ‘bom/razoável’ ou
‘excelente’ tiveram um desempenho relativamente similar. Em termos gerais,
tiveram maior dificuldade com a localização de informação específica no
texto e com as micro-habilidades que davam suporte para o cumprimento
161
desse tipo de tarefa (seção III do teste) e com as questões de tradução da
seção V que, conforme mencionei, demandavam conhecimento lexical e
compreensão das relações intra e inter-sentenciais (que fazem parte das
habilidades operantes no nível da coesão do discurso). Há uma pequena
diferença entre o examinando com auto-conceito ‘excelente’ e os
examinandos com auto-conceito ‘bom/razoável’, que além dessas
dificuldades, também tiveram um desempenho mais baixo em duas
questões da seção IV (que avaliava habilidades operantes no nível de
coesão do discurso). Desse modo, pode-se ver que até mesmo nesse caso,
parece haver uma correspondência entre auto-avaliação e conceito obtido
no teste, embora não reste dúvidas de que esses examinandos realmente
não foram capazes de responder corretamente às questões propostas.
Por outro lado, uma possibilidade de explicação para esse padrão de
‘erros’ é que, conforme mencionei anteriormente, a maioria dos
examinandos que prestaram o teste são leitores funcionais nas suas áreas
específicas. Pode-se especular que, por terem sido aceitos em seus cursos
de mestrado, tais examinandos podem ter um nível razoável de
especialização em suas respectivas áreas de atuação que pode ser
caracterizado por um conhecimento esquemático relativamente aprofundado
nas suas disciplinas, o que, por sua vez, permitiria uma leitura nos moldes
do ‘jogo psicolingüístico de adivinhações’ de Goodman [1967](1970). Assim,
a leitura desses examinandos poderia ser considerada ‘boa’ nas suas
respectivas áreas, já que seus esquemas de conteúdo seriam relativamente
elaborados, mas não seria ‘tão boa’ quando têm que trabalhar com textos de
162
áreas que não façam parte de seu conhecimento esquemático (Filosofia da
Ciência, por exemplo).
Essa explicação meramente especulativa reforça a idéia de que a
habilidade de leitura é caracterizada pela interação entre processos
ascendentes e descendentes e também no nível do discurso, nos moldes
que o Teste de Suficiência da UFSM têm procurado avaliar. Por outro lado,
essa explicação chama a atenção para a validade do conteúdo do teste, ou
seja, até que ponto o teste está avaliando a habilidade instrumental de
leitura que se propõe a avaliar.
Como mestrando — quero salientar que esse é um testemunho
pessoal — estou convicto de que meu nível de habilidade de leitura, que
considero bastante satisfatório para meus propósitos, me ajudou
sobremaneira a formar uma imagem mais plural sobre pesquisa, porque
pude acessar textos de diferentes áreas e tradições de pesquisa. Li e
também pude observar que diferentes modos de organização do
conhecimento resultam em diferentes formas de se escrever e ler sobre
esse conhecimento (cf. Motta-Roth, 1995). Assim, creio que a concentração
da leitura de um mestrando nas ‘tecnicalidades’ de sua disciplina seja
insuficiente para a formação consistente de um pesquisador de um país
que, como o Brasil, ainda é tecnologicamente dependente, embora ajude a
garantir uma formação ‘técnica’ até certo ponto razoável. Esse tipo de leitura
também não parece ser suficiente para se garantir, nas palavras da
professora Dra. Angela Vaz Leão na aula inaugural de 1996 no Mestrado
em Letras da UFSM, um ‘diálogo internacional digno’ entre os
163
pesquisadores que lêem dessa forma e a comunidade acadêmica
internacional. Em outras palavras, a discussão sobre competência lingüística
em línguas estrangeiras (e não me refiro apenas ao inglês) está no cerne da
discussão sobre o próprio sistema de pós-graduação do Brasil. Muito se têm
investido e, creio, não apenas para formar técnicos em nível de mestrado.
Assim, a preocupação da UFSM, ao desenvolver testes de
proficiência que contemplem a leitura numa perspectiva interativa é
plenamente justificável e merecedora de crédito. Há no entanto, que se
considerar algumas questões no que concerne à forma e à função desses
testes, que trato agora, na seção relativa às implicações de meu estudo
para a testagem de proficiência e para o ensino de línguas.
8.1 Implicações da pesquisa para a testagem de proficiência e para o ensino de línguas
Alguns resultados do presente trabalho podem ser de alguma valia
para a comissão que elabora os testes de proficiência. Pode-se apontar, por
exemplo, a validade de se usar questões com formato de múltipla escolha,
que conforme argumentado anteriormente, podem reduzir os riscos da
variabilidade de correção. Essas questões exigem, no entanto, uma
formulação que permita aos organizadores do teste distinguir mais
claramente entre as respostas que medem o nível de habilidade de leitura
164
do examinando e aquelas que podem ser dadas com base em artifícios que
não estejam relacionados com tal habilidade (cf. Allan, 1992). Para tanto,
sugiro a ampliação do número de alternativas de cada questão para 4 ou 5,
reduzindo assim o risco do acerto casual. Associado ao aumento do número
de alternativas, deve-se buscar, na medida do possível, a seleção de
alternativas que só permitam a identificação da resposta correta através da
leitura do texto, evitando-se o uso de alternativas que possam soar absurdas
ou que possam ser descartadas com muita facilidade (cf. Peirce, 1992, p.
667-668).
As instruções e as questões do teste devem ser claras o suficiente
para que o examinando não gaste mais tempo interpretando a intenção da
questão do que o texto propriamente dito (cf. Kirschner, Wexler & Spector-
Cohen, 1992, p. 552).
Uma outra medida que pode reduzir sensivelmente os problemas
relacionados ao teste em si, conforme sugerem Alderson, Clapham & Wall
(1995, p. 69-70) é a discussão aprofundada sobre o teste, envolvendo tanto
as questões teóricas subjacentes ao construto e ao conteúdo da testagem,
quanto à forma e à clareza das questões. Além disso, é interessante que, no
processo de construção do teste as questões sejam criteriosamente
revisadas e criticadas pelos organizadores do teste. Um passo posterior e
de fundamental importância é a avaliação empírica do teste, através do
processo de pré-testagem, que possibilita a identificação de problemas que
podem vir a ocorrer durante a testagem. Essa pré-testagem poderia
envolver, por exemplo, os estudantes matriculados nos cursos de ESP
165
desenvolvidos na UFSM.
A adoção do formato de múltipla escolha pode vir acompanhada de
uma adaptação da folha de respostas para processamento através de
programas de computador que permitam aos organizadores ter uma visão
clara do desempenho do teste. Não me refiro somente ao desempenho dos
examinandos, mas também ao desempenho das questões enquanto
instrumentos de mensuração de habilidade de leitura. Assim, ao mesmo
tempo em que tal procedimento pode agilizar a divulgação dos resultados
para os examinandos, os organizadores podem saber mais sobre o
funcionamento das questões do teste.
Além dessas sugestões mais relacionadas à forma do teste, é
necessário aprofundar o conhecimento que se têm sobre leitura em ESP e
sobre o contexto onde ocorre a testagem. Nesse sentido, compreender as
necessidades da instituição é tão importante quanto conhecer as
necessidades, potencialidades e limitações dos examinandos.
Há também que se considerar que, se for procedente a especulação
de que o alto índice de reprovação dos examinandos possa estar
relacionado com aquilo que os examinandos entendem por leitura ou até
mesmo com a falta de especificidade disciplinar do teste, uma das
implicações que podem ser oriundas do presente trabalho é de que quanto
maior o grau de especificidade do conteúdo do teste, melhor será o
desempenho dos examinandos e maior será a correlação entre as auto-
avaliações dos examinandos e seu conceito no teste. O risco num teste de
tal especificidade é criar-se uma dificuldade adicional para se distinguir até
166
que ponto o desempenho dos examinandos estaria relacionado ao seu
conhecimento de mundo ou ao conhecimento lingüístico. Tendo isso em
mente, os cursos de ESP promovidos pela instituição podem ser uma
valiosa fonte de informação para a comissão que desenvolve os testes,
assim como devem se beneficiar da ampliação do entendimento sobre o
teste, através do qual pode-se por exemplo, detectar áreas que são mais
problemáticas para os examinandos e que, portanto, podem merecer mais
atenção por parte dos professores desses cursos.
Uma vez que se adote tais medidas, seria interessante fornecer aos
examinandos informações sobre seu desempenho no teste, indicando as
áreas onde eles apresentam maiores problemas e para as quais possam
buscar solução. Com isso, pode-se esperar que os examinandos encarem o
teste como uma experiência proveitosa e construtiva, que os motive a
buscar soluções para seus problemas de leitura em ESP, garantindo assim,
que o teste seja reconhecido com uma medida válida, justa e representativa
de sua habilidade de leitura.
8.2 Limitações da pesquisa e sugestões para pesquisas futuras
Considerando a complexidade e a amplitude do problema
representado pelo alto índice de reprovação dos examinandos no teste, a
abordagem da presente pesquisa permitiu ampliar de alguma forma o
entendimento que se tinha sobre o contexto onde a testagem se
desenvolve, sobre os examinandos e sobre o próprio teste. Há, no entanto,
um número de questões ainda a ser trabalhada em futuras pesquisas.
167
Dentre elas, pode-se citar a questão do grau de especificidade que o
teste deve ter. Para tanto, uma caminho proveitoso pode estar na Análise de
Gênero, que englobaria tanto as questões relativas à existência ou não de
um gênero discursivo que pudesse ser chamado teste de proficiência,
quanto às próprias especificidades das diferentes disciplinas acadêmicas.
Até o ponto a que pude chegar, parece razoável crer que tal gênero possa
ser identificado. Isso no entanto, implica aprofundar o estudo, procurando
revelar mais explicitamente os objetivos reconhecidos pelos participantes no
processo de testagem, a configuração textual de uma amostragem mais
ampla de testes de proficiência e até mesmo a continuação da pesquisa
aqui reportada23.
Além dessa questão, a literatura sobre educação e sobre LA
reconhece consensualmente que a testagem pode influenciar as práticas
pedagógicas e essas, por sua vez, podem influenciar os resultados da
testagem, numa relação que pode ser recíproca e contínua (Alderson &
Wall, 1993, p. 115). Efeito retroativo (backwash) é o termo utilizado para dar
conta dessa relação de influência que se estabelece entre testagem e
ensino (cf. Hughes, 1989, p. 1; Bachman, 1990, p. 283). Obviamente, para
que o efeito retroativo possa ocorrer, duas condições são imprescindíveis:
uma relação muita próxima entre testagem e pesquisa e um fluxo contínuo
23 Mais recentemente, na edição do teste de setembro de 1996, apliquei um conjunto de questionários, enfatizando aquelas informações que a presente pesquisa mostrou serem mais relevantes e levantando novos itens que não pude apurar na ocasião anterior. Já pude observar, por exemplo, que, na maioria, os examinandos se consideram suficientemente informados sobre o teste, embora aleguem não reconhecê-lo como uma medida representativa de sua habilidade de leitura. Os que assim responderam afirmam ler habitualmente em ESP, principalmente textos das disciplinas acadêmicas que lhes são familiares. Em outras palavras, reforçam o caráter instrumental da leitura que têm que
168
de informação entre testagem e ensino.
Alguns autores de relevo na literatura sobre testagem de língua numa
perspectiva comunicativa referem-se ao efeito retroativo como um dos itens
a serem considerados na estimativa da validade de um teste, (ver, por
exemplo, Morrow, 1986). Também destacando a importância do efeito
retroativo, Swain (1985, p. 36-44) refere-se a ele como um dos quatro
princípios gerais a considerar na construção de testes que se pretendam
comunicativos, ao lado de outros três, também fundamentais: a) a eleição
de um ponto de partida; b) a concentração no conteúdo; e c) balanceamento
dos itens para a obtenção dos melhores resultados.
Dessa forma, a relação entre testagem e ensino pode ser uma outra
fonte de interesse na ampliação do conhecimento sobre o processo de
testagem.
Para concluir, se entendermos, consoantemente com Kress (1989,
p.5), que o ouvinte/leitor/ falante/escritor não deve ser visto como um
indivíduo isolado, mas como um agente social, localizado numa rede de
relações sociais, em lugares específicos numa estrutura social, poderíamos
dizer que a falta de habilidades específicas à leitura representa, em última
instância, a carência de um conjunto particular de potencialidades e
possibilidades dentro dessa mesma estrutura social. Em outras palavras, um
desempenho considerado insatisfatório de um examinando num teste
significa não apenas que esse candidato não tem determinadas habilidades
realizar. Face a esses dados iniciais, considero agora a possibilidade de entrevistar alguns
169
de leitura que esse teste procura avaliar, mas também que, em face da falta
dessa habilidade, esse examinando pode ter suas chances de acesso a
oportunidades dentro da estrutura social reduzidas ou até mesmo tolhidas.
Assim, a pesquisa sobre testagem não pode perder de vista sua dimensão e
compromisso social, procurando contribuir de todas as formas possíveis
para diminuir o abismo entre os que têm e os que não têm competência em
leitura.
desses examinandos que se prontificaram a tanto.
REFERÊNCIAS BIBILIOGRÁFICAS
ALDERSON, J. C. Reading in a foreign language: a reading problem or a language program? In: ALDERSON, J.C. & URQUHART, A.H. (Eds.) Reading in a foreign language. London: Longman, 1984. p. 1-24.
ALDERSON, J.C. , CLAPHAM, C. & WALL, D. Language test
construction and evaluation. Cambridge: Cambridge University Press. 1995. 310p.
ALDERSON, J.C. & LUKMANI, Y. Cognition and reading: cognitive levels
as embodied in test questions. Reading in a Foreign Language.vol. 5, n. 2, p. 253-270, 1989.
ALDERSON, J.C. & SCOTT, M. Insiders, outsiders and participatory
evaluation. In: ALDERSON, J.C. & BERETTA, A. (Eds.). Evaluating Second Language Education. Cambridge: Cambridge University Press. 1992. p. 27-60.
ALDERSON, J.C. & URQUHART, A.H. This test is unfair: I’m not an
economist. In: CARRELL, P., DEVINE, J. & ESKEY, D. 1988. p. 168-182.
ALDERSON, J.C. & WALL, D. Does washback exist? Applied
Linguistics. vol. 14, n. 2, p. 115-129, 1993. ALLAN, A. Development and validation of a scale to measure test-wiseness
in EFL/ESL reading test takers. Language Testing. vol. 9, n. 2, p. 101-122, 1992.
ALMEIDA FILHO, J. C. P. Maneiras de Compreender Lingüística Aplicada.
Letras. vol. 2, p. 7-14, Santa Maria: UFSM/CAL, 1991. AUSTIN, J.L. How to do things with words. Oxford: Claredom Press. 1962. BACHMAN, L.F. What does language testing have to offer? TESOL
Quarterly.vol. 25, n. 4, p. 671-704, Winter 1991. ——— Fundamental Considerations in Language Testing. Oxford: Oxford
University Press. 1990. 408 p.
173
BACHMAN, L. F., DAVIDSON, F. & FOULKES, J. A comparison of the abilities measured by the Cambridge and Educational Testing Service EFL Test Batteries. In: DOUGLAS, D. & CHAPELLE, C. (Eds.). 1993. p. 25-45.
BRAGA, D. B. Estratégias de leitura crítica em língua estrangeira:
inferência de pressupostos ideológicos. Comunicação apresentada no 6o Intercâmbio de Pesquisas em Lingüística Aplicada (INPLA). LAEL - PUC/SP. 25 e 26 de abril de 1996.
CANALE, M. From communicative competence to communicative language
pedagogy. In RICHARDS, J.C. & SCHMIDT, R. (Eds.). Language and Communication. London: Longman. 1983. p. 2-27.
———. The measurement of communicative competence. Annual Review
of Applied Linguistics. vol. 8,. p. 67-84, 1988. CANALE, M. & SWAIN, M. Theoretical bases of communicative
approaches to second language teaching and testing. Applied Linguistics. vol. 1. p. 1-47. 1980.
CARRELL, P. L. Some issues in studying the role of schemata or
background knowledge in second language comprehension. Reading in a foreign language. vol. 1, n. 2, p. 81-93, 1983.
———. Interactive approaches to second language reading. In: CARRELL,
P., DEVINE, J. & ESKEY, D. (Eds.). 1988. p. 1-7. ———. Content and formal schemata. TESOL Quarterly. vol. 21, n. 4, p.
647-678, 1989. CARRELL, P. L., DEVINE, J. & ESKEY, D. (Eds.). Interactive approaches
to Second Language Reading. 1988. 289 p. CARRELL, P. L. & EISTERHOLD, J.C. Schema theory and ESL Reading
pedagogy. In: CARRELL, P., DEVINE, J. & ESKEY, D. (Eds.). 1988. pp. 73-92.
CAVALCANTI, M. C. Interação leitor texto: Aspectos de interpretação
pragmática. Campinas,SP: Editora da UNICAMP. 1989. 271 p. CELIA, M. H. C.. Leitura em inglês: formato alternativo para um exame
de proficiência. Porto Alegre: Curso de Pós-Graduação em Lingüística e Letras da Pontifícia Universidade Católica do Rio Grande do Sul, 1983. 278 p. Diss. Mestrado.
CHAPELLE, C. & DOUGLAS, D. Foundations and directions for a new
decade of Language Testing. In: DOUGLAS, D. & C. CHAPELLE. (Eds.). 1993. p. 1-22.
174
CLARK, H.H. & CLARK, E.V. Psychology and language: an introduction
to psycolinguistics. New York: Harcourt Brace Jovanovich. 1977. CONSELHO FEDERAL DE EDUCAÇÃO. Parecer no. 77/69 de 11 fev. 1969.
Relator: Newton Sucupira. Normas para credenciamento dos cursos de pós-graduação. Documenta, Rio de Janeiro (98): 128-132. 14 p.
CONSELHO FEDERAL DE EDUCAÇÃO. Parecer no. 977/65 de 03 dez.
1965. Relator: Newton Sucupira. Normas para regulamentação dos cursos de pós-graduação. Documenta, Rio de Janeiro (44): 67-86. 20 p.
DAVIS, K. Validity and reliability in qualitative research on second language
acquisition research. Tesol Quarterly. vol. 20, n. 2, p. 605-608, 1992. DOUGLAS, D. & CHAPELLE, C. (Eds.). A New Decade of Language
Testing Research. Alexandria, VA: Teachers of English to Speakers of Other Languages. 1993. 287 p.
FAIRCLOUGH, N. (Ed.). Critical language awareness. New York:
Longman. 1992. FOULY, K.A., BACHMAN, L.F. & CZIKO, G.A. The divisibility of language
competence: a confirmatory research. Language Learning. vol. 40, n. 1, p. 1-21, Mar. 1990.
GNERRE, M. Linguagem, Escrita e Poder. 3a.ed. São Paulo: Livraria
Martins Fontes Editora Ltda. 1991. 115 p. GOMES DE MATOS, Francisco. Lingüística no Brasil: o papel da UFPE.
Investigações - Lingüística e Teoria Literária. vol. 2, p. 167-175, dez. 1992.
GOODMAN, K. S. Reading: a Psycholinguistic Guessing Game. In:
GUNDERSON, D. (Ed.). Language and reading. Washington, D.C., Center for Applied Linguistics. [1967] 1970.
GOUGH, P.B. One second of reading. In: SINGER, H. & RUDDELL, R.B.
(Orgs.). Theoretical models and processes of reading., Delaware, International Reading Association. 1976.
GRABE, W. Current developments in Second Language Reading Research.
TESOL Quarterly. vol. 25, n. 3, p. 375-406, Autumn 1991. HALLIDAY, M.A.K. Explorations in the functions of language. New York:
Elsevier North-Holland. 1973. ___ The form of a functional grammar. In: KRESS, G. Halliday: System and
function in grammar. Oxford: Oxford University Press. 1976. pp. 7-25
175
HAAS, C. Learning to read biology: One student’s rhetorical development in
college. Written Communication. vol. 11, n.1, p. 43-84, 1994. HECHT, K. Testing communicative performance in foreign languages —
Bridging the strands together. In: GREEN, P. S. Communicative Language Testing. Strasbourg: Council for Cultural Cooperation, 1987. p. 98-114.
HILL, C. & Parry, K.. The test at the gate: models of literacy in reading
assessment. Tesol Quarterly. vol. 26, n. 3, p. 433-461, Autumn 1992. HOLMES, J. Research and the postmodern condition. In: PASCHOAL,
M.S.Z. & CELANI, M.A.A. (Eds.). 1992. p. 37-49. HUGHES, A. Testing for Language Teachers. Cambridge. Cambridge
University Press. 1989. 172 p. HYMES, D. On communicative competence. In: PRIDE, J.B. & J. HOLMES
(Eds.). 1972 ILLICH, I. & SANDERS, B. The alphabetization of the popular mind. New
York: Vintage Books. 1988. 187 p. IZQUIERDO, I.A. O compromisso do cientista com a sociedade. Palestra
proferida na Federasul. Universidade Federal do Rio Grande do Sul. Instituto de Biociências. Departamento de Bioquímica. Apoio Fapergs. 1995. 22 p.
JOHNS, A. M.; DUDLEY-EVANS, T.. English for Specific Purposes:
International in Scope, Specific in Purpose. TESOL Quarterly. vol. 25, n.2, p. 297-314, Summer 1991.
KIRSCHNER, M., WEXLER, C. & SPECTOR-COHEN, E. Avoiding
obstacles to student comprehension of test questions. TESOL Quarterly. vol. 26, n. 3, p. 537-556, Autumn 1992.
KLEIMAN, A. O ensino de línguas no Brasil. In: PASCHOAL, M. S. Z. &
CELANI, M. A. A. 1992. p. 25-36. ———. Leitura: ensino e pesquisa. São Paulo: Pontes, 1989. 213 p. KRESS, G. Linguistic processes in sociocultural practice. Oxford:
Oxford University Press. 1989. LABERGE, D. & SAMUELS, S.J. Toward a theory of automatic information
processing in reading. In: SINGER, H. & RUDELL, R.B. 1976.
176
MACIEL, A. M. B. A leitura do texto científico em inglês; estudo de uma situação. Porto Alegre: Curso de Pós-Graduação em Lingüística e Letras da Pontifícia Universidade Católica do Rio Grande do Sul, 1980. 137 f. Dissertação de Mestrado.
MACIEL, A. M. B. & THIELEN, N.T. Reading, discourse and evaluation. the
ESP. São Paulo. vol. 9, n. 1/2, p. 215-227, 1988. MELOY, J. Writing the qualitative dissertation. Hillsdale, NJ: Lawrence
Erlbaum Associates, Publishers. 1994. MOITA LOPES, L. P. Discourse analysis and syllabus design: an
approach to the teaching of reading. Tese de Doutoramento. Departament of English for Speakers of Other Languages. The University of London, 1986. caps. 3 e 5.
———. Tendências atuais da pesquisa na área de ensino/aprendizagem de
línguas no Brasil. Letras. vol. 4. p. 7-13. 1992. ———. Comunicação pessoal na quarta etapa dos Seminários de Estudos
Avançados. Mestrado em Letras da UFSM. 04 de dezembro de 1995. ———. Oficina de Lingüística Aplicada: a natureza social e educacional
dos processos de ensino/aprendizagem de línguas. Campinas: Mercado de Letras. 1996. 190 p.
MORROW, K. The evaluation of tests of communicative performance. In:
PORTAL, M. Innovations in Language Testing. London: NFER/Nelson. 1986.
MOTTA-ROTH, D. O processamento de sentido na leitura de textos em
inglês como língua estrangeira. Letras. vol. 1. Santa Maria: UFSM/CAL. p. 92-102. 1991.
———. Rethorical features and disciplinary cultures: a genre-based
study of academic book reviews in Linguistics, Chemistry, and Economics. Tese de Doutoramento. Universidade Federal de Santa Catarina: Curso de Pós-Graduação em Letras-Inglês. 1995. 311 pp. + anexos.
———. Curso de leitura instrumental - UFSM. Manuscrito não-publicado.
1996 MUNBY, J. Communicative syllabus design: a sociolinguistic model for
defining the content of purpose-specific language programs. Cambridge: Cambridge University Press.1978. 232p.
O’HEAR, A. Introduction to the Philosophy of Science. Oxford: Claredon
Press. 1990. p. 3-6.
177
PASCHOAL, M. S.Z. & M.A.A. CELANI (Eds.). Lingüística Aplicada: da
aplicação da lingüística à lingüística transdisciplinar. São Paulo: Educ. 1992. 324 p.
PEIRCE, B. N. Demystifying the TOEFL Reading Test. TESOL Quarterly.
vol. 26, n. 4, p. 665-691, Winter 1992. PHILLIPSON, R. Linguistic imperialism. Oxford: Oxford University Press.
1992. 365 p. RICHARDS, J. C. & RODGERS, T.S. Approaches and methods in
language teaching. Cambridge: Cambridge University Press. 1986. 171 p.
———, PLATT, J. & PLATT, H. Longman dictionary of language
teaching and applied linguistics. Essex: Longman. 1992. 423 p. RUMELHART, D.E. Schemata: The building blocks of cognition. In: SPIRO,
B. BRUCE, C. & BREWER, W.C. (Eds.) Theoretical issues in reading comprehension. Hillsdale, NJ: Lawrence Erlbaum. [1977] 1980. pp. 33-58.
———. Understanding understanding. In: FLOOD, J. (Ed.) Understanding
reading comprehension: cognition, language and the structure of prose. International Reading Association (IRA), Newark, Delaware. 1984. pp.1-20.
SAMUELS, S.J. & KAMIL, M. L. Models of the reading process. In:
CARRELL P., J. EISTERHOLD & D. ESKEY (org.). 1988. p. 37-55. SANTOS. M. B. Academic abstracts: a genre analysis. Dissertação de
Mestrado. Florianópolis: PGI/Universidade Federal de Santa Catarina, 1995.
SANTOS, V. M. X. & HÖNIG, C. C. Conhecimento metacognitivo e
conscientização das formas lingüísticas no ensino de inglês através da leitura (inglês instrumental). Manuscrito não publicado. 1996. 26 p.
SCARAMUCCI, M. O ensino da leitura em inglês como LE: algumas
evidências para uma gramática centrada no léxico. Comunicação apresentada no 6o Intercâmbio de Pesquisas em Lingüística Aplicada. LAEL - PUC/SP. 25 e 26 de abril de 1996.
SCHANK, R.C. & R.P. ABELSON. Scripts, plans and knowledge. In
Advance papers of the Fourth International Joint Conference on Artificial Intelligence. Tbilisi, Georgia, USSR. Cambridge. Mass.: Artificial Intelligence Lab. vol. 1, p. 151-157, 1975.
178
SCHMITZ, J. R. Lingüística Aplicada e o ensino de línguas estrangeiras no Brasil. Alfa. vol. 36, p. 215-237, 1992
SEARLE, J.R. Speech Acts. Cambridge: Cambridge University Press. 1969. SKEHAN, P. Language Testing part II. Language Teaching. Cambridge:
Cambridge University Press. p. 1-13, jan. 1989. SMITH, F. Reading. Cambridge: Cambridge University Press. 1978. STANOVICH, K.E. Toward an interactive-compensatory model of individual
differences in the development of reading fluency. Reading Research Quarterly. vol. 16, n. 1, p. 32-71, 1981.
SWAIN, M. Large-scale communicative language testing. In: LEE, Y.P.,
C.Y.Y.FOK, R. LORD & G. LOW (Ed.). (Eds.). New directions in language testing. Hong Kong: Pergamon Press. 1985.p. 35-46.
TAVARES, K. C. A. Testing reading ability in English — an analysis of recent
UFRJ, UERJ, CEFET entrance examinations. the ESP. vol. 13, n. 2, p. 165-184, 1992.
———. O uso da introspecção: da técnica da pesquisa para o ensino de
leitura. Rio de Janeiro, UFRJ, Faculdade de Letras, 1993. 239 p. mimeo. Dissertação de Mestrado em Letras Anglo-Germâmicas.
TOMITCH, L. M. B. Reading: text organization perception and working
memory capacity. Florianópolis, UFSC, Programa de Pós-Graduação em Inglês, 1995. 189 p. + apëndices. Tese de Doutoramento em Letras opção Língua Inglesa e Lingüística Aplicada.
UNIVERSIDADE FEDERAL DE SANTA MARIA. Pró-Reitoria de Pós-
Graduação e Pesquisa. Regimento Geral dos Programas/Cursos de Pós-Graduação. Santa Maria, dez. 1995.
———. Gabinete do Reitor. Resolução 009/96. Santa Maria, 28 de março
de 1996. van DIJK, T.A. Context and cognition: knowledge frames and speech act
comprehension. Journal of Pragmatics. vol. 1, p. 211-231, 1977. WIDDOWSON, H. G. Learning purpose and language use. Oxford:
Oxford University Press, 1983. WIELEWICKI, H. G. Algumas questões sobre leitura e o teste de
suficiência de leitura em inglês da UFSM. II JORNADA DE PESQUISA DA UNIJUÍ. 1995, Ijuí. Anais ... Ijuí: UNIJUÍ. VRPGPE. CLP, 1995. p. 204.
Apêndice A (Seção 4.3)
Questionário aplicado aos examinandos durante a realização do Teste de Suficiência em Leitura em Língua Estrangeira da UFSM - Edição de 08 de abril de 1996.
Santa Maria, 08 de abril de 1996.
Prezado(a) Colega: Sou aluno do Mestrado em Letras da UFSM e a pesquisa que estou fazendo para minha dissertação trata dos testes de proficiência (ou suficiência) de leitura, como aquele que você acaba de prestar. Assim, sua resposta ao questionário abaixo é de fundamental importância para o sucesso de meu trabalho. Para agilizar sua resposta, você está recebendo junto com o questionário um envelope pronto para o envio. Contando com sua solidariedade acadêmica, agradeço desde já pela sua importante contribuição.
Caso você não queira se identificar, apenas omita seu nome, os demais dados são fundamentais Nome:......................................................................................................sexo: ( ) F ( )M
Idade: ................... Profissão:..............................................................................................
Curso de Graduação:.................................................................................Conclusão: 19....
Nível que está cursando: ( )Mestrado ( )Doutorado ( )Residência Médica ( ) outro..................
Curso:...................................................................................Ingresso: .....semestre.......ano
Área de concentração:........................................................................................................
01. Em que língua você está prestando o teste de suficiência ? ( ) Inglês ( ) Espanhol ( ) Francês ( ) Alemão 02. Por que escolheu prestar o teste nessa língua ? ( ) Por conhecê-la melhor que as demais ( ) Por ser a língua prioritária para meu curso (área) ( ) Porque, apesar de já ter feito o teste em outra língua, o curso exige proficiência em pelo menos duas línguas ( ) Outra razão.................................... 03. É a primeira vez que presta teste de proficiência/suficiência? ( ) Sim ( ) Não 04. Caso já tenha feito outro(s) teste(s) de proficiência/suficiência em qualquer língua
estrangeira, por favor comente (os mais recentes): Instituição:................................................Ano:19....Língua:........................Resultado:( )aprovado( ) reprovado
Instituição:................................................Ano:19....Língua:........................Resultado:( )aprovado( ) reprovado
Instituição:................................................Ano:19....Língua:........................Resultado:( )aprovado( ) reprovado
segue no verso >> 05. Que conceito você atribuiria ao seu desempenho nas seguintes línguas? (Por favor, use a seguinte convenção e circule apenas uma alternativa por célula)
1 Não satisfatório 2 Bom/Razoável 3 Excelente
leitura escrita fala compreensão oral Inglês 1 2 3 1 2 3 1 2 3 1 2 3 Espanhol 1 2 3 1 2 3 1 2 3 1 2 3 Francês 1 2 3 1 2 3 1 2 3 1 2 3 Alemão 1 2 3 1 2 3 1 2 3 1 2 3
06. Considerando o contexto global (material publicado mundialmente, autores mais
referidos, periódicos mais reconhecidos internacionalmente, etc.), qual a importância das seguintes línguas para a sua área de estudos?
(Por favor, use a seguinte convenção e circule apenas uma alternativa por célula)
1 Pouco importante 2 De razoável importância 3 Muito importante/fundamental
importância da língua para a área em nível mundial Português 1 2 3 Inglês 1 2 3 Espanhol 1 2 3 Francês 1 2 3 Alemão 1 2 3
07. Considerando que você está realizando seus estudos no Brasil, como você avaliaria a
importância das seguintes línguas para sua área de estudos? (Por favor, use a seguinte convenção e circule apenas uma alternativa por célula)
1 Pouco importante 2 De razoável importância 3 Muito importante/fundamental
leitura (bibliografia indicada para seu curso,
material publicado, etc.)
outros recursos (palestras, congressos, conferências,
cursos, seminários, etc.) Português 1 2 3 1 2 3 Inglês 1 2 3 1 2 3 Espanhol 1 2 3 1 2 3 Francês 1 2 3 1 2 3 Alemão 1 2 3 1 2 3
08. Você considera que o Teste de Proficiência/Suficiência... (escolha quantas alternativas desejar) ( ) é uma formalidade dispensável ( ) deveria ser pré-requisito para a aceitação de alunos em cursos de pós-graduacão ( ) é uma exigência necessária, podendo, porém, ser realizado durante o curso ( ) poderia ser substituído por cursos de língua ao longo do cumprimento dos créditos ( ) deveria avaliar a capacidade de leitura e compreensão de textos ( ) deveria avaliar a capacidade de traduzir textos para a língua materna ( ) deveria avaliar a habilidade para escrever na língua estrangeira ( ) deveria avaliar a habilidade de conversação na língua estrangeira ( ) deveria avaliar a habilidade de compreensão oral na língua estrangeira
Apêndice B (Seção 6.0)
Correspondência e questionários enviados a pesquisadores de universidades brasileiras sobre os Testes de Proficiência em Leitura em Língua Estrangeira
Santa Maria(RS), 28 de dezembro de 1995. Nome Instituição Local
Sou aluno do Mestrado em Letras da Universidade Federal de Santa
Maria (UFSM) e , para minha dissertação estou desenvolvendo um projeto
de pesquisa relacionando leitura em inglês para fins acadêmicos e testes de
proficiência (ou suficiência, como denominado na UFSM) aplicados pelas
universidades brasileiras a alunos de cursos de pós-graduação.
Como a preocupação que move meu trabalho é de que ele tenha o
maior alcance possível, o corpus com o qual pretendo trabalhar deve contar
com a maior variedade possível.
Assim, dada a dificuldade de percorrer uma a uma as universidades
do país, gostaria de poder contar com sua ajuda, através do envio de
amostras (principalmente as mais recentes) dos testes de proficiência de
leitura em inglês aplicados em sua instituição. Estou enviando em anexo um
questionário de múltipla escolha para me ajudar a contextualizar o teste
aplicado em sua instituição.
Reiterando minhas mais sinceras saudações acadêmicas,
Hamilton de Godoy Wielewicki
Rua Doze de Outubro 140, ap.101-A
` 97060-200 Santa Maria RS
Universidade:
1) Desde quando sua instituição aplica testes de proficiência de leitura
em língua inglesa?
a) um ano ou menos b) até 5 anos
c) até 10 anos d) mais de 10 anos
2) Desde quando o atual modelo de testagem de proficiência tem sido
usado em sua instituição?
a) um ano ou menos b) até 5 anos
c) até 10 anos d) mais de 10 anos
3) Quem formula os testes de proficiência ?
a) o departamento de línguas estrangeiras
b) um grupo interdisciplinar
c) os próprios cursos de pós-graduação
d) outros_______________
4) Com relação ao público-alvo, o teste de proficiência atualmente é
a) um único modelo para todas as áreas
b) específico por área
c) outra forma ___________________________________________
5) Qual é aproximadamente o percentual de candidatos aprovados no
teste de proficiência?
6) Há diferença de performance nas diferentes áreas de conhecimento?
Que áreas se destacam? Que áreas apresentam maiores problemas?
Apêndice C (Seção 6.1)
Teste de Suficiência em Leitura em Língua Inglesa aplicado na UFSM em 08 de abril de 1996
Universidade Federal de Santa Maria Centro de Artes e Letras Departamento de Letras Estrangeiras Modernas Cadeira de Língua Inglesa
TESTE DE SUFICIÊNCIA EM LÍNGUA INGLESA
NOME:
I. Escolha a alternativa que melhor expressa a idéia global do texto. Marque com um X a
resposta mais apropriada. (Peso 1.6)
a. ( ) A constatação da falsidade de alguns escritos mais antigos à luz dos
desenvolvimentos posteriores da ciência.
b ( ) O estabelecimento das diferenças entre as trajetórias cronológicas em duas áreas
diferentes do conhecimento.
c ( ) A elucidação do objetivo das ciências naturais.
II. Assinale a alternativa que melhor corresponde às idéias apresentadas no texto.
(Peso 0.6x2)
1. No primeiro parágrafo do texto, o autor estabelece algumas comparações entre períodos
diferentes da história da humanidade. Ele afirma que:
a ( ) Não houve progresso substancial na ciência nos últimos séculos. Os antigos eram
mais inteligentes e viviam melhor do que nós.
b ( ) Ainda que os antigos fossem mais inteligentes e tivessem melhor qualidade de vida do
que nós desconheciam a velocidade da luz, entre outros avanços da ciência.
c ( ) Com todo o brilhantismo das observações feitas sobre a natureza, a maioria das teorias
sobre o universo elaboradas nos textos de Aristóteles estavam corretas.
2. De acordo com o autor do texto, nas artes: a ( ) ...especialmente na música, não se pode julgar a qualidade de produções na área com
base no critério de atualização.
b ( ) ...o crescimento é progressivo e atualizado, o que permite a rejeição de manifestações
anteriores.
c ( )...uma manifestação recente é necessariamente considerada melhor do que uma anterior.
III. Anote ao lado de cada informação, a(s) linha(s) em que o autor do texto: (Peso 0.6x4)
1. Exemplifica os avanços científicos ocorridos nos últimos quatro séculos:
2. Cita exemplos de teorias falhas de Aristóteles:
3. Estabelece a diferença entre avanço do conhecimento na arte e na ciência:
4. Posiciona-se sobre a validade de se pesquisar obras de artistas e literatos antigos:
IV. Selecione a alternativa que melhor expressa o elemento a que cada expressão abaixo se
refere:(Peso 0.6x4).
1. They (linha 6):
a. ( ) às pessoas de um modo geral
b. ( ) aos povos da antigüidade
c. ( ) aos cientistas
2. Either (linha 45):
a. ( ) Copernicus, Aristotle, Newton
b. (....) Sistema solar e universo
c. ( ) Copernicus e Aristotle
3. Such thing (linha 50):
a. ( ) A um fluido gasoso
b. ( ) Ao flogiston
c. ( ) Aos metais
4. The suspect (linha 78):
a. ( ) À ciência
b. ( ) A priestley
c. ( ) A uma área científica
V. Assinale a sentença que melhor traduz cada um dos trechos abaixo: (Peso 0.6x4)
1. “No one would say of a work of music or literature that it was better than an earlier work
just because it was later” (linhas 17-19).
a. ( ) Nenhuma pessoa diria que um trabalho de música ou literatura é melhor do que um
trabalho anterior porque foi realizado em outra época.
b. ( ) Ninguém diria que um trabalho de música ou literatura é melhor do que outro apenas
por ter sido realizado em época mais recente.
c. ( ) Ninguém diria de um trabalho de música ou literatura que ele era melhor do que um
trabalho anterior justamente por ser mais atual.
2. “There just is no scale on which one could judge such things, once certain level of
expressive adequacy has been reached.” (linhas 32-34)
a. ( ) Não há nenhuma escala a partir da qual se possa julgar tais coisas, uma vez que um
certo nível de adequação tenha sido atingido.
b. ( ) Existe uma escala justa pela qual se pode julgar coisas quando um nível de adequação
é alcançado.
c. ( ) Não há somente uma escala a partir da qual se possa julgar tais coisas uma vez que se
tenha alcançado um nível de adequação.
3. “We can speak of an objective advance or progress in the one case but not in the other
because we can speak unambiguously of knowledje having grown in the sciences, so that
those working later in a given field of science, by that very fact alone, may be said to know
more than their predecessors.” (Linhas 64-69)
a. ( ) Podemos falar de um avanço nos objetivos ou progresso em um caso mas não no
outro porque podemos falar da ambigüidade do conhecimento evoluindo nas ciências , de
maneira que aqueles trabalhando mais tarde em um dado campo da ciência, por aquele fato
somente, pode-se dizer que sabem mais do que seus precedentes.
b. ( ) Podemos falar de um avanço ou progresso nos objetivos em um caso mas não no
outro porque podemos falar indiscutivelmente do avanço do conhecimento nas ciências, de
maneira que aqueles trabalhando mais tarde em um dado campo da ciência, por aquele fato
somente, podem saber mais que seus precedentes.
c. ( ) Podemos falar de um avanço nos objetivos ou progresso de um caso mas não no
outro portanto podemos falar indiscutivelmente do avanço do conhecimento das ciências, de
forma a que aquele trabalho realizado mais tarde, possa levar a conhecer um dado campo
a ciência mais do que os precedentes.
d. ( ) Podemos falar de um avanço ou progresso objetivo em um caso mas não no outro
porque indiscutivelmente podemos dizer que o conhecimento evoluiu nas ciências, de modo
que aqueles que vêm a trabalhar depois em uma determinada área da ciência, apenas por esse
fato, podem ser considerados como sabendo mais do que seus antecessores.
4.”The theories of Aristotle and Capernicus are, from the scientific point of view, dead; we
have progressed beyond them and there is no need to revive them except as historical
curiosities we may briefly contrast with present knowledge.” (linhas 85-89).
a. ( ) As teorias de Aristóteles e Copérnico estão, do ponto de vista dos cientistas, mortas;
conseguimos avançar até elas e não necessitamos revê-las, exceto nas curiosidades históricas,
as quais podem ser contrastadas com o presente.
b. ( ) As teorias de Aristóteles e Copérnico estão do ponto de vista científico, mortas,
conseguimos ultrapassá-las e não necessitamos agora voltar até as curiosidades históricas,
com excessão do que se refere ao conhecimento do presente.
c. ( ) As teorias de Aristóteles e Copérnico estão, do ponto de vista científico, mortas, já
progredimos além delas e do que se necessita para revivê-las, exceto no que diz respeito às
curiosidades históricas que brevemente contrastam com nosso conhecimento atual.
d. ( ) As teorias de Aristóteles e Copérnico estão, do ponto de vista científico, mortas; nós
progredimos além delas e não há necessidade de revivê-las, a não ser como curiosidades
históricas que se contrastam timidamente com o conhecimento atual.
Growth of Knowledge
In a perfectly obvious sense, over the last four hundred years or so there has been progress in science. Measurement of physical quantities becomes more precise, previously unknown particles and substances are discovered , new effects are produced and applied. Even if the ancients were wiser than us, and knew better how to live, they did not know the speed of light or the mass of the earth or the structure of the hydrogen atom or how to produce and apply lasers or the 4 SCIENCE AS AN INTELLECTUAL ACTIVITY photo-electric effect. And we know now that, despite the brilliance of many of the observations, most of the theories of the universe expounded in Aristotle’s writings are quite simply false. The earth is not the centre of the universe, nor do heavy bodies seek the centre of the earth as their natural resting-place, nor is the earth surrounded by series of con-centric circles on which the other heavenly bodies revolve. There is a striking contrast between the development of modern science and the arts. No one would say of a work of music or literature that it was better than an earlier work just because it was later. A recent work by Luciano Berio is not, because of its modernity, better than Beethoven’s Violin Concerto, and, it would be just as hard to say that Brahms’s Violin Concerto was better than Beethoven’s . In contrast to the development of theories in modern science, a later masterpiece in a given artistic genre is not thereby better than an earlier one, nor does it necessarily attain the aim of the genre better, or anything of that sort. Indeed, in the case of violin concertos, it would be hard if not actually senseless to specify a target at which all violin concertos are aiming, and in relation to which one could say that concerto A got nearer to the target than concerto B. Leaving Berio aside, it hardly makes sense to say of the Beethoven and the Brahms that one is better than the other. There just is no scale on which one could judge such things, once certain level of expressive adequacy has been reached. The case with scientific theories, though, is quite different. Here we are able to specify a clear target at which all theories aim, and we often have confidence that theory A has got closer to the target than theory B. The aim might be characterized as discovering the truth about the natural world, and when we have theories which aim to describe the same bits of the natural world we can often say that a later theory is better than an earlier. Thus, Copernicus’s helio-centric picture of the universe was better than Aristotle’s geocentric picture , and Newton provided a better account of
SCIENCE AS AN INTELLECTUAL ACTIVITY 5 the solar system and the universe than either. Similarly, every schoolchild now knows that the chemist Joseph Priest-ley mistankenly thought he had identified a substance he called ‘phlogiston’, a gaseous fluid with possibly negative weight which, among other things, was given off when metals burned. We now know that there is no such thing and that there is no one substance that does all the things phlogiston had been supposed to do. Priestley had actually been observing the effects of oxygen, which metals absorb from the air when burned, rather than those of the phlogis-ton they were supposed to give off. When he imagined he had isolated a sample of dephlogisticated air, he had actually produced oxygen. As I say, this story about Priestley and phlogiston is something every schoolchild knows and in that sense, every schoolchild has knowledge Priestley did not have, and in that sense is in advance of Priestley. But it is not the case that every schoolchild is better chemist than Priestley, any more than Berio or even Brahms is a better composer than Beet-hoven. We can speak of an objective advance or progress in the one case but not in the other because we can speak unambiguously of knowledge having grown in the sciences, so that those working later in a given field of science, by that very fact alone, may be said to know more than their predecessors. Apparently rather against the grain of what I have just been saying, T. S. Elliot once remarked that in literature we know far more than our predecessors because what we know is their work. Growth of knowledge in science, though, is not at all like that, and this is another way of bringing out the distinction I am drawing between science and the arts. Although a few stories from the history of science, like that of Priestley and phlogiston, are part of the folklore of the subject, most workers in a scientific field do not know the history of their field in any depth or detail. They do not have to know it, because the history of science will consist largely
6 SCIENCE AS AN INTELLECTUAL ACTIVITY
of theories that have been discarded, and which are regarded as giving far less true information about the world than their sucessors. An astronomer will tell you what, in the con-sidered view of astronomers today, the universe is like, not what Aristotle or Copernicus thought it was like. The theories of Aristotle and Copernicus are, from the scientific point of view, dead; we have progressed beyond them and there is no need to revive them except as historical curiosities we may briefly contrast with present knowledge. The case is quite different with works of art and literature. The dead writers of whom Eliot spoke are part of the soil and tradition in which we live, and we deepen and refresh our understand-ing both of ourselves and of art by returning to them and deepening our acquaintance with them.
O’ Hear, Anthony. 1990 - Introduction to the Philosophy of Science Clarendon Press - Oxford I 3 - 6
