A Avaliação de Informação: uma operação metodológica

Fernanda Ribeiro Armando Malheiro da Silva*

Resumo A avaliação no contexto dos serviços de informação tem vindo a ser realizada essencialmente em três áreas distintas: a avaliação de serviços, a avaliação da recuperação da informação e a avaliação do fluxo informacional. Esta última vertente, especialmente aplicada em arquivos, tem por finalidade decidir o destino a dar à informação após alguns anos de uso corrente, procurando-se fazer eliminações que libertem consideravelmente o espaço de armazenamento da informação. Neste estudo, faz-se uma abordagem de síntese sobre as duas primeiras áreas referidas e aprofunda-se a terceira, considerando-se a avaliação como uma operação metodológica aplicável à informação em qualquer contexto produtor e de uso. Propõem-se, ainda, critérios e parâmetros para, de uma forma objectiva, se passar à aplicação prática. Abstract

The evaluation in the context of information services has been oriented mainly to three distinct areas: services performance evaluation, information retrieval evaluation and information flow evaluation. This last area, specially applied in archives and designed as “appraisal”, aims to define the information’s destiny after some years of a current use and its purpose is to eliminate documents in order to free space in the stacks. In this study it is presented a synthesis approach of the two first areas and the third one is deeply analysed, in a perspective that considers evaluation as a methodological operation that can be applied to information produced and used in any context. There are also proposed criteria and parameters in order to act in practice, in an objective way.

1. Dimensionamento do tema – considerações prévias

Uma definição objectiva e simplista do termo "avaliação", que podemos

encontrar em qualquer vulgar dicionário, remete-nos para um significado muito conciso

que é o de "atribuição de valor". É óbvio que, para se chegar à determinação do valor de

alguma coisa é necessário saber o que se entende por "valor", perceber o contexto em

que se determina esse mesmo valor e empreender uma série de acções que conduzam ao

* Professores Auxiliares da Licenciatura em Ciência da Informação (Departamento de Ciências e Técnicas do Património, Faculdade de Letras da Universidade do Porto)

2

resultado almejado, pressupondo todo um processo de análise prévio. O glossário sobre

"análise do valor", editado pela Comissão Europeia, no âmbito do Programa SPRINT

(European Community Programme for Innovation and Technology Transfer), constitui

um instrumento útil em matéria de avaliação, uma vez que fixa terminologia e define

conceitos básicos, de carácter genérico, mas operatoriamente válidos para o que nos

preocupa neste texto. Assim, "valor" é definido como a relação entre a contribuição de

uma função para a satisfação da necessidade e do custo dessa mesma função1. Esta

definição incorpora o sentido de acção para chegar a um resultado, sentido que se

aproxima da perspectiva que defendemos para o conceito de avaliação: o de operação

metodológica.

Situando os procedimentos de avaliação no campo da Ciência da Informação (C.

I.), verificamos que tem existido uma dispersão de critérios e de parâmetros associados a

práticas e que se acham "fechados" em abordagens diferentes e parcelares da Informação

e dos seus Serviços. Apesar desta dispersão generalizada, alguns autores defendem

posições mais abrangentes, assumindo que qualquer aspecto do funcionamento de um

sistema de informação, enquanto entidade orgânica, é passível de ser avaliado.

Ilustrando esta perspectiva temos, por exemplo, um interessante trabalho de Tom

Wilson2, que responde da forma seguinte à questão What can we evaluate?:

The answer to the question “What can we evaluate?” is very simple: any

aspect of organizational functioning can be subject to evaluation. Thus, we can

evaluate:

- the way the management structure functions;

- internal operations relating to information materials, such as

cataloguing and classification, indexing, etc.;

- library/information services to users;

- new programmes of service delivery;

- new possibilities for technological support to services;

- alternative possibilities for doing anything;

1 EUROPEAN COMMUNITIES. Commission - EUR 13774 : Value analysis glossary. Luxembourg : Office for Official Publications of the European Communities, 1991. ISBN 92-826-2927-9. p. 41. 2 WILSON, Tom - Evaluation strategies for library/information systems. 8 p. [citado em 2003-07-24]. Disponível em: <http://informationr.net/tdw/publ/papers/evaluation85.html>.

3

- the functioning of a total system prior to planning change;

- etc., etc.

A superação das divergências e da multiplicidade de critérios, integrando as

inúmeras facetas passíveis de se constituírem como objecto de avaliação, carece da

adopção de uma estratégia racional e integradora, que podemos centrar em três grandes

áreas de aplicação específica. A avaliação pode, assim, incidir sobre:

1 - o desempenho dos Serviços (diluídos habitualmente na noção de sistema) de

Informação, abordagem acumulada há décadas e muito expansiva sobre a

prestação de uma oferta funcional de qualidade das Bibliotecas, dos Centros de

Documentação e dos Serviços de Informação3;

2 - a "finura", isto é, a eficácia e a eficiência da recuperação da informação,

proporcionada pelos inventários, catálogos, bases de dados, enfim, todos os

instrumentos de acesso à informação, que poderemos designar genericamente por

"índices"4; e

3 - o fluxo da informação5 de qualquer tipo de entidade ou Organização, desde

que ela seja produzida/recebida e acumulada organicamente, ou seja, no decurso

e por efeito de uma actividade, tendo em vista a conservação de "segmentos

informacionais" contínuos e a eliminação do que não precise objectivamente de

permanecer na memória presente e futura, engrossando-a e bloqueando-a6.

Esta divisão metódica em três grandes áreas resulta de uma sistematização que

procurámos fazer, após um levantamento, a título de amostragem, de todo o tipo de

3 De salientar que os estudos focalizados nesta dimensão da avaliação raramente se debruçam sobre o desempenho dos Serviços de Arquivo, sendo na área da Biblioteconomia que se situa a literatura sobre o assunto. 4 Também nesta vertente escasseiam os estudos aplicados a contextos arquivísticos. 5 Este conceito operatório é usado por nós num sentido que incorpora o conceito "processos da organização" criado e empregue pelos especialistas em Sistemas de Informação e definido como grupos de decisões relacionadas logicamente e actividades necessárias para gerir os recursos da organização (cf. AMARAL, Luís; VARAJÃO, João - Planeamento de sistemas de informação. 3ª ed. Lisboa : FCA - Editora de Informática, 2002. ISBN 972-722-193-9. p. 94). 6 Nesta dimensão, tem sido, sobretudo, na área da Arquivística que têm proliferado os trabalhos tendentes a fundamentar, legitimar e orientar práticas de avaliação, motivada, essencialmente, por razões de ordem pragmática (necessidade de libertação de espaço, dada a incapacidade material de conservar toda a informação que é produzida).

4

estudos que incidem, latu sensu, sobre a problemática da avaliação. Uma pesquisa na

Internet sobre o termo evaluation of libraries apresentou como resultado 772 referências,

verificando-se, após a análise das mesmas, uma precisão considerável da informação

recuperada7.

Contudo, nem sempre é possível enquadrar todos os estudos identificados, quer na

Internet, quer em bases de dados bibliográficos, numa única das três áreas definidas.

Acontece, com frequência, que determinados enfoques sobre a questão da avaliação

incidem em variáveis de investigação que podem ser incluídas em mais do que uma

daquelas áreas. Por exemplo, a multiplicidade de estudos relativos a comportamento

informacional8 tanto é abordada sob o prisma do fluxo/uso da informação (área 3), como

se debruça sobre as questões da recuperação da informação e da eficácia dos

instrumentos para esse efeito (área 2). Do mesmo modo, um outro segmento de estudos

relativos à política de aquisições e "constituição de colecções" em bibliotecas/centros de

documentação, pode inserir-se no âmbito da avaliação do desempenho dos serviços (área

1) ou no campo da avaliação do fluxo/uso da informação (área 3). Também a avaliação

da eficácia dos sistemas de recuperação da informação (área 2), que lida frequentemente

com aspectos indissociáveis do comportamento informacional, como seja a identificação

dos interesses dos utilizadores, penetra, claramente, na área do fluxo informacional (área

3). E, na era on line em curso, a avaliação dos Serviços/Sistemas Digitais de Informação

incide inequivocamente nos interesses da pesquisa, logo, no fluxo/uso da informação

(área 3).

Este imbricado de relações entre as diferentes perspectivas, em que problemas

específicos da C. I. se cruzam com temáticas do âmbito da Gestão ou da Sociologia da

Informação, se, por um lado, ilustra bem uma salutar interdisciplinaridade, por outro,

indicia também alguma confusão ou mesmo fragilidade do ponto de vista teórico e

7 Previamente, uma pesquisa incidindo sobre os termos evaluation e libraries teve como resposta a gigantesca quantidade de 828.000 resultados. Obviamente que esta grande capacidade de revocação não é sinónimo de idêntica precisão da informação recuperada, mas não deixa de ser significativa a quantidade de referências relativas a avaliação e bibliotecas, mesmo tratando de questões laterais ou de menor importância.

Curiosamente, uma pesquisa sobre archives evaluation apenas deu como resultado 12 referências, o que mostra como a avaliação de serviços de informação tem incidido preferencialmente sobre as bibliotecas, os centros de documentação e os serviços especializados de informação. 8 Durante muito tempo, esta temática centrava-se nos chamados estudos de utilizadores (user studies); hoje a terminologia aponta mais para a pesquisa em contextos específicos (information seeking and behaviour) e necessidades particulares de informação.

5

metodológico, que urge equacionar e sistematizar, situando em cada uma das grandes

áreas atrás definidas as suas problemáticas próprias.

2. A avaliação do desempenho de serviços de informação

No que concerne à dimensão desempenho dos serviços de informação (área 1), a

literatura produzida é suficientemente esclarecedora, pelo que recuperamos critérios e

procedimentos já estabelecidos e consagrados. Como exemplo paradigmático elegemos,

como ponto de partida, uma obra clássica, que consubstancia a fundamentação

subjacente aos procedimentos de avaliação do desempenho dos serviços de informação.

Trata-se de uma compilação de vinte core articles de vários autores, coordenada por

Jonathan A. Lindsey e com o título Performance evaluation : a management basic for

librarians9, editada em 1986. Este livro é uma referência em matéria de avaliação, uma

vez que retrata aquilo que se poderá chamar "o estado da arte" na década de oitenta,

acompanhado de uma bibliografia anotada que procura fornecer a stronger sense of

balance for an important area of library administration10.

Jonathan Lindsey afirma que, até à década de setenta do século XX – altura em

que se desenvolveram as disciplinas de gestão de pessoal ou gestão de recursos

humanos, nas escolas de gestão –, foi dada pouca atenção às responsabilidades de

supervisão e às capacidades necessárias para desempenhar cargos de administração, no

âmbito das bibliotecas e dos serviços de informação em geral. Porém, os movimentos

em defesa dos direitos humanos e cívicos, nos anos sessenta, favoreceram o interesse

pelas questões de avaliação do desempenho individual, nos contextos industriais, e a

valorização da responsabilidade no seio das instituições públicas, incluindo-se aqui as

bibliotecas11. Este interesse cresceu de forma muito significativa, a ponto de, segundo

Lindsey, a avaliação do desempenho, na época em que o livro foi editado, ter já carácter

de rotina nas bibliotecas americanas.

Uma outra referência obrigatória nesta matéria é o, também clássico, livro de F.

W. Lancaster, intitulado If you want to evaluate your library..., editado em 1988 e

9 Performance evaluation : a management basic for librarians. Ed. by Jonathan A. Lindsey. Phoenix : Orix Press, 1986. ISBN 0-89774-313-X. 10 Performance evaluation (op. cit.) p. viii. 11 Performance evaluation (op. cit.) p. [vii].

6

revisto em 199312, que concentra, de forma modelar, orientações e procedimentos

práticos aplicáveis em qualquer contexto biblioteconómico (mas passíveis de aplicação a

todo o tipo de serviços de informação13), e reúne um apreciável conjunto de referências

bibliográficas sobre a problemática da avaliação de serviços de informação.

Lancaster postula a avaliação como um ramo de investigação (the application of

"the scientific method" to determine, for example, how well a program performs), como

tendo um papel fundamental em decision-making (gathers data needed to determine

which of several alternative strategies appears most likely to achieve a desired result)

ou como sendo uma componente essencial da gestão (in particular, the results of an

evaluation may help the manager to allocate resources more effectively), para concluir

que todos estes pontos de vista são compatíveis entre si14. Reconhece, ainda, que em

todos se eles se enfatiza a natureza prática da avaliação, realizada com o fim de reunir

dados úteis para a resolução de problemas ou a tomada de decisões, mais do que como

um exercício intelectual.

Em face desta postura, é facilmente compreensível que os fundamentos teóricos ou

os princípios orientadores para esta prática tenham de ser procurados nas Ciências da

Administração e da Gestão. Avaliar o desempenho de serviços de informação não será,

em essência, diferente de avaliar outros serviços, pesem embora as especificidades

próprias, que importa conhecer, mas que também existem em serviços de outro tipo,

sejam eles da área financeira, comercial ou industrial.

Um olhar atento sobre o sumário da obra de Lancaster evidencia claramente o que

acabámos de afirmar: um conhecimento e uma análise profundos dos serviços que

importa avaliar (caracterização dos serviços em todas as suas vertentes - document

delivery services e reference services), complementados com a inserção inequívoca das

problemáticas abordadas na área da Gestão (resource sharing, cost-effectiveness

considerations, cost-benefit studies e continuous quality control)15.

12 LANCASTER, F. W. - If you want to evaluate your library... 2nd ed. London : Library Association Publishing, 1993. ISBN 1-85604-083-6. 13 O próprio autor, aliás, assinala esta circunstância, na Introdução do livro: Much of what is discussed in this book as applying to libraries could also apply to other kinds of information services. The term ”library”, then, is used as a shorthand for “libraries and other information center” (LANCASTER, F. W. - Op. cit. p. 1.) 14 LANCASTER, F. W. - Op. cit. p. 1. 15 LANCASTER, F. W. - Op. cit. p. [vii].

7

A vasta literatura produzida sobre avaliação do desempenho de serviços de

informação nas últimas duas décadas confirma exactamente esta linha de orientação. Se

atentarmos em algumas obras recentes, que seleccionámos a título meramente

ilustrativo, rapidamente nos apercebemos de como o essencial dos procedimentos, das

medidas e das orientações seguidas se integra no mundo da Gestão. Vejamos alguns

exemplos:

- Em 1995, a Comissão Europeia publicou, no âmbito do Programa Libraries in

the Information Society, uma espécie de guia, com indicadores de desempenho e

instrumentos de gestão para bibliotecas16. Neste estudo é claramente dito que a

performance measurement is an integral part of the management process17.

- A obra de Claire-Lise Bénaud e Sever Bordeianu, dada à estampa em 1998, sob o

título Outsourcing library operations in academic libraries, é também um bom exemplo

da perspectiva economicista que envolve modernamente os serviços de informação,

recorrendo a conceitos da Gestão para optimizar o desempenho desses mesmos

serviços18. Na introdução da obra afirma-se que outsourcing has risen to the top of

libraries' agendas in the 1990s. Outsourcing is a phenomenon that is sweeping industry

and affecting all sectors of the economy: private, public and academic. (...) Is it a rush

to lean management or just a reaction to the ever-increasing complexity and

competitiveness of business process?19

- Na vizinha Espanha, Juan José Fuentes, doutorado na Universidade de Granada e

actualmente professor na Universidade da Coruña, sintetizou num livro intitulado

Evaluación de bibliotecas y centros de documentación e información, editado em 1999,

os diversos aspectos e enfoques da avaliação dos serviços de informação, relevando

16 WARD, Suzanne [et al.] - Library performance indicators and library management tools. Luxem- bourg : European Commission, DG XIII-E3, 1995. ISBN 92-827-4901-0. De salientar que este ‘guia’ não é uma completa novidade. As bibliotecas universitárias americanas, por exemplo, já em 1979 tinham visto ser adoptadas pela Association College Research Libraries (uma divisão da American Library Association), as Standards for University Libraries, as quais, em 1989, foram revistas e acrescidas do subtítulo Evaluation of performance - cf.: http://www.ala.org/Content/NavigationMenu/ACRL/Standards_and_Guidelines/Standards_for_University-Libraries_Evaluation_of_Performance.htm 17 WARD, Suzanne [et al.] - Op. cit., p. 1. 18 BÉNAUD, Claire-Lise; BORDEIANU, Sever - Outsourcing library operations in academic libraries : an overview of issues and outcomes. Englewood : Libraries Unlimited, 1998. ISBN 1-56308-509-7. 19 BÉNAUD, Claire-Lise; BORDEIANU, Sever - Op cit., p. xvii.

8

igualmente as problemáticas da gestão20. Não deixa, contudo, de englobar no seu estudo

as questões de "avaliação da colecção", aspecto que toca directamente nas necessidades

de informação dos utilizadores e nos objectivos do serviço, ou seja, que está

directamente ligado ao contexto informacional e, por isso, é um tema plenamente

inserido no campo da C. I.

- Uma outra obra, que podemos considerar de referência obrigatória, é o manual de

G. Edward Evans, Patricia Ward e Bendik Rugaas, editado em 2000, que se intitula

Management basics for information professionals21 e que constitui uma nova versão

revista e completamente reformulada de Management techniques for librarians, da

autoria de G. Edward Evans. Temos aqui plenamente assumida a perspectiva dos

gestores de serviços de informação: uma primeira parte (Background) com os

pressupostos básicos, uma segunda (Management: knowledge and skills), com dez

capítulos, todos eles dedicados à gestão, e uma terceira (Managing resources) centrada

no pessoal, nas finanças, na tecnologia e em outros suportes essenciais do

funcionamento das organizações. Num estudo desta natureza, a avaliação preenche um

capítulo inteiro, incidindo naturalmente sobre o desempenho, a qualidade e o controlo.

- Da "escola" francesa surge igualmente uma obra de síntese, intitulada Manuel

théorique et pratique d'évaluation des bibliothèques et centres documentaires, da autoria

de Thierry Giappiconi22. Também este manual não foge à regra: o uso na avaliação dos

serviços de informação de conceitos e instrumentos da Gestão, uma vez que estes

serviços são vistos numa perspectiva organizacional e o seu desempenho é avaliado em

conformidade com os pressupostos da gestão das organizações.

Os exemplos escolhidos um pouco aleatoriamente, mas procurando espelhar as

tendências americanas e europeias, além de denotarem a linha de orientação que subjaz

aos estudos sobre a avaliação do desempenho dos serviços, põem em evidência uma

outra faceta desta dimensão avaliativa: a ausência de estudos sobre o desempenho dos

serviços de arquivo. Conseguimos identificar um texto orientador genérico, editado pela

20 FUENTES, Joan José - Evaluación de bibliotecas y centros de documentación e información. Gijón : Ediciones Trea, 1999. ISBN 84-95178-36-2. 21 EVANS, G. Edward; WARD, Patricia Layzell; RUGAAS, Bendik - Management basics for information professionals. New York ; London : Neal-Schuman Publishers, 2000. ISBN 1-55570-370-4. 22 GIAPPICONI, Thierry - Manuel théorique et pratique d'évaluation des bibliothèques et centres documentaires. Préface de Jacques Bourdon. Paris : Éditions du Cercle de la Librairie, 2001. ISBN 2-7654-0795-9.

9

UNESCO, mas que curiosamente se baseia em princípios da UNISIST e em

normalização internacional, desenvolvidos com vista às bibliotecas23.

Além deste texto, um ou outro livro geral de Arquivística faz alusões à questão da

avaliação dos serviços, mas de uma forma ligeira e pouco fundamentada. A título de

exemplo, vejam-se dois “manuais” recentes em que a gestão de arquivos é a

problemática central. Na obra de Carol Couture e outros colaboradores, intitulada Les

Fonctions de l’Archivistique contemporaine24, o tema da avaliação surge integrado num

capítulo dedicado à política de gestão dos arquivos, sendo considerada uma das “funções

arquivísticas” que deve ser contemplada, pelo gestor do serviço, no seu plano de acção.

Mas, curiosamente, nas páginas onde se aborda de forma sucinta a questão25 não é feita

qualquer referência à avaliação dos serviços, caracterizando-se, apenas em traços gerais,

esta “função arquivística” e remetendo para capítulo próprio o desenvolvimento do tema.

E, esse desenvolvimento trata a avaliação na perspectiva do fluxo informacional e não

do ponto de vista da gestão dos serviços, como é tão comum nos estudos

biblioteconómicos.

De igual modo, a obra de Eduardo Núñez Fernández, Organización y gestión de

archivos26, também é praticamente omissa em matéria de avaliação do desempenho dos

serviços, apesar de incluir um capítulo de quase setenta páginas, intitulado Los Archivos

como sistemas de información27. Discute questões conceptuais em torno das noções de

informação, documentação, documentação administrativa e arquivos, mas só ao de leve

toca na problemática da avaliação, não se podendo sequer considerar que o assunto seja

objecto de análise.

Será legítimo interpretar esta lacuna na literatura sobre arquivos como um sintoma

da separação empírica entre Biblioteconomia/C. I. e Arquivística, em que esta última se

"cola" mais à Administração e à História, descurando uma vertente analítica, estatística e

23 RHOADS, James B. - The Applicability of UNISIST guidelines and ISO international standards to ar-chives administration and records management : a RAMP study. Paris, UNESCO, 1982. (PGI-82/WS/4). 24 COUTURE, Carol [et al.] - Les Fonctions de l’Archivistique contemporaine. Préf. Robert Garon. Québec : Presses de l’Université du Québec, 1999. ISBN 2-7605-0941-9. 25 COUTURE, Carol [et al.] - Op. cit. p. 16-17. 26 NÚÑEZ FERNÁNDEZ, Eduardo - Organización y gestión de archivos. Gijón : Editorial Trea, 1999. ISBN 84-95178-37-0. 27 NÚÑEZ FERNÁNDEZ, Eduardo - Op. cit., p. 541-608.

10

operacional que as Bibliotecas e os Serviços de Informação têm incrementado? Parece-

nos, francamente, que sim!

Estando a avaliação do desempenho dos serviços claramente inserida na área da

Gestão, não é por acaso que, intimamente relacionada com ela, se acha a gestão da

qualidade (um outro aspecto muito caro às modernas teorias da gestão). Também a título

meramente indicativo, veja-se por exemplo, a obra de Peter Brophy e Kate Coulling,

dedicada à Quality management for information and library managers, que permite

perceber como as questões da qualidade são indissociáveis das problemáticas da

gestão28.

O tema da qualidade tem sido, aliás, objecto da maior atenção por parte da ISO

(organismo internacional de normalização), traduzindo-se na elaboração de normas para

a implementação dos chamados "sistemas de gestão da qualidade"29. Com efeito, a

formulação dos requisitos de qualidade surge plasmada no conjunto normativo ISO

9000, que serve de matriz em qualquer contexto organizacional. Curiosamente, começa a

verificar-se que essa formulação é tida em conta no desenvolvimento de normas para

situações específicas, e, naquilo que nos interessa, apreende-se da transposição dos

requisitos de qualidade para os serviços de arquivo, que se pode encontrar, de algum

modo, consagrada na ISO 1548930, relativa à gestão de documentos administrativos31.

Recentemente, a convite da revista Páginas a&b, Anabela Serrano produziu um

estudo sobre a avaliação de serviços de informação no ensino superior onde, além de

apresentar de uma forma sistematizada a produção de literatura sobre esta temática,

analisa os indicadores mais importantes para levar a cabo este tipo de avaliação32. O

28 BROPHY, Peter; COULLING, Kate - Quality management for information library managers. Aldershot : Aslib Gower, 1997. ISBN 0-566-07725-6. 29 Veja-se, a este respeito, as últimas revisões das normas internacionais sobre a qualidade: INTERNATIONAL STANDARD ORGANIZATION - ISO 9000 : sistemas de gestión de la calidad : fundamentos y vocabulario. Ginebra : ISO, 2000; INTERNATIONAL STANDARD ORGANIZATION - - ISO 9001 : sistemas de gestión de la calidad : requisitos. Ginebra : ISO, 2000; INTERNATIONAL STANDARD ORGANIZATION - ISO 9004 : sistemas de gestión de la calidad : directrices para la mejora del desempeño. Ginebra : ISO, 2000. 30 INTERNATIONAL STANDARD ORGANIZATION - ISO 15489-1 : Information and documenta- tion : records management. Part 1 - General. 1st ed. Geneva : ISO, 2001; INTERNATIONAL STANDARD ORGANIZATION - ISO 15489-2 : Information and documentation : records management. Part 2 - Guidelines. 1st ed. Geneva : ISO, 2001. 31 Sobre o assunto, ver por exemplo: MORO CABRERO, Manuela - La Gestión de documentos electrónicos en la norma ISO 15489 sobre gestión de documentos administrativos. Tabula : revista de archivos de Castilla y Léon. Salamanca. ISSN 1132-6506. 5 (2002) 97-129. 32 SERRANO, Anabela - Avaliação de servicos de informação do ensino superior. Páginas a&b : arquivos e bibliotecas. Lisboa. ISSN 0873-5670. 12 (2003) 7-65.

11

enunciado dos critérios e dos parâmetros é uma base suficientemente consistente para a

elaboração de grelhas que, metodologicamente, possam ajudar a operacionalizar a

avaliação na área específica do desempenho dos serviços de informação.

3. A avaliação dos instrumentos de recuperação da informação

Nesta segunda dimensão enfatizam-se os critérios e modelos concebidos para

analisar e avaliar a organização e representação da informação, ou seja, a qualidade do

seu tratamento técnico medida em função das necessidades específicas dos utilizadores.

A dimensão da "finura" e da eficácia dos instrumentos de representação/pesquisa

constitui, na verdade, uma alínea da anterior perspectiva de avaliação, ou seja, o

desempenho dos serviços de informação passa, entre muitas outras coisas, pela avaliação

dos instrumentos que possibilitam a recuperação da informação. Mas, na prática, esta

vertente do desempenho dos sistemas de informação tem sido estudada como uma

variável específica, relativamente autónoma e sujeita a critérios e parâmetros de

avaliação muito próprios.

Podemos afirmar, com segurança, que os primeiros estudos de avaliação nesta área

remontam aos anos cinquenta do século passado. Com efeito, na sequência do

desenvolvimento de novos métodos de indexação propondo a utilização de linguagens

baseadas no princípio da pós-coordenação, desenvolvidos por Cordonnier, em França, e

C. N. Mooers e Mortimer Taube, nos Estados Unidos da América, surgem os primeiros

testes de avaliação dos resultados das pesquisas. Foram realizados por Mortimer Taube,

em 1953, e tiveram como objecto o novo sistema Uniterm, comparando-o com o

catálogo convencional de assuntos, preparado pela ASTIA (Armed Services Technical

Information Agency )33.

De assinalar, por terem sido os primeiros, os testes de Mortimer Taube não

permitiram, contudo, resultados conclusivos, embora tenham influenciado,

decisivamente, estudos posteriores.

33 Os resultados deste estudo foram publicados três anos mais tarde em: GULL, C. D. - Seven years of work on the organization of materials in the special library. American Documentation. Washington. 7 (1956) 320-329.

12

Apesar de a literatura sobre esta problemática ser vasta e diversificada, dada a

multiplicidade de aplicações práticas que ao longo da segunda metade do século XX

foram realizadas, importa salientar que a fundamentação para todo o trabalho de

avaliação dos sistemas de recuperação da informação tem como base estudos levados a

efeito nos anos cinquenta e sessenta. As referências fundamentais nesta matéria

continuam a ser os célebres Projectos de Cranfield I e II, desenvolvidos por Cyril

Cleverdon entre 1957-1963, o Projecto SMART, concebido por Gerard Salton entre

1965 e 1968, e a avaliação do Sistema MEDLARS (Medical Literature Analysis and

Retrieval System), levada a efeito por F. W. Lancaster, nos anos de 1966 e 196734.

Em síntese, podem-se sistematizar os aspectos mais significativos dos estudos de

avaliação realizados nesta época, do seguinte modo:

- mais do que pelos resultados obtidos relativamente à eficácia dos sistemas

testados, as experiências de Cranfield foram importantes porque permitiram identificar

os factores que afectam o desempenho dos Sistemas de Recuperação de Informação e,

34 Sobre estes projectos há muita informação publicada, quer descrevendo os testes de avaliação realizados, quer criticando resultados, quer ainda discutindo metodologias e critérios para a avaliação de sistemas de recuperação de informação. Vejam-se alguns dos trabalhos mais significativos: - Sobre os dois Projectos de Cranfield: CLEVERDON, C. W. - Report on the first stage of an investigation into the comparative efficiency of indexing systems. Cranfield : College of Aeronautics, 1960; CLEVERDON, C, W. - ASLIB Cranfield Research Project : report on the testing and analysis of an investigation into the comparative efficiency of indexing systems. Cranfield : College of Aeronautics, 1962; LANCASTER, F. W.; MILLS, J. - Testing indexes and index language devices : the ASLIB Cranfield Project. American Documentation. Washington. (Jan. 1964) 4-13; SWANSON, Don R. - The Evidence underlying Cranfield results. The Library Quarterly. Chicago. 35:1 (Jan. 1965) 1-20; CLEVERDON, C. W. [et al.] - Factors determining the performance of indexing systems. Cranfield : ASLIB Research Project, 1966. 2 vol.; CLEVERDON, C. W. - The Cranfield tests on index language devices. ASLIB Proceedings. London. 19:6 (June 1967) 173-194; NUYL, T. W. - Examination of the validity of the conclusions arrived at in the ASLIB Cranfield Research Project. Zeist : [FID, Committee on Classification Research], 1967; HARTER, Stephen P. - The Cranfield II relevance assessments : a critical evaluation. The Library Quarterly. Chicago. 41 (1971) 229-243; CLEVERDON, C. W.; MILLS, J. - The Testing of index language devices. In Theory of subject analysis : a sourcebook. Ed. by Lois Mai Chan [et al.]. Littleton : Libraries Unlimited, 1985. ISBN 0-87287-489-3. p. 221-246. - Sobre o Projecto SMART: SALTON, Gerard - The Evaluation of automatic retrieval procedures : selected tests results using the SMART System. American Documentation. Washington. 16:3 (July 1965) 209-222; SALTON, Gerard - Automatic information organization and retrieval. New York : McGraw- -Hill, 1968; SALTON, Gerard; MCGILL, Michael J. - Introduction to modern information retrieval. International student ed. Auckland [etc.] : McGraw-Hill International Book Company, 1983. ISBN 0-07- -054484-0. - Sobre o Sistema MEDLARS: LANCASTER, F. W. - Evaluation of the MEDLARS demand search service. Washington : National Library of Medicine, 1968; LANCASTER, F. W. - MEDLARS : report on the evaluation of its operating efficiency. American Documentation. Washington. 20 (Apr. 1969) 119-142; LANCASTER, F. W. - Aftermath of an evaluation. Journal of Documentation. London. 27:1 (Mar. 1971) 1-10; LANCASTER, F. W. - Evaluating the performance of a large computerized information system. In Theory of subject analysis : a sourcebook. Ed. by Lois Mai Chan [et al.]. Littleton : Libraries Unlimited, 1985. ISBN 0-87287-489-3. p. 326-339.

13

sobretudo, porque desenvolveram métodos aplicáveis à avaliação destes sistemas e

definiram os parâmetros e as medidas a utilizar nessa mesma avaliação;

- os resultados do teste ao sistema SMART confirmaram muitas das conclusões de

Cranfield, embora a principal conclusão de Salton tenha sido a de que não haveria

justificação para realizar indexação manual, com uso de vocabulário controlado, pois a

linguagem natural e a pesquisa em texto livre proporcionavam a mesma eficácia, em

termos de recuperação da informação; contudo, os resultados do teste de Salton foram

criticados pelo facto de se considerar que não era possível aplicar as sofisticações do

projecto a um sistema real, pois a complexidade do processamento automático era de tal

ordem que se tornaria proibitivo, em termos económicos, o seu uso em qualquer sistema

operacional;

- a avaliação do MEDLARS, que adoptou os métodos e as medidas definidos em

Cranfield, funcionou sobretudo como meio de quantificar o desempenho do sistema,

proporcionando igualmente a correcção de inúmeras deficiências detectadas.

Desde os anos setenta do século XX até aos dias de hoje têm proliferado as

experiências e os testes de avaliação do desempenho de sistemas de recuperação de

informação, baseados na fundamentação e nos métodos definidos a partir de Cranfield.

De um modo geral, a avaliação tem procurado comparar o desempenho de diferentes

sistemas, testar a eficácia de sistemas concretos ou avaliar resultados da recuperação da

informação para determinar a qualidade dos instrumentos de pesquisa, designadamente a

qualidade das linguagens de indexação.

Existe uma quantidade avultada de publicações que permite conhecer os estudos

desenvolvidos nesta matéria, especialmente os resultados de testes de avaliação de casos

concretos35, sendo de salientar, nos tempos mais recentes, a proliferação de estudos de

avaliação da recuperação da informação na Internet, muitos deles com o objectivo de

determinar a qualidade da indexação e dos pontos de acesso. Mas, para além desta

literatura dispersa e parcelar, há algumas obras de fundo, que se tornaram clássicas e das

quais relevamos alguns exemplos mais significativos. Desde logo, os escritos de F. W.

35 Uma selecção desta literatura pode ser vista em: RIBEIRO, Fernanda - Indexação e controlo de autoridade em arquivos. Porto : Câmara Municipal, Departamento de Arquivos, 1996. ISBN 972-605- -041-3. p. 81-82. É ainda útil a consulta de: SALVADOR OLIVÁN, José António; ANGÓS ULLATE, José Maria - Evaluación de bases de datos sobre el tema recuperación de la información. In ENCUENTRO DE ISKO-ESPAÑA, Getafe, 1997 - Organización del conocimiento en sistemas de información y

14

Lancaster, autor de referência obrigatória em matéria de avaliação e que aborda, de

forma abrangente, toda esta problemática. No âmbito do Programa Geral de Informação,

da UNESCO, publicou em 1978 um “guia” orientador para os procedimentos de

avaliação, sob o título Principes directeurs pour l’évaluation des systèmes et services

d’information36; como obra de síntese, elegemos o seu livro Information retrieval

systems : characteristics, testing and evaluation (2ª ed., 1979)37.

Um outro caso que merece referência é o, também clássico, livro de Gerard Salton

e Michael McGill, intitulado Introduction to modern information retrieval, onde a

questão da avaliação de sistemas de recuperação da informação é tratada nos seus

diferentes aspectos, nomeadamente no que toca aos parâmetros e às variáveis, às

medidas e aos custos e eficiência38.

De edição mais actual, podemos referir, ainda, para esta panorâmica breve e geral,

ilustrativa da literatura sobre avaliação dos sistemas de recuperação da informação, uma

obra muitíssimo útil, pela abordagem diacrónica e plural que faz desta problemática.

Trata-se do livro de David Bawden, intitulado User-oriented evaluation of information

systems and services39, que associa colaborações de nomes sonantes como Cyril

Cleverdon, David Ellis e Peter Willett. Embora este estudo pudesse ser,

apropriadamente, inserido na dimensão da avaliação que tratámos no ponto anterior, ou

incluído também adequadamente no ponto seguinte – de acordo com as palavras do

autor, the basic unit to be evaluated is an information resource40, o que cai plenamente

na temática do uso/fluxo da informação –, o relevo que dá aos sistemas de recuperação

da informação, faz-nos integrá-lo nesta área41. Apontando já para uma tendência que se

documentación : actas… Ed. por Fco. Javier Garcia Marco. Zaragoza : Universidad, 1999. ISBN 84-930072-0-X. p. 263-274. 36 LANCASTER, F. W. - Principes directeurs pour l’évaluation des systèmes et services d’information. Paris : UNESCO, 1978. (PGI-78/WS/18). 37 LANCASTER, F. W. - Information retrieval systems : characteristics, testing and evaluation. 2nd ed. New York : John Wiley & Sons, 1979. 38 SALTON, Gerard; MCGILL, Michael J. - Op. cit. (especialmente o cap. 5, p. 157-198). Esta obra constitui um referencial indispensável para orientar o modus operandi desta área da avaliação e estabelece as bases essenciais para formalizar um grelha de critérios e parâmetros, que suporte o trabalho no terreno. 39 BAWDEN, David - User-oriented evaluation of information systems and services. Aldershot : Gower, cop. 1990. ISBN 0 566 05209 1. 40 Explica o autor que este information resource pode ser a book, a journal, a library collection, a printed abstracting service, a bibliographic database, etc. (cf. BAWDEN, David - Op. cit. p. 76). 41 Este é um caso claro de interdependência natural entre as problemáticas da avaliação dos serviços (numa perspectiva de gestão) e os aspectos particulares da avaliação dos sistemas de recuperação da informação, cruzando ainda com problemas de comportamento informacional, uma vez que a abordagem é toda ela centrada na óptica dos utilizadores e suas necessidades.

15

veio a consolidar ao longo da última década, a avaliação orientada para as necessidades

informacionais dos utilizadores é a tónica principal desta obra. Esta nova perspectiva

aponta claramente para a realização de estudos de avaliação em ambientes reais, ou seja,

em sistemas de informação operacionais. Não quer isto dizer, na opinião de David

Bawden, que seja de excluir a investigação de tipo laboratorial, mas sim que as técnicas

apropriadas para ambientes experimentais ou de laboratório não podem ser transpostas

linearmente para contextos reais42.

Na mesma linha de orientação, seleccionámos também o livro de Jean Tague-

-Sutcliffe, com o título Measuring information : an information services perspective43, o

qual obteve, em 1996, o prémio para o melhor livro de C. I., da American Society for

Information Science (ASIS), na mesma altura em que o autor foi igualmente galardoado

com o Prémio de Mérito da mesma instituição, pelo seu contributo para a pesquisa e a

formação no campo da C. I. Nesta obra, Tague-Sutcliffe, um especialista em

bibliometria, centra-se na medição do desempenho dos métodos passíveis de fornecer

informação aos utilizadores, como uma componente essencial da avaliação dos sistemas

de informação. Procura, de acordo com a tendência que se consolida nesta área,

apresentar uma quantificação focalizada nos interesses dos usuários, demonstrando que a

avaliação com esta focagem pode ser válida para todos as variáveis que se entenda

escolher no âmbito dos sistemas da informação.

Um outro contributo, mais actual, mas seguindo a mesma tendência, é o livro de

Andrew Large, Lucy A. Tedd e R. J. Hartley, editado em 2001 sob o título Information

seeking in the online age : principles and practice44. Constituindo uma abordagem geral

dos problemas da recuperação da informação em estreita relação com o comportamento

informacional dos utilizadores, contém um capítulo dedicado à avaliação das

pesquisas45, incluindo os ambientes digitais. É particularmente interessante a chamada

de atenção que faz para o desenvolvimento que a investigação qualitativa tem tido neste

campo, em detrimento das perspectivas quantitativistas que fizeram “escola” desde há

cerca de meio século atrás até hoje. Atente-se num breve trecho deste capítulo, que

42 Cf. BAWDEN, David - Op. cit. p. 91-99. 43 TAGUE-SUTCLIFFE, Jean - Measuring information : an information services perspective. New York : American Society for Information Science, 1995. ISBN 0-12-682660-9. 44 LARGE, Andrew; TEDD, Lucy A.; HARTLEY, R. J. - Information seeking in the online age : principles and practice. München : K. G. Saur, 2001.ISBN 3-598-11505-9. 45 Search evaluation. In LARGE, Andrew; TEDD, Lucy A.; HARTLEY, R. J. - Op. cit. p. 277-296.

16

ilustra esta posição: Attempts to evaluate this activity [refere-se a information seeking],

however, have often been experimental in nature, removed from the realities of real

searches by real clients to answer real information needs. More recently greater

emphasis has been placed upon studies in a more naturalistic environment. Quantitative

research techniques that attempt to express performance in mathematical terms have

been supplemented by qualitative techniques that investigate how users themselves

evaluate the search process46.

Os exemplos referidos permitem perceber o tipo de problemas que se colocam

actualmente em matéria de avaliação em geral e, mais concretamente, no tocante aos

instrumentos de recuperação da informação. São, sem dúvida, questões diversas das que

estiveram, durante muitos anos, subjacentes aos estudos desenvolvidos nesta área. Esta

mudança de perspectiva não ocorre por acaso, mas insere-se na alteração paradigmática

em curso na própria C. I. O direccionamento do olhar para as problemáticas do âmbito

psicológico ou psico-cognitivo e sociológico é uma inevitabilidade, dado que esses

aspectos são indissociáveis do estudo da informação, encarada como fenómeno humano

e social. A ênfase no comportamento informacional, a que assistimos de forma mais

evidente nos últimos anos, é um sinal desta mudança, embora a fundamentação teórica

ainda nos surja fragilizada, parcelar e pouco sistemática. A maior parte dos estudos

continua a favorecer a componente prática (experiências concretas) do problema e a

encarar a avaliação como uma ferramenta operativa desligada de um quadro teórico e

metodológico abrangente que lhe dê sentido.

4. A avaliação do fluxo informacional

Chegamos, finalmente, à terceira e última área, que, do ponto de vista teórico-

-metodológico, pode ser considerada a primeira e a prioritária no âmbito da actividade

investigativa da C. I. Estudar e acompanhar, com soluções teórico-práticas, a criação, a

circulação, o armazenamento, a recuperação e a difusão da informação, entendida esta

como um fenómeno (e processo) humano e social para o qual assentamos já numa

46 LARGE, Andrew; TEDD, Lucy A.; HARTLEY, R. J. - Op. cit. p. 277.

17

definição operatória47, é a missão nuclear ou core da C. I. Não surpreende, pois, a

importância que aqui atribuímos à referida área em que incide a avaliação, enquanto uma

das operações axiais do pólo técnico que integra o método quadripolar48.

Mostraremos o modus operandi específico, mas antes importa destacar alguns

pressupostos básicos sem os quais não se percebe a perspectiva de aplicação que

ousamos propor.

Em primeiro lugar, não restringimos o fluxo da Informação à tramitação

administrativa e burocrática que a Arquivística tem enfatizado quando sublinha a

necessidade de avaliação das massas documentais acumuladas e quando defende a

pretensa "teoria das três idades" (corrente, intermédia e definitiva ou histórica) como

"método" e critério de selecção e de triagem. Todo o tipo de Informação desde que seja

criado e flua num ou em diversos contextos organizacionais ou combinatórios deve ser

avaliado e com a mesma matriz (com indicadores e categorias adicionais). Se estivermos

perante a documentação produzida, recebida e acumulada por um Departamento,

Divisão ou Repartição de um qualquer Organismo da Administração (Central ou Local)

podemos e devemos aplicar a mesma matriz da operação técnica avaliação que se aplica

à documentação feita e posta a circular por via electrónica e impressa relativa a um leque

reduzido de temáticas muito especializadas que interessam a uma Unidade Fabril,

Laboratorial ou Comercial. O que deve ficar na respectiva Memória? Tudo? Impossível?

O quê então?

Em segundo lugar, a ideia clássica e restritiva de que só podemos eliminar a

documentação interna e oficial produzida pelas Administrações (correspondência,

contas, relatórios, etc.) e não a que vai sendo editada, coligida e consultada em

Bibliotecas e Centros de Documentação não faz sentido à luz do paradigma imposto ou

modelado pela Sociedade da Informação em que vivemos e em que nos embrenhamos

cada vez mais. Um paradigma que obriga a repensar radicalmente a concepção

patrimonialista (estática e supostamente autónoma do dia a dia dos actores sociais e

47 SILVA, Armando B. Malheiro da; RIBEIRO, Fernanda - Das "ciências" documentais à ciência da informação: ensaio epistemológico para um novo modelo curricular. Porto: Edições Afrontamento, 2002. ISBN 972-36-0622-4. p. 37 48 Esta perspectiva parece-nos bem mais consistente ao nível epistemológico que a empiricamente defendida pelos arquivistas que insistem em enfatizar a metodologia da avaliação (aplicada a arquivos), mesmo aqueles que se estão a aproximar de um paradigma novo (ver - BURELL, Mats - Appraisal and information theory. Comma. Paris. ISSN 3-598-01363-9. 1 (2004) 55-61). Sobre o método quadripolar e

18

históricos) de que a Arquivística continua a reclamar-se herdeira e porta-estandarte

através da "teoria das três idades"49. Em estudo anterior50 desmontamos as fragilidades

dessa pretensa "teoria", pelo que não vamos repetir aqui a fundamentação da crítica feita.

A documentação produzida e acumulada tem de ser avaliada — e este ponto é

consensual —, mas não como um fim em si mesmo determinado por interesses quase

exclusivamente historicistas. Tem de se operar uma inversão completa de perspectiva e

isso implica assumir a avaliação como uma peça-chave de um corpus teórico-metodo-

lógico mais vasto e consistente. E implica também perceber que o objecto avaliável não

é algo meramente palpável e fisicamente espalhado por quilómetros de prateleiras, de

estantes e de compartimentos ou salas-depósios, mas o natural e infindável produto da

mente humana (fenómeno e processo) designado pelo termo/conceito Informação, hoje

tão em voga (daí alguns riscos semânticos que é preciso evitar).

Em terceiro lugar, os critérios dinâmicos que conferem sentido ao fluxo

informacional concentram-se na memória de qualquer entidade que produz e acumula ou

que recebe e acumula a Informação, ganhando, por isso, a noção de memória

institucional ou organizacional (tal qual é vital a memória pessoal ou individual) um

relevo enorme e fundamentalmente prospectivo. Memória articula-se intimamente com

Informação, postos os olhos no presente e no futuro: só se justifica preservar e acumular

sua fundamentação no campo da Investigação Qualitativa em geral e no da C. I. em particular, ver: SILVA, Armando B. Malheiro da; RIBEIRO, Fernanda - Op. cit. p. 79-121. 49 Em contraponto a essa tríade julgamos suficientes duas únicas fases: a de criação ou produção (genésica) e a da conservação e uso (pós-genésica). E não vemos nenhuma necessidade ou utilidade objectivas em distinguir, na fase estável, pós-genésica, pós-decisória e definitiva, a pretensa "idade" intermédia, absolutamente artificial, porque ela só se verifica naqueles documentos simples, compostos e séries passíveis de serem eliminados e protegidos até esse momento por um prazo legal variável de preservação (5 a 40 anos na legislação portuguesa) fixado nas denominadas "tabelas de temporalidade" publicadas em boletins oficiais (ver: INOJOSA, Rose Marie - Tabelas de temporalidade na USP : manual de elaboração. São Paulo : Universidade de São Paulo; CODAGE, 1996; e INOJOSA, Rose Marie - Gerenciamento de documentos: avaliação. In SEMINÁRIO NACIONAL DE ARQUIVOS UNIVERSITÁRIOS, 1, Campinas, 1991 - Atas. Campinas : UNICAMP, 1992. p. 261-271). Não vemos, de facto, qualquer vantagem prática e muito menos científica na publicação dessas longuíssimas tabelas, de manejo por vezes mais difícil que o das "listas telefónicas", onde se "arrola" toda a informação (tanto eliminável, como conservável) produzida/recebida pela entidade, quando o que possui interesse para o conhecimento do sistema informacional e que merece ser divulgado com "chancela" jurídica é tão somente a destruição dos "desperdícios informacionais" avaliados rigorosamente como tais. A restante informação de conservação definitiva (no mesmo ou em suporte diferente) deve manter-se acessível através dos instrumentos de pesquisa (guias, inventários, catálogos, etc.) que, mais ou menos desde a sua criação/recepção, a tornam facilmente reproduzível e comunicável. 50 SILVA, Armando B. Malheiro da; RIBEIRO, Fernanda - A Avaliação em Arquivística : reformulação teórico-prática de uma operação metodológica. Páginas a&b : arquivos e bibliotecas. Lisboa. ISSN 0873-5670. 5 (2000) 57-113.

19

Informação para gerar, estimular e qualificar a ACÇÃO de hoje e de amanhã. Toda a

memória é selectiva e a memória organizacional e institucional também o é

forçosamente, mas a selecção opera-se, aqui, por duas vias: ou pela aleatoriedade

determinada pelas premências do dia a dia ou por sentido de pertença ou por pertinência

ditada pelos objectivos essenciais, estruturantes e duradouros da Organização ou

Entidade. A primeira via é muito comum onde reina o imediatismo, a falta de

planeamento e a gestão improvisada e casuística. A segunda via é aconselhada cada vez

mais pelos gurus da gestão, sob diferentes nomes, expressões e modelos, e representa, de

facto, a única garantia de se atingir uma inovação sustentada pela experiência e pela

informação acumulada e filtrada à luz das linhas de força da missão directora a médio e

longo prazos. Criam-se e recriam-se novas estratégias e iniciativas com base no

remanescente dos fluxos informacionais passados e com base numa vasta recolha e num

permanente tratamento técnico de informação de múltiplos sectores e latitudes.

Em quarto lugar, não nos parece consistente e viável avaliar o fluxo informacional

sem o "configurarmos" ou o "focarmos" através de uma teoria e de modelos concebidos

e desenvolvidos para a obtenção de bons e melhores resultados. A nossa preferência pela

teoria sistémica, exposta já em diversos escritos e ocasiões, está sujeita ao processo de

demonstração em curso em diferentes situações de estudo, de implementação

organizacional e de investigação. O balanço possível, nesta fase ainda incipiente, é

animador e, por isso, consideramos muito estimulante obter conclusões, necessariamente

provisórias e reversíveis, da avaliação dos fluxos dentro dos mais diversos quadros

sistémicos — fluxos em diferentes Organizações e Entidades (pessoais, associações de

qualquer tipo, pequeno comércio, etc.) e em condições não organizacionais (os

chamados sistemas combinatórios sujeitos à tensão e interacção de micro e macro-com-

portamentos).

Sublinhados estes pressupostos fica mais fácil e claro expor a operacionalização da

avaliação dos fluxos informacionais em sistemas (organizados ou operatórios e

combinatórios, embora a nossa atenção, aqui, incida mais sobre aqueles por cobrirem

uma incomensurável maioria de casos). E começamos por colocar em evidência os três

tipos de indicadores essenciais:

20

- a pertinência, que significa literalmente pertença à acção de alguém ou entidade,

pode ser mensurável, em termos informacionais, através do trinómio objectivos

essenciais (razão de ser) + estrutura orgânica e competências/funções51 + memória,

numa gradação de três níveis (A, B e C), correspondentes a uma relação directa,

indirecta ou periférica, dos actos informacionais com o trinómio enunciado;

- a densidade, que significa à letra qualidade daquilo que é denso, espesso,

compacto, implica, em termos informacionais, saber se um acto ou documento é

primário/original, com/sem duplicação/cópia exacta, ou se é secundário (resumo ou

síntese, parcela e acumulação de documentos primários/originais), com/sem

duplicação/cópia;

- a frequência, que significa repetição amiudada de actos ou sucessos é entendida,

aqui, como quantificação da periodicidade de uso/acesso à informação, quer na fase

de produção/recepção (fase genésica ou decisória, chamada também corrente ou

administrativa), quer na fase imediatamente posterior (fase estável, pós-genésica e

pós-decisória, que é perene e definitiva, assim como progressivamente mais aberta

a um acesso externo ao sistema arquivo), podendo os resultados a obter em ambas

as fases esclarecer-nos cabalmente sobre se há ou não um "uso intermédio" (muito

discutível) e ainda se é verdade ou não que a Administração perde totalmente a

necessidade de acesso a informação com mais de quarenta anos de idade (ver

Anexo)

Os indicadores ou parâmetros expostos têm de ser enfatizados e cruzados de modo

a conseguir-se uma "leitura" global e científica, análoga, aliás, à já obtida estatisticamente

pelas leis infométricas ou bibliométricas52.

51 Secundarizamos, aqui, a noção de actividade, que tem um sentido geral (a soma de acções, de atribuições, de encargos ou de serviços desempenhados por uma pessoa física ou jurídica) e enfatizamos a competência (em sentido jurídico é a aptidão de uma autoridade pública de efectuar determinados actos; em sentido mais geral é a capacidade ou aptidão de alguém para uma actividade ou para um desempenho especifico/função) e a função (do latim functio/fungi significa exercer, desempenhar, ocupar cargos ou empregos, prática ou exercício de cargo ou missão específica. Baseamo-nos, para esta brevíssima sinopse, meramente indicativa, em minuciosa e extensa pesquisa terminológica cedida gentilmente pela colega arquivista e amiga Sílvia Mendes Masson. 52 Ver uma sinopse propedêutica destas leis em: TURNER, William - Infométrie. In Dictionnaire encyclopédique de l'information et de la documentation. Dir. Serge Cacaly. Paris : Éditions Nathan, 1997. ISBN 2-09-190528-3. p. 294-296; DUTHEUIL, Christian - Bibliométrie. In Dictionnaire encyclopédique de l'information… (op. cit.) p. 72-75; EGGHE, Leo - Loi de Braford. In Dictionnaire encyclopédique de l'information… (op. cit.) p. 390-392; LE COADIC, Yves-François - Loi de Lotka. In Dictionnaire

21

Vejamos, pois, com o necessário detalhe o esquema matricial proposto para as

diligências metodológicas de avaliação que incidam sobre o fluxo informacional seja qual

for o respectivo contexto organizacional.

O primeiro parâmetro — pertinência — pressupõe uma exaustiva e profunda

recolha de dados indispensáveis a uma caracterização estrutural (orgânico-funcional) da

Organização (ou entidade), que normalmente os organigramas e os fluxogramas53 ajudam

imenso a ilustrar, e a uma análise/avaliação criteriosa que o investigador ou o especialista

em C.I. deve assumir sem receio, nem complexos, com humildade científica e, ao mesmo

tempo, com a serena consciência de quem não pára de se dotar dos meios e recursos

teórico-metodológicos imprescindíveis a um conhecimento sempre mais completo e

amplo do seu campo de estudo. Uma postura que o torna interlocutor mais apto num

quadro mais vasto de participação interdisciplinar, onde, por exemplo, administrativos,

gestores e outros intervenientes no processo informacional e organizacional assumem um

papel de indiscutível relevo. O diálogo vivo e construtivo com estes e outros agentes deve

constituir uma prática regular e normal concretizada tanto informal, como formalmente:

disponibilidade fácil e espontânea para dar entrevistas, responder a inquéritos e integrar

pesquisas comuns; e, de modo mais formal, integrar grupos de trabalho sectoriais ou uma

Comissão Consultiva representativa de toda a entidade, mas com competências e

objectivos algo diferentes das "Comissões Centrais e Sectoriais de Avaliação" propostas

por Ieda Pimenta Bernardes54 ou da solução centralista do Instituto dos Arquivos

Nacionais/Torre do Tombo55 e bastante próximos do método participativo de

conhecimento e avaliação da informação - pca-info defendido por Rose Marie Inojosa56.

encyclopédique de l'information… (op. cit.) p. 392-393; LAFOUGE, Thierry - Loi de Zipf. In Dictionnaire encyclopédique de l'information… (op. cit.) p. 393-394. 53 Sobre o modo de representar o workflow (fluxo) informacional numa organização seguimos os ensinamentos de: SOUSA, Rui Manuel Dinis de - Técnicas de modelação de processos para a redefinição de processos organizacionais (bpr). Braga: Departamento de Informática, Escola de Engenharia, Universidade do Minho, 1997. (Dissertação submetida à Universidade do Minho para obtenção do grau de Mestre em Informática de Gestão, sob a orientação do Doutor João Álvaro Carvalho). 54 Ver: BERNARDES, Ieda Pimenta - Como avaliar documentos de arquivo : oficina realizada no dia 18 de Outubro de 1997 pela AAB/SP - Associação dos Arquivistas Brasileiros/Núcleo Regional de São Paulo, como parte do Projeto "Como fazer". São Paulo : Arquivo do Estado, 1998. p. 19-21. 55 O órgão de coordenação arquivística em Portugal, denominado Instituto dos Arquivos Nacionais/Torre do Tombo (IAN/TT), editou não há muito tempo dois estudos sobre a avaliação e a gestão documental, a saber: HENRIQUES, Cecília; BARBEDO, Francisco; MONTALVÃO, Luís - Manual para a gestão de documentos. Coord. Madalena Garcia, Maria João Pires de Lima. Lisboa : Instituto dos Arquivos Nacionais/Torre do Tombo, 1998; e PÓVOAS, Ana Maria Sarmento; HENRIQUES, Cecília; LIMA, Maria

22

Coordenar e tutelar é algo bem diverso que participar interdisciplinarmente e, por

isso, o pca-info, sujeito embora a alguns ajustes e correcções, afigura-se-nos, do ponto de

vista teórico fundamentador, uma aposta saudável e válida porquanto visa a

descentralização político-administrativa — condição sine qua non da vontade colectiva

de democratizar a informação — e é nesta linha que pode ocorrer a permeabilização e a

transferência para os geradores de informação e para todos os cidadãos de decisões

sobre os recursos informacionais da sociedade. Para nós — afirma Rose Marie Inojosa

— é aí que reside a ampliação da efetividade dos arquivos, enquanto instrumento de

autoconhecimento da sociedade57. E na base do pca-info acha-se necessariamente a

noção de responsabilidade partilhada, devendo, pois, ser desenvolvido de uma forma

participativa e descentralizada, o que pode ser conseguido através 1º do conhecimento

dos produtos documentais pelos integrantes da própria organização geradora; 2º de um

processo de avaliação conjunta que os torne partícipes e co-responsáveis sobre o uso e o

destino desses produtos documentais; e 3º de uma conscientização como um direito de

cidadania"58.

Percebe-se, assim, a importância do pca-info para um bom desempenho

metodológico da análise/avaliação do fluxo e da memória informacionais de determinado

sistema activo, em particular na determinação rigorosa dos três níveis acima indicados.

O nível A compreende toda a informação directamente relacionada com os

essenciais e, geralmente, imutáveis objectivos da entidade produtora de sistema de

informação (inscritos, normalmente, na sua "constituição" fundacional), cumpridos

através de uma estrutura orgânico-funcional que evolui e se transforma ao longo do

tempo, mas permanece sempre implicada e empenhada na concretização quotidiana de

tais fins originários. A título de exemplo, bastará lembrar que os objectivos pedagógicos

de uma Escola, seja de que nível for, envolvem toda a respectiva estrutura organizacional

e projectam-se num volume considerável de actos informacionais (documentos simples,

compostos e em série (impressos ou editados, dactiloscritos, informáticos, audio-visuais,

João Pires de - Orientações técnicas para avaliação de documentação acumulada. Lisboa : Instituto dos Arquivos Nacionais/Torre do Tombo, 1999. 56 Ver: INOJOSA, Rose Marie - Descentralização e racionalização. Boletim do Arquivo. São Paulo. 3:1 (Jan.-Jul. 2000) 71-81. 57 Cf.: INOJOSA, Rose Marie - Descentralização e racionalização (op. cit.) p. 72. 58 Cf.: INOJOSA, Rose Marie - Descentralização e racionalização (op. cit.) p. 78.

23

fotográficos ou gráficos); e o mesmo se passa com um Tribunal, um Hospital, um Banco,

etc.

No nível B entra apenas a informação relacionada com as usualmente

denominadas “funções-meio”, ou seja, informação produzida/recebida no processo de

gestão da Organização tendo em vista os objectivos que justificam e legitimam a sua

existência, a saber: a parte contabilística e financeira; a administração dos recursos

humanos e técnicos (equipamentos, material de apoio, etc.); e a variedade de contactos

externos indispensáveis à acção normal e finalizadora. Este nível existe em todo e

qualquer tipo de S. I. desde que organizado ou operatório.

Por último, temos o nível C que engloba alguns actos informacionais

objectivamente marginais ou periféricos quer aos objectivos, quer às "operações" de

apoio à gestão, e, sobretudo, toda a redundante "ganga" de documentos e de séries

documentais resultantes de práticas administrativas e executivas anacrónicas, rotineiras e

irracionais (desde os famosos "triplicados" ou "quintuplicados" até aos originais de

"documentos de controlo" ou relativos a actos efémeros e de flagrante caducidade

informacional) ainda muito comuns em certos modelos organizacionais burocratizados,

verticais e imobilistas. "Ganga" essa considerada há muito pela experiência dos records

managers como "eliminável" na origem ou, por outras palavras, liquidada logo no início

do processo quotidiano e corrente do fluxo informacional. Conclui-se, assim, que a

inclusão neste terceiro nível significa, só por si, a possibilidade concreta de eliminação,

embora pontualmente impedida por resultados excepcionais do parâmetro frequência ou

por resultados especiais e esporádicos obtidos mediante a aplicação do pca-info. E

importa ainda notar o absurdo da denominada conservação por amostragem59, conceito

59 Os autores do Manual para a gestão de documentos, editado pelo IAN/TT e antes citado, afirmam que Só deverá proceder-se à amostragem quando: - as características da documentação se prestem à aplicação destes métodos; e - não se reconheça à série em causa um interesse informativo que justifique a sua conservação permanente global e simultaneamente se considere demasiado radical a opção pela eliminação global, ou - se considere oportuna a conservação de alguns espécimes numa série de eliminação na generalidade e distinguem quatro métodos geralmente reconhecidos: a amostragem exemplar (consiste em conservar um ou mais espécimes da série que em alternativa seria totalmente eliminada), a selectiva (implica uma selecção qualitativa, isto é, conservam-se alguns exemplares da série, não a título ilustrativo de uma prática administrativa mas porque aos mesmos se reconheceu um valor excepcional para fins de investigação, de acordo com um conjunto de critérios específicos pré-concebidos), a sistemática (resulta do estabelecimento de uma determinada pauta de selecção fundada em qualquer característica material dos documentos, conserva-se cada enésimo elemento da série, todos os processos dos anos que terminam em 2, todos os processos cujo número termina em 7, todos os apelidos que começam com a letra F, etc.) e a aleatória (para o ser verdadeiramente, não implica simplesmente selecção "ao acaso", antes exige que todos os elementos da série tenham as mesmas probabilidades de serem

24

importado do trabalho científico experimental sem qualquer proveito objectivo: na prática

mais se assemelha a uma maneira "consensual" de satisfazer os utilizadores dos Arquivos

Históricos.

O segundo parâmetro — densidade — influi também decisivamente na "limpeza

cirúrgica" da memória institucional ou organizacional, porque um acto informacional

primário/original dispensa o seu duplicado absolutamente idêntico (não entra nesta

categoria, por exemplo, a minuta ou o rascunho de uma acta de reunião de Câmara ou de

um qualquer Conselho de Gerência) e um acto secundário (resumo ou síntese, parcela, ou

acumulação, de actos primários/originais) será substituível pelo primário, excepto no caso

do tipo resumo/ficheiro/base de dados (feito para condensar os dados essenciais de

processos administrativos ou judiciais com formulários muito repetitivos e "pobres") e do

cumulativo (exemplo muito comum: relatórios anuais que concentram a informação

dispersa por outros parcelares, elaborados mensal, trimestral ou semestralmente). Há

ainda uma outra categoria que é a “progressiva” que inclui certos tipos de informação

relacionados com funções específicas (a científica e a comercial) sujeitas a alterações ou

evoluções periódicas: um prospecto comercial vale para uma campanha de meses ou de

um ou dois anos, ficando a partir daí desactualizado, o que torna inevitável a sua

eliminação e aconselhável — acrescentamos nós — atender à sua relação com o

parâmetro da pertinência. É, por isso, conveniente e obrigatório, nesta e em todas as

situações, "cruzar" ou relacionar parâmetros e níveis.

Por último, há a considerar o parâmetro frequência ou da periodicidade (taxa) de

uso baseada numa média-padrão que podemos fixar em cinquenta e dois (52)

pedidos/requisições por ano, equivalente a um por semana. Abaixo desta média teremos

usos fracos e mínimos (se inferiores a 20) e acima dela usos médios e máximos, variando

ainda o sentido da taxa obtida consoante diversos itens: identificação do(s) utilizador(es);

justificação do pedido; ocorrência num período muito concentrado ou curto de tempo

(semestre, três meses seguidos, um mês, quinze dias ou uma semana); etc. Os resultados e

o seu sentido próprio não interferem directamente na escolha da informação eliminável,

seleccionados) - cf.: HENRIQUES, Cecília; BARBEDO, Francisco; MONTALVÃO, Luís - Op. cit. p. 3-10 a 3-14.

25

porque à partida um baixo uso pode corresponder a um conjunto de actos (documentos,

em série ou não) primários de nível A, ou seja, de conservação definitiva. No entanto,

eles são indispensáveis para que possamos compreender o processo informacional em

várias das suas propriedades intrínsecas (atrás enumeradas) e como as organizações

"lidam" com a sua própria memória.

Afectando aos três parâmetros que norteiam a avaliação um índice de ponderação

como elemento quantificador (1 ou 0, em que 1 significa informação a conservar e 0

informação eliminável), é possível estabelecer uma matriz que tipifica as situações de

cruzamento entre os referidos parâmetros e, assim, tomar uma decisão objectiva sobre a

retenção da memória informacional ou a sua eliminação (ver Anexo).

5. Notas finais de operacionalização metodológica

Avaliar não é, obviamente, exclusivo da C. I., nem de outras Ciências Sociais.

Avaliar também não é apenas o que pode parecer: uma tarefa ou um desempenho

específico que alguém cumpre como se apertasse um parafuso ou desse uma martelada.

Avaliar é, desde logo, um verbo que adquire sentidos diferentes em função do quadro de

aplicação. Se estamos a pensar num quadro científico-técnico, avaliar não surge isolado

como acto ou, mais apropriadamente, como operação. Esta ideia-força deve ficar bem

frisada aqui, porquanto motivou a elaboração deste artigo: enquadrar a avaliação como

uma das operações axiais do pólo técnico do método quadripolar ajustado à investigação

qualitativa em Ciências Sociais e agregar as áreas de aplicação até agora vistas e

desenvolvidas como independentes e fragmentadas.

Avaliar o desempenho de Serviços (muitos institucionalizados e outros, cada vez

mais e mais, proporcionados pela informática e pela telemática), a qualidade (eficácia,

eficiência e rapidez) dos instrumentos de recuperação da informação (satisfação ou

insucesso na pesquisa controlada sobretudo e cada vez mais nos motores de pesquisa

disponíveis na Internet) e circulação, retenção selectiva e recuperação do fluxo

informacional que existe, tal qual o oxigénio, em todos os sectores, grupos e instituições

da sociedade humana à superfície do globo terrestre não são coisas diferentes. Fazem

parte integrante de uma única operação técnica, precedida pela observação e,

26

eventualmente, pela experimentação, sendo imprescindível ao seu corolário lógico que é

a análise.

Entre outras vantagens, o método quadripolar permite situar operações e

procedimentos técnicos em núcleos polares interactivos, interligados e geradores de um

proveitoso e efectivo ganho científico em espiral.

Através do pólo epistemológico todo o sujeito que estuda, indaga, investiga e testa

soluções teórico-práticas no campo científico da Informação é obrigado a interrogar-se e

a perceber os seus limites. Neste pólo o sujeito epistémico depara-se com a subtil e lenta,

mas fundamental mudança de paradigma, que o mesmo é dizer com a mudança do modo

de ver ou da matriz psicológica, formativa, económica e sócio-política. Nenhum

cientista, seja das "ciências duras", seja das "moles" desenvolve o seu trabalho integral

"a frio" ou "sem alma". Pelo contrário, são hoje sobejamente reconhecidos os

condicionalismos (preconceitos, preferências, rejeições, etc.) quer inatos, quer

adquiridos, implicados na actividade científica, sem que isto justifique ou legitime,

porém, delírios relativistas60.

O pólo teórico também antecede e orienta os procedimentos técnicos do método,

na medida em que se é sabido que os elementos obtidos por observação, os resultados

conseguidos com diferentes tipos de experimentação e as indicações da avaliação/análise

contribuem directamente para (re)formular hipóteses e consolidar teorias, é óbvio que

sem hipóteses e teorias o estudo e a resolução científica do problema/de qualquer

problema, prévia e devidamente identificado, ficam bloqueados ou gravemente

distorcidos.

Sem o pólo técnico não podemos chegar à ultimação dos resultados e à sua

difusão, discussão, revisão e impacto em posteriores pesquisas e na condução de novos

projectos de investigação que se operam através do pólo morfológico, mas tem de ficar

claro que a operação avaliação (geminada com a análise e uma das axiais do pólo

técnico), não ocorre em C. I. no vazio ou sem que se pretenda atingir um estádio de

explicação compreensiva ou de resolução prática devidamente fundamentada ao nível

teórico. Avaliar e obter elementos expressivos, por exemplo, do desempenho de Serviços

de Informação pressupõe um quadro teórico sólido e em permanente revisão e evolução

60 Uma posição de equilíbrio magistralmente exposta e fundamentada pode ver-se com proveito em: LUZ, José Luís Brandão da - Introdução à epistemologia : conhecimento, verdade e história. Lisboa : Imprensa Nacional-Casa da Moeda, 2002. ISBN 972-27-1184-9.

27

que exige, entre outros requisitos metodológicos, uma sólida definição operatória de

Informação e a presença de um corpus teórico afinado e apto a ajudar o sujeito a

interpretar, explicar, compreender e resolver a problemática sob o enfoque científico. A

teoria sistémica é uma das demonstráveis nesta área de aplicação e extensiva também à

área do fluxo informacional, como outras.

No plano mais concreto e operacional do naipe de técnicas necessárias à realização

profícua da pesquisa, o sujeito/investigador tem de assumir a condição de artífice

contínuo e constante de ferramentas que se justificam plenamente num projecto, sendo

absurdas em outro. É preciso, pois, distinguir no que à avaliação concerne a

possibilidade de uma matriz uniforme concebida e aplicada na área do fluxo

informacional (ver Anexo), ao mesmo tempo que não temos um único instrumento, mas

uma oferta mais diversificada que vai desde normas ISO até grelhas específicas quer na

área do desempenho de Serviços, quer na da recuperação da informação.

Uma diversidade de utensilagem técnica compreensível e desejável. Não se tome,

porém, a nuvem por Juno. Essa utensilagem pode ter múltiplos "formatos e tons" mas

cabe dentro das operações do pólo técnico que incidem sobre o fenómeno e o processo

da Informação na sua integridade e globalidade. Há uma unidade do objecto estudado e,

em simultâneo e sem qualquer paradoxo, uma diversidade de recursos no interior do

aparato metodológico com que se estuda.

Com este artigo pretendemos, sem dúvida, enfatizar este último aspecto, que

reputamos de crucial a fim de que passemos a trabalhar em C. I., de forma coordenada,

interactiva e consistente. Que cada um por si, mas cada vez mais em rede com todos os

outros que se reclamem de obreiros de um campo científico em permanente construção,

possa ajudar a cumprir este desiderato.

28

ANEXO

Parâmetros e níveis da avaliação aplicada ao fluxo informacional

- Levantamento da informação produzida/recebida/acumulada e sua contextualização:

OBJECTIVOS ESTRUTURA ORGÂNICO- -FUNCIONAL

COMPETÊNCIAS

ATRIBUIÇÕES

ACTIVIDADES

(procedimentos/tarefas)

SÉRIES e/ou TIPOS

INFORMACIONAIS

(...) (...) (...) (...) (...)

- Parâmetros da avaliação:

PERTINÊNCIA (pertença, em termos informacionais, à acção de alguém ou de uma

entidade)

Nível A (informação directamente relacionada com os objectivos / estrutura orgânico-funcional / memória)

Nível B (informação indirectamente relacionada com os objectivos / estrutura orgânico-funcional / memória)

Nível C (informação periférica e/ou desactualizada face aos objectivos / estrutura orgânico-funcional / memória)

(Ponderação: 1 (inf.de nível A ou B) ou 0 (inf. de nível C)

DENSIDADE

Informação primária

Informação secundária (produzida a partir da primária)

- Parcelar

- Resumida

- Cumulativa

Informação progressiva (em C e T)

Informação duplicada

(Ponderação: 1 (inf. mais densa) ou 0 (inf. menos densa)

FREQUÊNCIA (de uso)

Uso máximo/médio – uma ou mais do que uma vez por semana

Uso mínimo – menos de uma vez por semana

(Ponderação: 1 (uso máximo/médio) ou 0 (uso mínimo)

29

Análise das séries e/ou tipos informacionais

PERTINÊNCIA:

Nível A ___ Nível B ___ Nível C ___

Ponderação ___ (1 ou 0)

DENSIDADE:

Estabelecimento das relações informacionais para determinação da densidade:

RELAÇÕES INFORMACIONAIS

Informação em análise Informação relacionada (1)

Informação primária __

Duplicada __

Informação primária __________________

Informação primária duplicada __________

Informação secundária ______

Parcelar __________________________

Resumida _________________________

Cumulativa ________________________

Informação progressiva (C e T) __________

Informação secundária __

Parcelar __

Resumida __

Cumulativa __

Duplicada __

Informação primária __________________

Informação secundária ________________

Informação secundária duplicada________

Informação progressiva (C e T)__________

Informação progressiva (C e T)

Duplicada __

Informação primária ___________________

Informação secundária _________________

Informação progressiva duplicada _________

(1) Mencionar, em cada caso, a referência das séries ou tipos informacionais relacionados com a informação em análise, referida na 1ª coluna

Ponderação ___ (1 ou 0)

30

FREQUÊNCIA:

Uso máximo/médio – uma ou mais do que uma vez por semana - 1

Uso mínimo – menos de uma vez por semana - 0

Ponderação ___ (1 ou 0)

- Decisão sobre o destino final da informação:

PERTINÊNCIA DENSIDADE FREQUÊNCIA DESTINO FINAL

Nível A 1 1 ou 0 Conservação permanente

Nível A 0 1 Conservação temporária

Nível A 0 0 Eliminação

Nível B 1 1 ou 0 Conservação permanente

Nível B 0 1 Conservação temporária

Nível B 0 0 Eliminação

Nível C 1 ou 0 1 Conservação temporária

Nível C 1 ou 0 0 Eliminação

Nota: para a informação de conservação temporária, estabelecer os prazos (tabela de temporalidade) em conformidade com o factor serviço/uso (frequência do uso)