O ESTADO DA ARTE DA AVALIAÇÃO: BANCO DE … Coninter 4/GT 13/33. O... · O ESTADO DA ARTE DA AVALIAÇÃO: BANCO DE DADOS EM EDUCAÇÃO ELLIOT, Ligia Gomes, LEITE, Ligia Silva, AGUIAR,

O ESTADO DA ARTE DA AVALIAÇÃO: BANCO DE DADOS EM EDUCAÇÃO

ELLIOT, Ligia Gomes, LEITE, Ligia Silva, AGUIAR, Glauco da Silva

Foz do Iguaçu PR: UNIOESTE, 8 a 11 de

dezembro de 2015, ISSN 2316-266X, n.4

456

O ESTADO DA ARTE DA AVALIAÇÃO:

BANCO DE DADOS EM EDUCAÇÃO

ELLIOT, Ligia Gomes

Coordenadora do Mestrado Profissional em Avaliação da Fundação Cesgranrio

[email protected]

LEITE, Ligia Silva

Professora Adjunta do Mestrado Profissional em Avaliação da Fundação Cesgranrio

[email protected]

AGUIAR, Glauco da Silva

Professor Adjunto do Mestrado Profissional em Avaliação da Fundação Cesgranrio

[email protected]

RESUMO Este artigo apresenta o desenvolvimento de uma pesquisa realizada por professores e discentes do Curso

de Mestrado em Avaliação da Fundação Cesgranrio, que tem como objetivo construir um „estado da

arte‟ da área da Avaliação. Baseada em processo estruturado de busca que inclui a análise de artigos,

com foco específico na área da Avaliação, essa pesquisa documental se deu a partir da consulta à base

SciELO mediante a identificação depalavras-chave dos artigos catalogados. A proposta metodológica

adotada considerou o caráter multidisciplinar do objeto e a combinação booleana na busca de

palavras-chave. Delimitada ao período de 2001 a 2013 e à área da Educação, as publicações científicas

selecionadas, com base em critérios pré-definidos, totalizaram 486 artigos, dando origem ao banco

eletrônico de dados e-Aval registrando, dentre outras informações, título, autoria, ano de publicação,

Qualis, etc. Esse bancojá se encontra disponibilizado na página do Mestrado Profissional em Avaliação.

Palavras-chave: Avaliação; Estado da Arte; Banco de dados.

ABSTRACT

This paper presents the development of a research conducted by teachers and students of the

Professional Master Program in Evaluation at Fundação Cesgranrio, which aims to build a 'state of the

art' area assessment. It is based on a structured search process that includes analysis of articles, with a

specific focus in the area of evaluation. This documentary research was performed based consulting the

SciELO database by identifying keywords of cataloged items. The methodology adopted considered the

multidisciplinary nature of the object and the boolean combination when searching for keywords. It was

delimited by the period of time between 2001-2013 and to the area of education. The scientific

publications selected, based on predefined criteria, totaled 486 articles, giving rise to the electronic

database e-Aval that records, among other information, title, authorship, year of publication, Qualis

(Capes Index). This bankis already available in the Professional Master Program in Evaluation at

Fundação Cesgranrio´s page.

Key-words: Evaluation; State of the art; Database.

mailto:[email protected]





457

INTRODUÇÃO

Este trabalho é resultado das atividades de pesquisa que um grupo de professores e

alunos do Mestrado Profissional em Avaliação da Fundação Cesgranrio, na cidade do Rio de

Janeiro, vem desenvolvendo desde o início de 2014. O seu objetivo é investigar, por meio de

um processo estruturado de busca e análise, o estado da arte da área da Avaliação. Além da

descrição do projeto de pesquisa, o trabalho apresenta também as etapas percorridas pela

equipe para o desenvolvimento da primeira fase do estudo, realizada em um quadrimestre

letivo. Trata-se de um estudo inovador, na medida em que pretende buscar artigos científicos

da área da Avaliação, registrá-los em um banco de dados, disponibilizando-os para a

comunidade acadêmico-científica. Oferece, desse modo, a oportunidade de que infinitos

cruzamentos de informações possam ser realizados, possibilitando a leitura polissêmica da área

de Avaliação e correlatas, a partir de dados sistematizados.

A construção deste banco de dados, ao mesmo tempo que impôs desafios à equipe e

aguçou a curiosidade sobre o processo de construção e manutenção do banco, fez surgir a

intenção de relatar o caminho percorrido por uma equipe de pesquisadores, que certamente

incorreu em erros e acertos que poderão auxiliar outros pesquisadores e interessados na área da

Avaliação. Essa intenção está sendo materializada nos artigos científicos que estão sendo

escritos, registrando a trajetória da equipe, e que se pretende sejam disponibilizados para a

comunidade acadêmico-científica interessada em empreitada semelhante.

Além disso, a oportunidade de compor uma equipe de pesquisa vinculada ao Curso de

Mestrado Profissional em Avaliação, como este da Fundação Cesgranrio, tem oferecido aos

pesquisadores e, principalmente aos discentes, a experiência de entrar em contato direto com o

conhecimento específico desta área, com a pesquisa bibliográfica, com as dificuldades

enfrentadas pelos profissionais deste campo, bem como construir conhecimento na área da

Avaliação.

O projeto foi planejado tendo como meta registrar e analisar a publicação científica da

área da Avaliação, no território brasileiro, no período de 2001 a 2013, organizando

informações sobre a mesma, de modo que, após sua análise, fosse revelado o estado da arte da

área da Avaliação. A equipe decidiu construir e disponibilizar um banco de dados dinâmico,





458

que ofereça a possibilidade de ser alimentado continuadamente, mesmo após a conclusão

formal deste projeto.

A justificativa para esse tipo de trabalho, para além da construção de uma base de

dados, reside na relevância que assume esse tipo de estudo denominado o “Estado da arte” na

facilitação do acesso à informação e para tornar mais ágil qualquer tipo de investigação. É

consenso que nos dias atuais, caracterizados por mudanças constantes e pela volatilidade da

informação, a utilidade e credibilidade desses estudos, bem como a abrangência alcançada, são

fundamentais para apontar caminhos e para o delineamento de um campo investigativo. Neste

caso, em particular, espera-se com os resultados do estudo, seja possível identificar os aportes

relevantes na construção da teoria que sustenta a área de avaliação e como essa tem sido

aplicada na prática. Além disso, com a organização dos artigos científicos, viabilizar que se

conheça experiências inovadoras bem-sucedidas e analisar contribuições de autores e

avaliadores para a área de avaliação.

1. A GÊNESE DO PROJETO

A área da Avaliação é relativamente recente, estando em processo permanente de

construção nos diferentes campos em que é aplicada. Assume, assim, características multi, inter

e transdisciplinares que lhe agregam complexidade. Foi considerando esta dimensão que

professores e discentes do Curso de Mestrado em Avaliação da Fundação Cesgranrio

desenvolveram a presente pesquisa que tem por objetivo construir um „estado da arte‟ da área

da Avaliação. Para tanto, foi realizada uma pesquisa documental, baseada em processo

estruturado de busca e análise de artigos, com foco específico na área da Avaliação. Os artigos,

disponibilizados na base de dados SciELO, entre 2001 e 2013, foram analisados e organizados

a partir de questões investigativas, de modo a possibilitar uma leitura polissêmica do corpus do

estudo. Incluiu, como etapas principais, a seleção dos insumos da pesquisa, análise, resultados,

conforme indicado por Vianna, Ensslin e Giffhor (2011).

No âmbito desta pesquisa a organização dos artigos se mostrou especialmente

motivadora por três razões: a) pela proposta de constituir-se em uma ferramenta para agilizar o

acesso de mestrandos a uma grande quantidade de estudos realizados na área de avaliação em

diferentes campos; b) por familiarizá-los com teorias e metodologias de avaliação e c) por

destacar aspectos que suscitam possibilidades de novas pesquisas na área. Cabe ressaltar





459

também que esse processo de construção assumiu, na dimensão pedagógica, um fator de

aprendizado incontestado, em diversos aspectos. Particularmente, na capacitação do grupo para

questões relacionadas às estratégias de busca, recuperação e registro de informação,

imprescindível à formação de futuros mestres e novos pesquisadores.

1.1 Questões investigativas

A ideia é que o resultado desse cuidadoso e detalhado levantamento de informações

para alimentação da base de dados e o posterior gerenciamento e acesso aos dados de estudos

viabilize revelar o estado da arte da avaliação e, à luz do que for revelado, seja capaz de

responder as seguintes questões investigativas propostas pela equipe do projeto:

a)Qual é a evolução da área de Avaliação no período pesquisado?

b) Como está distribuída a produção científica na área da Avaliação neste período

quanto à temática, autoria, instituições envolvidas, regiões geográficas?

c) Qual é titulação dos autores da produção científica analisada?

d) Qual é a distribuição do foco (teórico, relato de pesquisa ou relato de experiência) da

produção científica analisada?

e) Quais são os autores mais relevantes da área da Avaliação no Brasil no período de

2001a 2013?

1.2 Metodologia

Para desenvolver a pesquisa optou-se por iniciar os estudos utilizando a metodologia de

processo estruturado de busca de autoria de Vianna, Ensslin e Giffhorn (2011), complementada

pela posterior análise do conteúdo dos artigos identificados.

Esta metodologia propõe as etapas ilustradas na Figura1:





460

Figura 1 - Metodologia de processo estruturado de busca

Fonte: VIANNA; ENSSLIN; GIFFHORN (2011, p. 333)

a) seleção da Plataforma de Dados;

b) seleção das áreas do conhecimento específicas a serem pesquisadas;

c) seleção das palavras-chave de inclusão e exclusão;

d) seleção dos critérios de alinhamento e aderência dos artigos por meio da análise dos

conteúdos (título e/ou resumo),

e) análise de aderência dos títulos dos artigos, das palavras-chave e da leitura do

resumo;

f) identificação de artigos que necessitem ser descartados.





461

Os pesquisadores propuseram inicialmente a utilização das bases de dados da

Plataforma SciELO1, da Biblioteca Nacional, das Universidades Federais e das Editoras

nacionais, a busca de artigos da área da Avaliação em periódicos e anais de Congressos,

dissertações, teses e livros da área de Avaliação em formato digital ou impresso.

As atividades e reuniões realizadas, além das decisões tomadas na primeira etapa da

pesquisa, ocorrida de 14 de janeiro a 6 de maio de 2014, consistiram em desenvolver cada etapa

do modelo teórico proposto, acrescida da construção da base de dados e-Aval.

2. FUNDAMENTAÇÃO TEÓRICA

Estudos, artigos e pesquisa sobre estado da arte foram consultados para embasar o

planejamento e desenvolvimento desta pesquisa, de característica multidisciplinar. Ferreira

(2002), Romanowski e Ens (2006), Teixeira (2006) foram os principais autores que orientaram

estas etapas do trabalho. Seus artigos foram referência para se compreender o potencial de

estudos sobre o estado da arte e delimitar o objeto desta pesquisa.A fundamentação na área de

biblioteconomia, que orientou a busca das palavras-chave, a combinação booleana de

palavras-chave, bem como o seu processo de indexação em bases de dados e, especificamente,

na base de dados SciELO, foi orientada pela consulta a Pizzani (2012).

Na área da informática, as leituras orientaram a necessidade de identificação de campos

específicos de registros dos dados coletados, a elaboração de planilhas para registro inicial dos

dados e a consciência da complexidade do trabalho envolvido para a construção de um banco

eletrônico de dados. Nesses aspectos, a equipe encontrou em Oliveira (2007) os subsídios

necessários para se iniciar o desenvolvimento do banco eletrônico de dados e-Aval.

Foi utilizado também como referencial metodológico para desenvolvimento da pesquisa

o processo estruturado de busca de autoria de Vianna, Ensslin e Giffhorn (2011), que envolve as

etapas de seleção das áreas do conhecimento específicas a serem pesquisadas; seleção das

palavras-chave de inclusão e exclusão; seleção dos critérios de alinhamento e aderência dos

artigos por meio da análise dos conteúdos (título e/ou resumo), análise de aderência dos títulos

dos artigos, das palavras-chave e da leitura do resumo; e identificação de artigos que necessitem

1A Scientific Electronic Library Online (SciELO) é uma biblioteca eletrônica que abrange uma coleção

selecionada de periódicos científicos brasileiros.





462

ser descartados. Uma vez selecionados e organizados os artigos identificados, procedeu-se, em

quadrimestre letivo posterior, à análise do conteúdo dos artigos identificados.

2.1. Atividades desenvolvidas com base no referencial teórico-metodológico adotado

Foi consultada inicialmente a base de dados do SciELO, para pesquisa das publicações

virtuais, da Biblioteca Nacional e das Editoras nacionais, para a publicação impressa e da

Biblioteca Digital Brasileira de Teses e Dissertações (BDTD) e de bibliotecas de universidades

federais, para dissertações e teses. Diante da grande quantidade de informações decidiu-se

delimitar o campo de pesquisa para esta fase à área da Educação, alinhando com a formação

predominante dos componentes da equipe e ainda devido ao fato de que se fosse estendido o

levantamento, neste momento, para as áreas Social e de Saúde, tornaria o projeto inexequível

para um quadrimestre de aulas.

A equipe decidiu definir de 2001 a 2013 o período a ser pesquisado, visando descrever

o estado da arte da área de Avaliação neste início de século XXI. Os anos a serem pesquisados

foram distribuídos entre os alunos do grupo para que eles fizessem a busca dos artigos,

inicialmente, utilizando somente a plataforma SciELO, para busca dos artigos virtuais a partir

das palavras-chave identificadas pelo grupo.

A equipe de pesquisa, usando a técnica do brainstorming, levantou e sugeriu

inicialmente 57 palavras-chave referentes à área da Avaliação e da Educação, que orientaram o

início da pesquisa que foi dividida entre os membros da equipe por ano a ser pesquisado.

Dado início ao levantamento dos artigos científicos a partir das palavras-chave, a

equipe se defrontou com o desafio de operacionalizar o registro das informações coletadas, de

modo que pudessem ser utilizadas posteriormente. Assim sendo, foi sugerido para o encontro

seguinte a apresentação de uma proposta de planilha para registro dos dados.A esta altura, o

grupo percebeu a necessidade de criação de um sistema para a coleta e armazenamento de

dados, em substituição à ideia de utilização de planilha. Decidiu-se, então, pela realização do

sistema que foi desenvolvido por alunos do Curso de Computação da Universidade Federal do

Rio de Janeiro (UFRJ). Em pendência ficou a busca por um local para armazenamento do

mesmo. Foi apresentada a primeira versão do formulário para registro dos dados coletados,

com os campos para construção do sistema de coleta de dados.





463

Devido ao grande volume de dados identificados nos levantamentos realizados no

SciELO e havendo ainda a necessidade de que estes dados fossem registrados no Banco de

Dados em construção, a equipe decidiu limitar a pesquisa à base do SciELO, não estendendo o

levantamento a outras bases de dados (INEP e Biblioteca Nacional), nem a outros tipos de

produção científica (artigos impressos, dissertações e teses).

Ao ser realizada a primeira pesquisa, na base SciELO, para cada uma das

palavras-chave identificadas pelo grupo foram encontradas as seguintes limitações: muitas

palavras-chave não recuperaram artigos; artigos recuperados em duplicata, uma vez que mais

de uma palavra-chave é empregada na indexação de cada artigo; muitos artigos não foram

pertinentes à área da Educação. Foi então feito um refinamento das palavras-chave a nos

procedimentos de busca, passando-se a utilizar o recurso boleano de “Avalia$”.

Foi criado um login para identificar os usuários que teriam acesso ao sistema que estava

sendo elaborado pelos alunos de Computação da UFRJ. Até aquele momento, o Layout do

sistema não estava completo, mas uma parte da lógica sim. Ainda não era possível inserir

dados no banco. Outro desafio: os dados que estavam sendo coletados e salvos em Microsoft

Wordnão poderiam ser aproveitados automaticamente para o novo sistema, deveriam ser

transferidos via copy/paste campo a campo para o sistema. Na ocasião foi feito contato com um

engenheiro de sistemas, especialista em TI, indicado pela Fundação Cesgranrio. Ele iria

disponibilizar um ambiente LAMP baseado em máquina virtual na Amazon Web Services

(AWS) para que a aplicação que estava sendo desenvolvida fosse hospedada.

Diante das dificuldades para utilização do Word para armazenar os dados pesquisados,

enquanto a base de dados não estivesse concluída decidiu-se utilizar uma planilha eletrônica,

tipo Excel.

À medida que o trabalho evoluiu, o grupo tomou a decisão de construir um banco de

dados eletrônico, batizado de e-AVAL, e se empenhou na escolha de um logotipo para o

mesmo. O resultado foi o seguinte:

Figura 2 – Logotipo e título da base de dados





464

Em reunião com o engenheiro de informática foram decididas as características do site

e-Aval, que seria hospedado no sistema da Fundação Cesgranrio, e as suas funcionalidades, tais

como: registro dos artigos da área da Educação, opção de construção de gráficos a partir dos

dados, entradas de busca, tipos de gráficos que o sistema deve disponibilizar para os usuários,

filtragem de artigos por ano de registro, área geográfica.

Uma vez concluído o levantamento, registro na planilha e encaminhamento dos dados

para inclusão no e-AVAL, e equipe se dedicou à elaboração deartigos resultantes da

experiência de pesquisa.

No final de um quadrimestre letivo de trabalho, a planilha geral contou com 536 artigos

que foram analisados mais uma vez pelo grupo com o objetivo de refinar a busca; nesta etapa

foram eliminados os artigos que relatavam trabalhos realizados em outros países, ou que não se

caracterizavam como artigo científico, embora estivessem na base SciELO. Como resultado

obteve-se 486 artigos de Avaliação na área de Educação identificados na Plataforma SciELO.

O gruporealizou uma breve avaliação das atividades desenvolvidas eidentificou queum

dos maiores problemas encontrados durante a pesquisa em relação às palavras-chave foi o fato

de a indexação dessas palavras ser feita pelo autor do artigo, nem sempre com clareza e

precisão,resultando no registro de palavras nem sempre adequadas. Este fato resulta na

existência de artigos da área de Avaliação e Educação que deveriam constar da base de dados e

que não foram incluídos devido ao fato de não apresentarem nenhuma das palavras-chave que

serviram de base para esta pesquisa.

Foram também apresentadas sugestões relevantes para a continuação da pesquisa, tais

como:

a) definir claramente o escopo dos trabalhos que serão pesquisados;

b) apresentar ao grupo de pesquisadores a base de dados onde será realizada a

pesquisa antes do início da mesma;

c) não realizar a pesquisa por ano de publicação e sim por palavras-chave;

d) a lista de palavras-chave ser reduzida, contendo aquelas que realmente são

relevantes para recuperação de artigos;

e) trazer a equipe de pesquisa atual para relatar para o novo grupo de pesquisa o

processo pelo qualpassaram;





465

f) convidar a bibliotecária do Curso de Mestrado da Fundação Cesgranrio para

participar do próximo grupo.

Os encontros seguintes foram dedicados à produção dos artigos para sistematização dos

resultados da pesquisa, além de troca de informações e esclarecimento de dúvidas. Durante este

período foram trocados vários emails entre a equipe para análise da planilha que estava em

construção.

No último encontro do quadrimestre foi realizada a apresentação final dos artigos

elaborados pelos subgrupos para publicação, sendo que alguns ainda precisavam ajustes. Foi

então marcado mais um encontro da equipe para fechamento dos trabalhos, uma vez que todos

os participantes deveriam ler todos os artigos produzidos e emitir sua opinião.Após esta

análise, foi sugerido que esta fase do projeto de pesquisa resultasse na publicação de um livro,

o que foi aceito pelo grupo. Esta decisão resultou na necessidade de ajuste nos textos

elaborados para que se constituíssem em capítulos de um mesmo livro, evitando assim

repetição. Este projeto está em andamento, com dois dos quatro capítulos já redigidos.

3. RESULTADOS ALCANÇADOS

O resultado do primeiro ano de trabalho no projeto de pesquisa Estado da Arte de

Avaliação foi a construção e disponibilização na página eletrônica da Fundação Cesgranrio,

mais especificamente na página do Mestrado Profissional em Avaliação desta instituição do

banco de dados construídos pelos professores e alunos pesquisadores. O site está disponível no

endereço //mestrado.cesgranrio.org.br.

Nele estão disponibilizados os 486 artigos que podem ser acessados por diferentes

categorias: título, autor, palavra-chave, resumo ou todos. Nele também é apresentada uma

descrição de Quem somos, que é atualizada anualmente de acordo com a equipe que trabalha

no projeto; Sobre o projeto, onde é apresentada uma descrição do mesmo e as regras para

submissão de artigos que venham a integras o e-aval de acordo com sugestões de membros

externos à equipe; Pesquisa, que pode ser realizada por título, autor, palavra-chave, resumo ou

todos; e Estatísticas, cuja aba oferece a possibilidade de construção de diferentes tipos de

gráficos com as informações disponíveis.





466

CONSIDERAÇÕES FINAIS

Ao ser concluído o primeiro quadrimestre de trabalho, decidiu-se que as questões de

pesquisa propostas seriam respondidas no quadrimestre seguinte, uma vez que a construção da

base de dados e-AVAL assumiu protagonismo nas atividades desenvolvidas pelo grupo.

Assim, o principal resultado do trabalho neste período foi a disponibilização, no site do

Mestrado da Fundação Cesgranrio, do banco de dados e-AVAL, construído a partir dos dados

coletados no primeiro período da pesquisa Estado da Arte da Avaliação, utilizando o registro

dos 486 artigos identificados.

O banco de dados oferece a possibilidade de se filtrar os artigos registrados por título,

autor, palavra-chave, resumo e todos. Podem ser gerados gráficos da produção pesquisada por

ano (de 2001 a 2013), tipo de gráfico (barras verticais, setores, setores 3D, setores), utilizando

valores absolutos ou percentuais. Os gráficos podem também focalizar a totalidade dos dados,

por ano, autor, palavra-chave, produção científica, área do conhecimento, tipo de publicação,

forma de apresentação, estado em que foi publicado, região geográfica, país. Conclui-se que, a

partir das inúmeras possibilidades oferecidas pelo e-AVAL, os interessados podem

desenvolver trabalhos acadêmicos e científicos mediante a combinação dos recursos

multidisciplinares disponibilizados por esta tecnologia.

REFERÊNCIAS

FERREIRA, N. S. A. (2002) As pesquisas denominas “estado da arte”. Educação & Sociedade,

Campinas, V. 23, n. 79, p.257 – 272, ago 2002. Disponível em:

http://www.scielo.php?script=sci_arttext&pid=s0101-3302002000300013&lng=pt&nrm=iso.

Acesso em 25 mar 2014.

PIZZANI, L. et al. (2012) A arte da pesquisa bibliográfica na busca do conhecimento.

In:Revista Digital de Biblioteconomia e Ciência da Informação, V. 10, n. 1. Campinas:

UNICAMP, jul./dez. 2012.

OLIVEIRA, M.S. (2007) Desenvolvimento de aplicações de Banco de Dados. Laboratório de

Inovação em Software. Campinas: UNICAMP / Ci&T, Instituto de Computação, Universidade

Estadual de Campinas, 2007.

http://www.scielo.php/?script=sci_arttext&pid=s0101-3302002000300013&lng=pt&nrm=iso





467

ROMANOWSKI, J. P. e ENS, R. T. As pesquisas denominadas do tipo “estado da arte” em

Educação. In: Diálogo Educacional, V. 6, n.19. Curitiba: Pontifícia Universidade Católica do

Paraná, set. /dez. 2006, p. 37-50.

TEIXEIRA, R. C. (2006) O Estado da Arte: a concepção de avaliação educacional veiculada na

produção acadêmica do Programa de Pós-graduação em Educação: Currículo (1975-2000). In:

Cadernos de Pós-Graduação-educação, V. 5, n. 1. São Paulo: Editora Mackenzie, 2006, p.

59-66.

VIANNA, W. B; ENSSLIN, L.; GIFFHORN, E. (2011) A integração sistêmica entre

pós-graduação e educação básica no Brasil: contribuição teórica para um “estado da arte”.

In:Ensaio: aval. Pol. Públ. Educ., V. 19, n. 71. Rio de Janeiro: Fundação Cesgranrio, abr./jun.

2011, p. 327 – 344.

Documents

O ESTADO DA ARTE DA AVALIAÇÃO: BANCO DE … Coninter 4/GT 13/33. O... · O ESTADO DA ARTE DA AVALIAÇÃO: BANCO DE DADOS EM EDUCAÇÃO ELLIOT, Ligia Gomes, LEITE, Ligia Silva, AGUIAR,