Embed Size (px)
Citation preview
UNIVERSIDADE FEDERAL DE SERGIPE
CAMPUS UNIVERSITÁRIO PROF. JOSÉ ALOÍSIO DE CAMPOS
NÚCLEO DE PÓS-GRADUAÇÃO EM ENSINO DE CIÊNCIAS E
MATEMÁTICA
MARCELA SANTOS DE ALMEIDA
ANÁLISE DE UM PROCESSO DE ELABORAÇÃO DE UM TESTE DE
DESEMPENHO EM CIÊNCIAS
São Cristóvão/SE
2014
MARCELA SANTOS DE ALMEIDA
ANÁLISE DE UM PROCESSO DE ELABORAÇÃO DE UM TESTE DE
DESEMPENHO EM CIÊNCIAS
Dissertação apresentada à Universidade
Federal de Sergipe como um dos pré-requisitos
para obtenção do título de Mestre em Ensino
de Ciências e Matemática.
Orientador: Prof.º Dr.º Acácio Alexandre
Pagan
Co-orientador: Dr.º Fábio Teotho Rocha
São Cristóvão/SE
2014
DEDICATÓRIA
Dedico esta dissertação a minha mãe, Maria, por me ensinar o
valor do conhecimento, sempre me incentivando e
acompanhando na carreira acadêmica, além de compartilhar os
frutos dessa iniciativa, que aqui represento como mais um passo
de grande importância em minha vida. E que ela diante de
tantas dificuldades, soube me transmitir toda sua sabedoria e
apoio constante, injetando em mim a força que necessitava para
concluir este trabalho.
AGRADECIMENTOS
A Deus, por me iluminar nesta caminhada, me dando forças para que a deste estudo.
À Universidade Federal de Sergipe onde fiz o curso de mestrado.
Ao OBEDUC, CAPES e INEPque financiaram o projeto que este estudo faz parte, e
pela bolsa de mestrado, que foi um incentivo fundamental para o desenvolvimento da
pesquisa
Ao Professor Acácio, meu orientador, pela segurança diante das minhas dificuldades
durante o desenvolvimentos de muitos trabalhos realizados por nós, desde a graduação,
na iniciação científica. Pelo incentivo constante a buscar conhecimentos, por me
capacitar a trabalhar em equipe, por me abrir as portas do mundo da pesquisa, pela
grande contribuição durante todo o processo, desde a elaboração até a entrega
definitiva deste trabalho, e de quem gosto muito. Obrigada pela oportunidade de
trabalhar com você.
A todos os professores do Núcleo de Pós Graduação em Ensino de Ciências e
Matemática, pelos embates teóricos, por todas as discussões em sala de aula. Esses
momentos também foram cruciais para lapidar e aparar as arestas desta obra.
A banca de qualificação, composta pelos professores Joilson Pereira e Eliana Midori, e
a banca de defesa que com críticas construtivas que me ajudaram na compreensão da
análise dos meus dados e pelas considerações e discussões que contribuírampara a
versão final desta pesquisa.
A Juciany pela revisão gramatical constante deste trabalho.
A todos companheiros e companheiras do grupo IDEIA pelas contribuições para o
desenvolvimento deste trabalho, sendo sujeitos desta pesquisa e pelas oportunidades de
aprendizado que me ofereceram.
Ao grupo de orientação PROPED que me ajudaram e opinaram nas discussões sobre a
dissertação.
A minha mãe, por acreditar em mim, e pelo incentivo constante.
Ao Alvani Júnior, meu noivo, pela paciência em minha trajetória acadêmica, pelo apoio
incondicional aos meus estudos, por compreender as minhas ausências e estar sempre
ao meu lado.
Não posso deixar de agradecer também aos meus colegas mestrandos, Railene, Hélio
Gardênia, Micaela, Tiago e Taciana, pela imensa ajuda que me foi dada quando
precisei, dentro das possibilidades de vocês.
E enfim, agradeço a todos que contribuíram direta ou indiretamente com a
concretização desse trabalho, e a todos aqueles que fizeram parte da minha vida nesses
dois anos!
RESUMO
Propomos investigar o processo de elaboração de um banco de questões de Português,
Matemática e Ciências a fim de constituir um teste de desempenho, que se insere no
contexto de uma proposta de trabalho colaborativo desenvolvido por um grupo de
estudo multidisciplinar. Nosso objetivo foi descrever e analisar os processos de
elaboração do teste de desempenho em Ciências. As características da análise do
processo foram fundamentadas em conceitos do Design Instrucional. Esse trabalho
apresenta uma abordagem qualitativa. Partimos de uma perspectiva teórico-descritiva
por trabalhar com uma significativa variedade de situações ou fenômenos educacionais
advindos da construção coletiva do teste de desempenho e das percepções dos
integrantes dos grupos de trabalho. A coleta dos dados foi viabilizada por meio da
técnica de observação participante que permitiu uma descrição e análise dos elementos
envolvidos em episódios coletados durante os meses de janeiro de 2012 a março de
2013, a partir de relatos de conversas informais com alguns professores, alunos de
iniciação científica e das transcrições de gravações de seis reuniões de elaboração.
Quanto à análise dos dados, as observações de relatos dos episódios selecionados foram
analisadas a partir de duas categorias construídas a priori, e extraídas do referencial
teórico do Design Instrucional. Elaboramos duas categorias com subcategorias, a ver:
primeira categoria – Concepção e segunda – Execução. A primeira aborda as seguintes
subcategorias: Análise, Design, Desenvolvimento; e a segunda, abrange:
Implementação e Avaliação. Observamos que a intenção do grupo não foi a construção
de um novo teste, mas a elaboração de novas formas de questões que contemplassem
uma contextualização em temas norteadores e maior simplicidade em sua leitura para
facilitar também o alcance de alunos com dificuldades de aprendizagem. Além disso,
compreendemos que o grupo utilizou a matriz de referência de Português e Matemática
para a elaboração do teste, mas a matriz de referência para as questões de Ciências era
diferente, pois ela abrangeu as preocupações de professores com experiência em sala de
aula, de alunos de graduação e também a de pesquisadores, mestrandos e doutores.Esse
diálogo entre as distintas abordagens pode fazer da nossa matriz original.
Assim,percebemos que o trabalho colaborativo do grupo de estudo multidisciplinar
pode ter inovado na forma de elaboração de questões para teste de desempenho escolar,
visto que as matrizes de referência dos outros testesnacionais como Prova Brasil e
Provinha Brasil não apresentam uma participação intensa de professores de educação
básica na construção das mesmas, e mais, não há uma matriz de Ciências clara e
objetiva para todos os anos avaliados. O grupo também apresentou algumas
características do Design Instrucional ao desenvolver uma metodologia de maneira
colaborativa, com um planejamento e organização das atividades envolvendo ação e
reflexão de forma contínua, que pode enriquecer a maneira de pensar, agir e resolver
problemas, criando possibilidades de sucesso na proposta de desenvolver um conjunto
de questões didáticas para serem inseridas em um programa para avaliação de
desempenho em Ciências, com intuito de atender também alunos com dificuldades de
aprendizagem.
Palavras Chave: Teste de desempenho; Processo de elaboração; Equipe
multidisciplinar.
ABSTRACT
We propose to investigate the process of developing a question bank of Portuguese,
Mathematics and Science to constitute a performance test, which is in the context of a
proposal for a collaborative work developed by a multidisciplinary panel. Our objective
was to describe and analyze the processes of establishment of the performance test in
Science. The characteristics of the analysis process were based on concepts of
Instructional Design. This paper presents a qualitative approach. We start from a
theoretical and descriptive perspective by working with a significant variety of
situations arising or educational phenomena of collective construction and performance
test of the perceptions of members of the working groups. Data collection was made
possible by the technique of participant observation which enabled a description and
analysis of the elements involved in episodes collected during the months of January
2012 to March 2013, from reports of some informal conversations with teachers,
students scientific research and transcriptions of recordings of six meetings prepared.
As the data analysis, the observations of reports of selected episodes were analyzed
from two categories constructed a priori, and extracted from the theoretical framework
of Instructional Design. We developed two categories with subcategories, viewing: first
category - Design and second - Execution. The first addresses the following
subcategories: Analysis, Design, Development; and the second covers: Implementation
and Evaluation. We observed that the group's intention was not to build a new test, but
the development of new forms of questions that addressed contextualize the guiding
themes and greater simplicity in his reading to also facilitate the achievement of
students with learning difficulties. Furthermore, we understand that the group used the
reference matrix of Portuguese and Mathematics for the preparation of the test, but the
array reference to the issues of Sciences was different, as it encompassed the concerns
of teachers with experience in the classroom, undergraduate students as well as
researchers, masters and doctors. This dialogue between the different approaches can
make our original matrix. Thus we see that the collaborative work of the
multidisciplinary panel may have innovated in the way of developing questions for the
school performance test, since the reference matrices of other testesnacionais Proof
Provinha Brazil and Brazil does not have a strong participation of teachers Basic
education in the construction of the same, and more, there is an array of Sciences clearly
and objectively for all years evaluated. The group also presented some features of
Instructional Design to develop a methodology for collaboratively with planning and
organization of activities involving reflection and action continuously, which can enrich
the way you think, act and solve problems, creating opportunities for success in
proposal to develop a set of educational issues to be inserted into a program for
performance evaluation in science, in order to also meet students with learning
difficulties.
Key words: Performance Test; The draftingprocess; multidisciplinaryteam.
LISTA DE FIGURAS
FIGURA 1: Fases do processo de Design Instrucional Fixo. Fonte: Filatro (2008). ................. 29
FIGURA 2: Fases do processo de Design Instrucional Aberto. Fonte: Idem. ............................ 29
FIGURA 3: Fases do processo de Design Instrucional Contextualizado. Fonte: Idem. ............. 30
FIGURA 4: Fluxograma das fases do projeto geral. Fonte: Próprio do Autor. ........................... 74
FIGURA 5: Fluxograma dos níveis do processo de elaboração do teste de desempenho escolar
produzido pelo grupo IDEIA. Fonte: Próprio do Autor. ............................................................. 75
LISTA DE QUADROS
QUADRO 1: Pesquisas de mestrado enquadradas em quatro temas de estudo, local e nas quatro
linhas de pesquisa do Projeto geral. ............................................................................................ 17
QUADRO 2: Diferença quanto ao papel do designer instrucional nas práticas dos modelos de
Design Instrucional aberto, fechado e contextualizado. .............................................................. 30
QUADRO 3: Mapa de leitura de campo: observações do processo de elaboração de questões do
teste de desempenho em Ciências no Núcleo de Sergipe. ........................................................... 67
QUADRO 4: Critérios de análise das questões pelo grupo de Sergipe. ...................................... 84
LISTA DE SIGLAS
ADDIE: Analyssis, Design, Development, Implementation and Evaluation
ANEB: Avaliação Nacional da Educação Básica
ANRESC: Avaliação Nacional do Rendimento Escolar
AVA: Ambiente Virtual de Aprendizagem
BNI: Banco Nacional de Itens
CAPES: Coordenação de Aperfeiçoamento do Pessoal de Nível Superior
DIC: Design instrucional contextualizado
ENADE: Exame Nacional de Desempenho de Estudantes
ENSCER:Ensinando o Cérebro
ENEM: Exame Nacional do Ensino Médio
FUNDEB: Fundo de Manutenção e Desenvolvimento da Educação Básica e de
Valorização dos Profissionais da Educação
FUNDEF: Fundo de Manutenção e Desenvolvimento do Ensino Fundamental e de
Valorização do Magistério
IDEB: Índice de Desenvolvimento da Educação Básica
IDEIA: Grupo Interinstitucional Desempenho Escolar e Inclusão Acadêmica
IES: Instituições de Ensino Superior
IFES: Instituições Federais de Ensino Superior
INEP: Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”
ISD: Instrucional System Design
MEC: Ministério da Educação
NEPA: Núcleo de Estudos e Pesquisas de Avaliação
OBEDUC: Observatório de Educação
PCN: Parâmetros Curriculares Nacionais
PNL: Plano Nacional do Livro didático
PDE: Plano de Desenvolvimento da Educação
PISA:Programa Internacional de Avaliação de Alunos
PROUNI: Universidade para Todos
SAEB: Sistema Nacional de Avaliação da Educação Básica
SARESP:Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo
SEED: Secretaria Estadual de Educação
TCM: Teoria Clássica das Medidas
TICs: Tecnologias de Informação e Comunicação
TRI: Teoria de Resposta ao Item
UFMT: Universidade Federal de Mato Grosso
UFS: Universidade Federal de Sergipe
UFSM: Universidade Federal de Santa Maria
UNIFESP: Universidade Federal de São Paulo
UNIVALI: Universidade do Vale do Itajaí
USP: Universidade de São Paulo
SUMÁRIO
INTRODUÇÃO .......................................................................................................................... 15
CAPÍTULO 1 CARACTERÍSTICAS DE UM PROCESSO DE ELABORAÇÃO DE TESTE
DE DESEMPENHO .................................................................................................................... 22
1.1 Design instrucional e o desenvolvimento de um teste de desempenho em Ciências ........ 23
1.1.1 Design Instrucional: conceito e fundamentos ............................................................ 23
1.1.2. Breve histórico do Design Instrucional .................................................................... 25
1.1.3 Modelos de Design Instrucional ................................................................................ 27
1.1.4 O Design Instrucional como aporte teórico para a pesquisa em educação .............. 32
CAPÍTULO 2 AVALIAÇÕES DE DESEMPENHO ESCOLAR: PROCESSO DE
CONSTRUÇÃO E METODOLOGIAS ...................................................................................... 34
2.1 Relação entre avaliação institucional e desempenho escolar ............................................ 35
2.2 Testes e questionários de desempenho escolar .................................................................. 38
CAPÍTULO 3 METODOLOGIA ................................................................................................ 57
3.1 Delineamento da pesquisa ................................................................................................. 58
3.2 Etapas da Pesquisa ............................................................................................................ 58
3.3 Sujeitos da pesquisa .......................................................................................................... 60
3.4 Coleta de dados ................................................................................................................. 61
3.4.1 Instrumentos de Coleta de Dados .............................................................................. 62
3.4.1.1 Técnica de coleta de dados: Observação participante ....................................... 63 3.5 Análise de Dados ............................................................................................................... 65
3.5.1 Instrumentos de Análise de Dados ............................................................................. 65
CAPÍTULO 4 RESULTADOS E DISCUSSÕES ....................................................................... 66
4.1 Relatos do processo de elaboração das questões do teste de desempenho em Ciências ... 67
4.2 Categorias a priori do Design Instrucional ........................................................................ 74
4.2.1 Concepção: Análise, Design e Desenvolvimento ....................................................... 74
4.2.1.1 Análise ................................................................................................................. 74 4.2.1.2 Design ................................................................................................................. 76 4.2.1.3 Desenvolvimento ................................................................................................. 77
4.2.2 Execução: Implementação e avaliação ...................................................................... 82
4.2.2.1 Implementação .................................................................................................... 82 4.2.2.2 Avaliação ............................................................................................................. 83
CONSIDERAÇÕES FINAIS ...................................................................................................... 85
REFERÊNCIA ............................................................................................................................ 87
ANEXOS..................................................................................................................................... 94
ANEXO A - TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO ............................ 95
Dados de identificação ................................................................................................................ 95
ANEXO B - CARTA DE SOLICITAÇÂO/AUTORIZAÇÃO .................................................. 96
ANEXO C - ROTEIRO DE ELABORAÇÃO DE QUESTÕES ................................................ 97
ANEXO D – FORMULÁRIO GERAL DE ELABORAÇÃO DE QUESTÕES ...................... 100
ANEXO E - PARECER ............................................................................................................ 101
INTRODUÇÃO
A temática que propomos investigar é o processo de elaboração de um
teste de desempenho em Ciências. A mesma se insere no contexto de um trabalho
colaborativo desenvolvido pelo grupo de pesquisa multidisciplinar denominado Grupo
Interinstitucional Desempenho Escolar e Inclusão Acadêmica (IDEIA).
Um trabalho colaborativo envolve um grupo de pessoas com tarefas
baseadas na participação ativa, esforço contínuo e na interação dos participantes para a
execução de um objetivo comum. Um grupo colaborativo pode envolver professores-
investigadores, pesquisadores universitários e alunos que procuram não manter uma
relação hierarquizada,na qual cada pessoa é responsável por uma parte do
desenvolvimento do objetivo, sendo que ocorre o compartilhamento das ideias de todos
pelo grupo (PINHEIRO, 2002; SEPULVEDA et al., 2012).
O grupo de pesquisa IDEIA écomposto por educadores da área de
Português, Matemática, Ciências, Química, Biologia e Física; alunos de iniciação
científica de Português, Matemática, Química e Biologia; mestrandos em Ensino de
Ciências e Matemática; doutorando em Educação, linguistas; neurocientista; psicólogo;
profissionais da área de Educação Física; e professores acadêmicos.
A equipe do IDEIA é representada por cinco núcleos de pesquisa, que
integram diferentesinstituições, a saber: Universidade de São Paulo (USP),
Universidade Federal de São Paulo (UNIFESP), Universidade Federal de Santa Maria
(UFSM), Universidade Federal de Mato Grosso (UFMT) e Universidade Federal de
Sergipe (UFS),que fazem parte do projeto geral “Desempenho Escolar Inclusivo na
Perspectiva Multidisciplinar”, financiado pelo Programa Observatório da Educação
(OBEDUC), edital 38/2010/CAPES/INEP, do qual a presente pesquisa faz parte.
Cada núcleo conta com pesquisadores graduandos, mestrandos, mestres,
doutores e doutorandos e professores de Educação Básica que se reuniam
presencialmente, einteragiam entre si, por meio de lista de discussões, por uma
plataforma online do Moodle e e-mails.
No desenvolvimento deste estudo focamos no processo de trabalho do
núcleo de Sergipe, pois os dados coletados partem do olhar de uma pesquisadora que
atuava nesse núcleo, de modo que a coleta e análise dos dados se baseou em nossas
observações sobre os pesquisadores deste estado.
O projeto “Desempenho Escolar Inclusivo na Perspectiva
Multidisciplinar” pretende desenvolver um sistema informatizado que conterá um
questionário eletrônico para registro das informações do histórico de desenvolvimento e
do comportamento do aluno e um banco de questões eletrônicas, que serão aplicadas
como testes de desempenho para avaliar o rendimento em Matemática, Português e
Ciências de uma amostra de alunos da Educação Básica que estão cursando o 2º ano, 5º
ano e 9 º ano do Ensino Fundamental.Antes da aplicação do teste de desempenho
escolar do projeto geral, foi realizado um teste piloto com questões selecionadas e
aplicadas tanto em forma eletrônica comoem papel emcinco cidades dos estados de São
Paulo, Sergipe, Mato Grosso e Rio Grande do Sul, com o intuito de validação das
questões.
É importante destacar que a escolha dos três anosda Educação Básica que
selecionamos para as coletas, devem-se ao fato de que os estudantes nessasfases
geralmente estão finalizando o primeiro ciclo de alfabetização, no 2º ano, e terminando
as últimas etapas do Ensino fundamental menor e maior, o 5º ano e 9 º ano.
O projeto geral apresenta quatro eixos de pesquisa:
1. Estimativa da Influência dos Distúrbios de Aprendizagem nos Índices
de Desempenho Escolar em Língua, Matemática e Iniciação à Ciência;
2. Estudo da Influência da Tecnologia dos Meios de Testagem no
Resultado Final de Testes de Desempenho em Língua, Matemática e Iniciação à Ciência
- Influência da Tecnologia em Testes de Avaliações Padronizadas;
3. Estudo da relação entre o Desempenho Escolar em Língua,
Matemática e Iniciação a Ciências - Desempenho escolar e Livro Didático;
4. Produção de Materiais Formativos e Instrucionais que contemplem o
Enfrentamento das Dificuldades de Aprendizagem, como Dislexia, Discalculia, Déficit
de Atenção e Hiperatividade, no processo de formação do professor-pesquisador.
A temática que este estudo se propôs a investigar pode ser inserida no
contexto da primeira e da quarta linhas de pesquisas do projeto geral.Isso porque esta
dissertação se propôs focar na análise do processo de elaboração do teste de
desempenhoconstituído por um trabalho colaborativo desenvolvido por um grupo de
pesquisa multidisciplinar, com o propósito de elaborar um banco de questões de
Português, Matemática e Ciências para que busquem atender certas especificidades dos
estudantes, como por exemplo, algumas dificuldades de aprendizagem dos alunos.
Destacamos o alcance de algumas pesquisas de mestrado vinculadas ao
projeto geral, citando quatro temas de estudo que têm relação com cinco dissertações
em duas instituições, nas quatro linhas de pesquisas do projeto maior (QUADRO 1).
Conforme artigo de Pagan e Botton (2013) a respeito da análise da
relação de trabalhos desenvolvidos por pós-graduandos, iniciação científica e
professores da educação básica com as linhas de pesquisa do Projeto “Desempenho
Escolar Inclusivo na Perspectiva Multidisciplinar”, podemos destacar alguns objetos de
pesquisa que têm relação com os temas das cinco dissertações: Alfabetização e
Letramento (Português, Matemática e Ciências), Critérios de escolha e avaliação de
livros didáticos, Tecnologias de elaboração de testes e avaliação de desempenho,
Formação docente.
Quadro 1: Pesquisas de mestrado enquadradas em quatro temas de estudo, local e nas quatro
linhas de pesquisa do Projeto geral.
Objeto de pesquisa Local Linha de
Pesquisa do
Projeto geral
Nº de Dissertações
Alfabetização e
letramento
(português,
matemática e
ciências)
UFS 1ª 1
Critérios de escolha
e avaliação de livros
didáticos
UFSM 3ª 1
Tecnologias de
elaboração de testes
e avaliação de
desempenho
UFS 1ª 2
Formação Docente UFS 4ª 1
Eficácia do teste em
computador e papel
UFSM 2ª 1
Fonte: Próprio do Autor.
O tema alfabetização e letramento (português, matemática e ciência) está
sendo desenvolvido por uma mestranda da UFS que se insere na primeira linha de
pesquisa e buscou analisar a aplicação do teste piloto, com foco nas concepções de
Alfabetização Científica, a fim de compreender as possíveis relações entre o
desempenho em Língua Portuguesa e Ciências.
O segundo tema, critérios de escolha e avaliação de livros didáticos,
aborda um estudo desenvolvido na UFSM. Esse trabalho pertence à terceira linha de
pesquisa e tratou de estudar a influência do Plano Nacional do Livro didático (PNLD)
no processo de avaliação educacional.
O terceiro tema, tecnologias de elaboração de testes e avaliação de
desempenho, abrange três trabalhos. O primeiro, desenvolvido na UFS, insere-se na
primeira linha de pesquisa e buscou fazer a análise das questões e do questionário do
comportamento do aluno, com foco na relação entre desempenho escolar e
comportamento discente. O segundo estudo, da UFSM, pertence à segunda linha,
propôs-se a estudar a Influência da Tecnologia em Testes de Avaliações Padronizadas,
com foco no estudo da eficácia do teste em computador e papel. E o último, na UFS,
pode ser inserido na primeira e quarta linhas de pesquisas, pois buscou descrever e
analisar o processo de elaboração do teste de desempenho em Ciências por um grupo de
pesquisa multidisciplinar. Por isso, o trabalho também aborda alguns aspectos sobre
formação docente.
A problemática da presente pesquisa se remete à maneira como as
avaliações educacionais mensuram a aprendizagem de conhecimentos científicos. Sabe-
se que as avaliações educacionais nacionais, como a Prova Brasil e o ENEM, são
elaboradas por professores de universidades e por especialistas de várias áreas, tais
como do campo da Avaliação e Estatística, além de serem constituídas por testes
padronizados, ou seja, provas com questões abertas e de múltipla escolha que buscam
avaliar de forma homogênea a aprendizagem escolar (KLEIN, R.; FONTANIVE, 1995;
LOCATELLI, 2002; KATRINE, 2007).
Martins (2001), Fernandes (2004) e Setúbal (2010) criticam as avaliações
educacionais brasileiras, pois para eles são avaliações externas que dificultam a
efetivação da autonomia da escola e o processo de descentralização, além de não
abranger a diversidade cultural e socioeconômica dos alunos. Então, os exames
aplicados em larga escala podem discriminar, em vez de integrar alunos que apresentam
diferentes contextos sociais e econômicos.
Neste processo de elaboração, não é nossa proposta romper com a ideia
de avaliação em larga escala. Buscamos minimizar os problemas enfrentados nesse
tipode abordagem a partir da construção de um teste que possa ser mais adequado a
alunos com dificuldades de aprendizagem. Além de compreendermos que a análise do
processo de construção do teste de desempenho em Ciências, neste grupo, pode nos
mostrar elementos que agreguem maior contextualização aos testes padronizados,
devido à participação de professores da Educação Básica e licenciandosno processo em
diálogo com pesquisadores acadêmicos.
É relevante comentar que o interesse pelo estudo das atividades do
IDEIA partiu da nossa participação no mesmo, e da possibilidade em tornar visível a
organização e os procedimentos metodológicos realizados pelos membros, bem como as
tensões e dificuldades ocorridas durante o processo de construção das questões para o
teste.
Outras razões para investigar e divulgar o processo de elaboração de
testes de desempenho são: a importância da elaboração de um exame de desempenho
em Ciências, uma vez que há poucas avaliações em larga escala nesta área de ensino; a
construção de questões que contemplam alunos com dificuldade de aprendizagem; e a
possibilidade de reflexão docente sobre a prática pedagógica.
Foram aplicados testes de desempenho em Ciências no Brasil, em nível
nacional, pelo Sistema Nacional de Avaliação da Educação Básica (SAEB)
(INEP/MEC) nos anos de 1990, 1993, 1997 e 1999. Esses testes abordam um modelo
amostral e direcionado para escolas privadas e públicas da zona urbana (INEP, 2009).
Em nível estadual, há sistemas de avaliação que buscam medir a
aprendizagem escolar em diversas áreas. Nesse caso, mencionamos oSistema de
Avaliação do Rendimento Escolar do Estado de São Paulo (SARESP), que avalia o
rendimento escolar em várias disciplinas, inclusive da área da Ciência da Natureza
(Ciências, Física, Química e Biologia), desde 1996, com apenas esse Estado (SOUSA;
ARCAS, 2010).
Existe também o Exame Nacional do Ensino Médio (ENEM) que avalia
o desempenho em Física, Química e Biologia e outras áreas em larga escala de alunos
que cursam os últimos anos da Educação Básica (MINHOTO, 2008; CASTRO, 2009).
Nessa perspectiva, entendemos que a sala de aula é um ambiente
heterogêneo, com discentes que apresentam formas de aprendizagem diversificadas.
Assim, no teste elaborado pelo grupo IDEIA buscamos contemplar alunos com
dificuldade de aprendizagem com os contextos regionais, o que entendemos ser uma
inovação ao modelo nacional de mensuração de desempenho.
Além disso, é preciso que se avalieo desempenho escolar em Ciências,
uma vez que ainda é observado nas escolas, por vários pesquisadores, que o Ensino de
Ciências é abordado a partir de uma reprodução sistematizada dos conhecimentos
científicos, de forma neutra e com foco na racionalidade técnica e no empirismo
científico (KRASILCHIK, 2000; QUEIROZ, 2006).
A racionalidade técnica está relacionada com a forma na qual o professor
é concebido como técnico, e sua atividade profissional como aplicação de teorias e
técnicas na solução de problemas. E o empirismo científico é caracterizado pelo
conhecimento adquirido por percepções, pelos sentidos e derivado da experiência
(MARANDINO, 2003).
Portanto, a realização desse estudo para as pesquisas em Ensino de
Ciências e Avaliação Educacional, torna-se relevante, poisele contribui para uma
melhor compreensão sobre o processo de elaboração de testes de desempenho em
Ciências, em virtude da necessidade de mais pesquisas sobre avaliação de conhecimento
científico, tanto para o desenvolvimento do trabalho dos docentes e pesquisadores,
como para os sistemas educacionais, e também nas discussões sobre temas importantes
como a avaliação da educação científica.
Partimos da seguinte questão de pesquisa: Quais os limites e que
contribuições podem ser obtidas do processo de elaboração coletiva de questões para
avaliações de larga escala de Ciências?
O objetivo geral dessa pesquisafoicompreender o processo de elaboração
de um teste de desempenho em Ciências desenvolvido por um grupo de pesquisa
multidisciplinar. E os objetivos específicos são:
Descrever e analisar os processos de planejamento e distribuição do trabalho
do grupo de pesquisa IDEIA no núcleo de Sergipe para a elaboração de uma
avaliação de desempenho em Ciências.
Identificar os critérios utilizados pela equipe multidisciplinarde Sergipe para
a construção das questões do teste de desempenho em Ciências.
Excetuando-se o texto introdutório e as considerações finais, esta
proposta de dissertação foi organizada em quatro capítulos.
O Quadro Teórico abrange os dois primeiros capítulos.No primeiro
capítulo, nos preocupamos em estudar teorias que dão suporte teórico para compreender
as características que podem estar associadas ao entendimento de um processo de
elaboração de teste de desempenho. Nesse sentido, abordamos elementos doDesign
Instrucional.
Em seguida, no segundo capítulo, apresentamos uma abordagem sobre
avaliações institucionais em larga escala e desempenho escolar, construção de teste de
desempenho escolar no Brasil, modelos de testes de desempenho escolar aplicados em
âmbito nacional,alguns testes e questionários sobre o desempenho em ensino de
Ciências em âmbitos nacional e internacional.
No terceiro capítulo abordamos a metodologia, com o detalhamento dos
procedimentos de obtenção e análise dos dados.
No quarto capítulo, apresentamos os resultados e discussão com análise
dos dados.
CAPÍTULO 1 CARACTERÍSTICAS DE UM PROCESSO DE ELABORAÇÃO
DE TESTE DE DESEMPENHO
A primeira parte da fundamentação teórica que auxiliou na compreensão
do processo de elaboração do teste de desempenho em Ciências, como um trabalho
colaborativo, abrangeoDesign Instrucional (FILATRO, 2008; 2010). O estudo dessa
teoria apontou alguns elementos relevantes para aanáliseda eficácia de um processo de
construção de questões por um grupo de pesquisa multidisciplinar, como as fases de:
análise, design, desenvolvimento e execução.
1.1 Design instrucional e o desenvolvimento de um teste de desempenho em
Ciências
1.1.1Design Instrucional: conceito e fundamentos
A criação de atividades eletrônicas por um grupo multidisciplinar requer
o domínio de saberes técnicos, pedagógicos e planejamento. As novas tecnologias de
informação e comunicação oferecem ferramentas variadas de mediação, não só para a
prática docente, como também para a atividade humana. Nesse sentido, oDesign
Instrucional pode contribuir com metodologias e ferramentas que apontam uma forma
interativa e multidisciplinar de planejar e refletir sobre o processo de elaboração de
questões em projetos educacionais (REISER, 2001; FILATRO, 2008; 2010; PIMENTA,
2012).
ODesign Instrucional abrange conhecimentos teóricos e práticos para uso
em projetos acadêmicos e colaborativos que envolvem a aprendizagem e elementos para
necessidades educacionais diversas (REISER, 2001). No Brasil, é um campo de
conhecimento relativamente novo e tem sido utilizado para o aprendizado eletrônico,
especificadamente no âmbito da criação de cursos on-line (FILATRO, 2008).
Para compreender o conceito do Design Instrucional, parte-se do
pressuposto que design é o resultado de um processo, com objetivos e intenções bem
definidos sobre uma situação didática. E a instrução está relacionada com a atividade de
ensino, que utiliza a comunicação para facilitar a aprendizagem (FILATRO, 2008;
2010).
Design instrucional é definido como
[...] ação intencional e sistemática de ensino que envolve planejamento,
desenvolvimento e aplicação de métodos, técnicas, atividades, materiais,
eventos e produtos educacionais em situações didáticas específicas, a fim de
promover, a partir dos princípios de aprendizagem e instrução conhecidos, a
aprendizagem humana [...] (FILATRO, 2008, p.3).
Diante disso, esclarecemos que esse processo abrange um conjunto de
métodos, técnicas e recursos utilizados na identificação de um problema advindo de
uma necessidade de aprendizagem, e que propõe múltiplas ações para a solução desse
problema (FILATRO, 2008; 2010).
A implementação de soluções educacionais pode ocorrer em três distintos
níveis. O primeiro é o macro, denominado design de sistemas educacionais ou de
treinamento, que se desdobra em projetos de subsistemas, como seleção,
acompanhamento, suporte técnico e pedagógico, avaliação, produção e revisão. Por
isso, abrange instituições, departamentos e programas. O segundo nível é intermediário,
que pode ser aplicado na estruturação de programas, cursos e disciplinas. E, por fim, o
nível micro, que trabalha com o design de unidades de estudo (ROMISZOWSKI;
ROMISZOWSKI, 2005; FILATRO, 2008).
Em estudo de Reiser (2001), sobre a história do Design Instrucional, são
abordadas seis categorias de atividades do Design Instrucional: análise, concepção,
desenvolvimento, implementação, avaliação e a gerenciamento. Mas, a maior parte dos
modelos vem seguindo uma combinação específica de procedimentos,incluindo a
análise de problemas instrutivos e do projeto, desenvolvimento, implementação e
avaliação de procedimentos e materiais instrutivos com intenção de resolver problemas.
Assim, esses procedimentos instrucionais são geralmente associados ao campo do
Design Instrucional.
De acordo com Filatro (2008, p.4), o processo de Design Instrucional
mais utilizado pelas instituições se baseia no Instructional System Design (ISD). Este
propõe a divisão do Design Instrucionalem várias etapas dispostas em sequências, tais
como: “[...] analisar a necessidade, projetar a solução; desenvolver a solução;
implementar a solução e avaliar a solução [...]”.
Essa divisão de fases do ISD é conhecida como modelo Analyssis,
Design, Development, Implementation and Evaluation (ADDIE). Este é aplicado ao
modelo de Design Instrucional Clássico, que na situação didática, separa a concepção
(fases de análise, design e desenvolvimento) da execução (implementação e avaliação),
que é bastante sistemático e segue regras (BRAGLIA; GONÇALVES, 2009;
FILATRO, 2010).
O Design Instrucional é considerado uma teoria, uma vez que possui um
conjunto de conhecimentos relacionados à pesquisa e métodos para estratégias
instrucionais voltadas a distintos modos de aprendizagem (REISER, 2001; FILATRO,
2008). Ele é considerado por alguns autores como Ciência da instrução, abordando
vários campos de conhecimento, tais como: ciências humanas, ciências da informação e
ciências da administração (FILATRO, 2008; BRAGLIA;GONÇALVES, 2009).
Os campos de atuação do design instrucional influenciaram a sua
evolução histórica. Assim, desde o surgimento, como ciência da instrução, o Design
Instrucionalesteve tradicionalmente vinculado à produção de materiais didáticos, mais
especificamente à produção de materiais impressos. Porém, vem ganhando espaço em
ambientes apoiados pelas Tecnologias de Informação e Comunicação (TIC) (REISER,
2001; ROMISZOWSKI; ROMISZOWSKI, 2005; FILATRO, 2008).
1.1.2. Breve histórico do Design Instrucional
O Design Instrucional surgiu por volta da II Guerra Mundial (1939-
1945) no treinamento dos militares. Psicólogos e educadores norte-americanos que
tinham experiência com pesquisa experimental desenvolveram filmes para otreinamento
de milhares de recrutas, a fim de manejarem sofisticadas armas militares de maneira
rápida e precisa. Dentre esses profissionais, destaca-se Robert Gagné, que influenciou
com seus trabalhos sobre princípios instrutivos derivados de pesquisas a respeito da
teoria da instrução e do comportamento humano. E Edward Thorndike, psicólogo
norte-americano, que acreditava que a aprendizagem ocorre quando o indivíduo recebe
reforço adequado, sendo de forma cuidadosamente controlada e sequenciada (REISER,
2001; FILATRO, 2008).
Em 1954, Burrhus Frederic Skinner lançou o livro The Science of
learning and the art of teaching, descrevendo a instrução programada, dando início ao
design instrucional moderno. Na prática, as pesquisas de Skinner criaram outras técnicas
e metodologias de planejamento sistemático do processo de ensino-aprendizagem como,
por exemplo,formulação de objetivos comportamentais, divisão de conteúdos
instrucionais em pequenas unidades, e o sistema de recompensa a respostas corretas.
Nesse período, nasceu a área disciplinar de “tecnologia de educação” e a abordagem
científica ao processo de planejamento de ensino (ROMISZOWSKI; ROMISZOWSKI,
2005; FILATRO, 2008).
Em 1956, Benjamin Bloom e seus colaboradores lançaram uma
taxonomia dos objetos educacionais que representavam um esquema de categorização e
classificação dos objetivos educacionais, que se tornou útil na especificação e na análise
de resultados de aprendizagem no processo de Design instrucional (FILATRO, 2008). A
taxonomia de Bloom está organizada em três domínios: cognitivo, afetivo e psicomotor.
No domínio cognitivo estão inclusos os objetivos vinculados à memória e ao
desenvolvimento de capacidades e habilidades intelectuais, no domínio afetivo
concentram-se os objetivos que descrevem mudanças de interesse. No terceiro domínio
estão classificados os objetivos relacionados à área das habilidades de manipulação ou
motoras (REISER, 2001).
Gagné, entre 1962 e1965, trouxe inovações para a consolidação do
campo de pesquisa do Design Instrucional com a publicação de duas obras: Militar
training and priciples of learning e The conditions of learning. A partir dos estudos
sobre características de materiais instrucionais desenvolvidos para treinamento
profissionalhouve uma diferenciação entre informação verbal, habilidades intelectuais e
estratégias cognitivas necessárias à aprendizagem (REISER, 2001; ROMISZOWSKI;
ROMISZOWSKI, 2005; FILATRO, 2008).
A partir daí, vários estudiosos foram agregando conceitos importantes às
teorias iniciais do Design Instrucional. Entre os anos de 1960 e 1970, David Paul
Ausubel contribuiu com a Teoria da Aprendizagem significativa abordando que para o
aperfeiçoamento da compreensão e solução de problemas é necessário que novos
conhecimentos se relacionem de forma significativa com as noções conhecidas pelos
estudantes através do sequenciamento de conteúdos (FILATRO, 2008).
A partir de1980, o computador passa a dominar a prática do Design
Instrucional com a produção de material instrucional eletrônico e soluções em formato
multimídia. Alémdisso, em 1990, o uso da Internet traz novas abordagens à instrução e
à aprendizagem, sendo que teóricos como Thomas Duffy, David Jonassem e Seymon
Papert vêm no construtivismo um modelo em que questões cognitivas podem ser
apoiadas por ferramentas computadorizadas, como sistemas de ajuda on-line e a
linguagem de programação Logo (ROMISZOWSKI; ROMISZOWSKI, 2005;
FILATRO, 2008).
ODesign Instrucionaltem expandido sua aplicação e também se estende
para a criação de ambientes de aprendizagem apoiados por tecnologias de informação e
comunicação online envolvendo equipes multidisciplinares. Também no Brasil, o
Design Instrucional vem contribuindo para a área da Educação a Distância (EaD), pois
ajuda na interação e colaboração de vários elementos para o aprendizado com o auxílio
da Internet (SILVA;CASTRO; 2009; FILATRO, 2010).
Assim, o Design Instrucional, além de ser utilizado para a gestão de
cursos em EAD, no planejamento de produção de textos, imagens, gráficos e tarefas
relacionados ao objetivo de estudo, é capaz de gerar adaptação às características
instrucionais e regionais de cada usuário, personalizando os estilos e ritmos individuais
de aprendizagem (BRAGLIA; GONÇALVES, 2009; SILVA; CASTRO; 2009;
FILATRO, 2010).
Nesse contexto, os novos modelos de Design Instrucional adaptados ao
contexto de aprendizagem apoiados por computador e pela internet assumem o lugar
dos tradicionais que modelavam as estratégias de aprendizagem até o final do século
passado (FILATRO, 2008; 2010).
1.1.3 Modelos de Design Instrucional
Atualmente, vêm surgindo várias pesquisas que buscam modelos
alternativos de Design Instrucional adaptáveis ao contexto de aprendizagem
(FILATRO, 2010).
Geralmente, os modelos de aprendizado eletrônico, que podem ocorrer
em âmbito presencial ou distância, ocorrem no nível macro do Design Instrucional.O
profissional que se especializa nessa áreaé o designer instrucional. Este é o responsável
por projetar soluções para problemas educacionais específicos, ou seja, pode atuar na
formação e composição da equipe, produção, execução e avaliação e, por fim, na gestão
de projetos específicos. As competências deste profissional partem de uma formação
interdisciplinar, pois abrangem as três áreas de conhecimento que fundamentam o
Design Instrucional visto anteriormente: as ciências humanas, as da informação e as da
administração (FILATRO, 2008).
O designer instrucional trabalha com diferentes profissionais, e uma das
principais funções dele durante a concepção e execução é viabilizar uma boa
comunicação entre os diferentes membros, de modo que os objetivos se concretizem
(FILATRO, 2008).
De forma geral, as etapas que o designer instrucionalpode se envolver
são:
Fase de análise: busca compreender o problema educacional e projetar uma
solução. Isso é feito através da análise do contexto, por meio do levantamento
das necessidades educacionais, caracterização do aluno e verificações de limites
que precisam ser aprimorados paralelamente à participação dos membros.
Fase de design: consiste no planejamento da situação didática, através do
mapeamento e sequenciamento de conteúdos, na definição das estratégias e
atividades de aprendizagem, na seleção de mídias e ferramentas mais adequadas
à realidade. A comunicação das decisões de design é feita por meio de
documentos de especificação que orientam a fasepor meio de roteiros que são
ferramentas para a criação de soluções homogênea e focada no alcance dos
objetivos educacionais.
Fase de desenvolvimento: ocorre a produção e adaptação de recursos e materiais
didáticos impressos e digitais e a preparação de suporte pedagógico, tecnológico
e administrativo. Esta fase pode ser realizada internamente, quando a instituição
ou o indivíduo dispõe de competências multidisciplinares internas, ou pode
ocorrer externamente, pela contratação de pessoas especialistas na produção de
mídias.
Fase de implementação: acontece a aplicação da proposta de design. Durante a
execução, os alunos realizam as tarefas, interagem com os professores,
conteúdos e com ferramentas utilizadas.
Fase de avaliação: abrange as considerações sobre os resultados e revisão das
estratégias propostas. Por último pode ocorrer a reflexão da adequação do
Design Instrucional.
Filatro (2010) aborda três tipos de Design Instrucional: fixo ou fechado,
aberto e contextualizado, que são observados em projetos educacionais de cursos
presenciais semipresenciais e a distância.
O Design instrucional fixo (ou fechado) é também considerado como
“modelo de engenharia ou pré-engenharia”. A ênfase desse modelo é na produção de
objetos informacionais de aprendizagem e recursos digitais.
Na Figura 1, são apresentadasas fases desse tipo de modelo se
distribuindo ao longo do tempo, sendo possível perceber que o modelo Design
instrucional fixo é parecido com o modelo ADDIE, pois apresenta separação completa
entre as fases de concepção (design) e execução (implementação).
Figura 1: Fases do processo de Design Instrucional Fixo. Fonte: Filatro(2008).
O Design instrucional aberto envolve um conjunto de atividades
artesanais e flexíveis, que privilegiam mais os processos de aprendizagem do que os
produtos. O foco desse modelo é a interação entre professores e alunos. A figura 2
ilustra como as fases desse tipo de modelo se distribuem ao longo do tempo, visto queo
momento de execução é mais lento, podendo a distribuição de materiaisserem
disponibilizada mais devagar e ocorrer uma avaliação continuada durante o processo.
Figura 2: Fases do processo de Design Instrucional Aberto. Fonte:Idem.
O modelo de Design instrucional contextualizado (DIC) considera
central a atividade humana, pois aborda a importância de todos os participantes
envolvidos no contexto de instrução, uma vez que podem influenciar o cenário e
também conhecer a necessidade de mudanças durante a execução. No modelo de DIC,
apresentado na figura 3, as fases do processo de Design Instrucional se
repetemsucessivamente ao longo da execução, a partir da fase de concepção. Isso
possibilita adaptações no decorrer da execução da situação didática.
Fase
Tempo
Figura 3: Fases do processo de Design Instrucional Contextualizado. Fonte: Idem.
O processo de Design Instrucional varia de acordo com as diferentes
realidades e necessidades educacionais, por isso a função do designer instrucional
também muda conforme o contexto de desenvolvimento da meta que se pretende
alcançar.
No modelo convencional de Design Instrucional, designer
instrucionalpode atuar como um especialista em tecnologia educacional.Esta se remete
à aplicação de recursos tecnológicos diversos em prol do desenvolvimento educacional
e da facilidade ao acesso à informação como ferramenta para aprimorar o ensino. É usar
a tecnologia a favor da educação, promovendo mais desenvolvimento socioeducativo e
melhor acesso à informação (FILATRO, 2010).
O quadro 2 apresentauma síntese sobre distinções quanto ao papel do
designer instrucionalna prática dos modelos de Design instrucional fixo, aberto e
contextualizado.
Quadro 2: Diferença quanto ao papel do designer instrucional nas práticas dos modelos de Design
Instrucional aberto, fechado e contextualizado.
Fases
Modelo de Design
instrucional fixo
Modelo de Design
instrucional aberto
Modelo de Design
instrucional contextualizado
Análise O designer instrucional
faz um estudo das
O designer
instrucional trabalha
A identificação das
necessidades, caracterização
necessidades de
aprendizagem e
trabalha de forma mais
independente ou em
colaboração com o
conteudista,
especialista em mídia e
profissionais da
comunicação e
tecnologia.
mais próximo dos
educadores, atuando
como especialistas,
contribuindo para o
perfil dos
participantes, seleção
de metodologias e
mapeamento
curricular.
dos alunos e levantamento
de restrições paralelamente
à participação dos alunos.
Design O designer instrucional
elabora roteiro que
antecipa aspectos
relacionados à
apresentação dos
conteúdos.
O designer
instrucional
desenvolve manuais
de orientação para
nortear as próximas
etapas, que são
realizadas por
educadores ou por
uma equipe de apoio.
O designer instrucional
especifica o ambiente de
aprendizagem e as ações do
design das atividades.
Desenvolvimento O designer instrucional
acompanha essa
fasedesenvolvida por
especialista. Este faz
pré-testes e validação
dos produtos.
O designer
instrucional auxilia os
educadores no
desenvolvimento dos
guias de estudo e
manuais de
orientação,
acompanhando a
programação das
ferramentas que
serão utilizadas na
execução.
O designer instrucional faz a
programação de atividades,
interações e regras a seres
aplicadas na fase de
execução.
Implementação
Para a execução, segue
estritamente o que foi
planejado.
Os educadores têm
autonomia para o que
foi proposto no início.
Pode ocorrer a participação
dos alunos na redefinição
dos objetivos, dos conteúdos
e estratégias de aprendizado.
Envolve a metacognição,
relacionada com a reflexão
das próprias ações durante o
processo de design e
desenvolvimento dos
educadores ou/e ou equipe
de apoio.
Avaliação
Envolve avaliações
mais objetivas para
verificar a aquisição de
conteúdos pelos alunos.
Execução pelo designer
instrucional de teste-
piloto, revisões e
validações internas.
A avaliação formativa
ocorre durante todo o
processo de execução,
resultando em ajuste
da proposta original.
Não busca somente a
verificação da eficácia de
objetivos educacionais pelos
alunos, pois a mesma equipe
que trabalha com contextos
diferentes pode construir
soluções mais ou
menosadequadas.
Fonte: Idem.
A partir do quadro 2, percebemos que o papel do designer instrucional
pode variar conforme a flexibilidade na execução das atividades, num processo de
identificar um problema de aprendizagem e desenhar, desenvolver, implementar e
avaliar uma solução para esse problema. Assim, durante as fases de concepção e
execução, o designer instrucional trabalha com profissionais de diversas áreas, e uma
das principais funções é promover a boa comunicação entre os diferentes membros da
equipe.
O trabalho do designer instrucional varia conforme os três tipos de
Design Instrucional. No Design instrucional fixo, constitui-se na elaboração e
distribuição de produtos, tais como objetos de aprendizagem e recursos digitais. No
Design instrucional aberto há uma ênfase na interação social, sendo que na fase de
execução tem autonomia para fazer ajustes, tornando essa etapa menos rápida e mais
detalhada. E no Design instrucional contextualizado, o designer instrucional estrutura
um conjunto de atividades independentes e prevê possibilidades de adaptações durante a
execução da situação didática (FILATRO, 2008).
1.1.4 O Design Instrucional como aporte teórico para a pesquisa em educação
Alguns autores como Pinheiro (2002), Filatro e Piconez (2004),
Romiszowski e Romiszowski (2005), Filatro (2010) e Pimenta (2012)consideram o
Design Instrucional como potencial instrumento analítico complementar nas análises
práticas educativas que envolvam atividades de aprendizagem e trabalhos colaborativos.
Pinheiro (2002) analisou estratégias para o Design Instrucional de cursos
pela Internet, propondo estratégias para avaliação, acompanhamento e revisão. Essas
estratégias foram aplicadas em um caso real, na disciplina de Educação e Tecnologia II,
do curso de Pedagogia da Universidade do Vale do Itajaí (UNIVALI), de Santa
Catarina. Constatou-se como resultado desta experiência que as estratégias funcionaram
com eficácia ao propor o design do curso, as análises e o planejamento no andamento da
disciplina.
Filatro e Piconez (2004) estudaram a maneira como o Design
Instrucionalpode valer-se das potencialidades da Internet para incorporarelementos nas
diversas formas de aprendizagens e gerar experiências autênticas que atendam às
demandas específicas do mundodo trabalho. As autoras descrevem a aplicação de uma
proposta híbrida de design instrucional a uma situação de ensino-aprendizagem do
contexto universitário, ancorada em um ambiente virtual de aprendizagem.
Romiszowski e Romiszowski (2005) realizaram um estudo sobre o
Design Instrucional, considerando este como sinônimo para“tecnologia instrucional”.
Os autores ressaltaram a importância do enfoque sistêmico do Design Instrucionala
qualquer projeto de inovação educacional. Eles destacaram que o planejamento bem
feito, com a distribuição de atividades e interações bem realizadas, faz com que o
andamento do projeto seja mais bem aproveitado pelos alunos.
Filatro (2010) trabalha com foco na formação continuada de professores,
considerando a aprendizagem ou educação de adultos como andragogia. A autora
realizou um estudo de caso na disciplina Ensino a Distância do curso de Pedagogia da
Faculdade de Educação da USP. Ela acompanhou a implementação da proposta do
Design Instrucional contextualizado nessa disciplina. A mesma percebeu uma
articulação entre teoria e prática no contexto da sala de aula, por considerar o DICmais
flexível e dinâmico nos procedimentos adotados para resolver dificuldades enfrentadas e
o mesmo ser capazde proporalternativas para superar a limitação de tempo, de recursos
e pessoal.
Pimenta (2012) buscou, em seus estudos sobre Design Instrucionalrelatar
e analisar os desafios no processo de elaboração do componente on-line de duas
disciplinas de graduação na Faculdade de Letras da Universidade Federal do Rio de
Janeiro, usando a plataforma Moodle. Ela utilizou como fundamentação teórica a
Teoria da Atividade (ENGESTRÖM, 2001), que auxiliou na compreensão do processo
de elaboração do Ambiente Virtual de Aprendizagem (AVA) enquanto um sistema de
atividades, considerando a divisão de trabalho, e oDesign Instrucional(FILATRO,
2008) que apontou o planejamento e avaliação como procedimentos fundamentais para
garantir êxito na elaboração do componente on-line das disciplinas.
Assim, podemos perceber através dos estudos de alguns pesquisadores
que as estratégias propostas pelo Design Instrucional podem dar direção ao
entendimento e desenvolvimento de um programa de atividades didáticas por um grupo
de estudo multidisciplinar, pois o DI na perspectiva contextualizada se foca no processo
e propõe sempre rever as etapas passadas para contornar desafios e limites na
implementação das metas.
No próximo tópico, abordamos aspectos gerais direcionados ao estudo
sobre construção e metodologias dos instrumentos de avaliação de sistemas de ensino,
testes de desempenho e questionários socioculturais nacionais e internacionais, a fim de
investigar as etapas de elaboração desses instrumentos de medida na perspectiva do
Ensino de Ciências.
CAPÍTULO 2 AVALIAÇÕES DE DESEMPENHO ESCOLAR: PROCESSO DE
CONSTRUÇÃO E METODOLOGIAS
Como um dos propósitos dessa pesquisa é descrever o processo de
elaboração de um teste de desempenho em Ciências, é importante investigar sobre as
avaliações educacionais nacionais que verificam o desempenho escolar nos diversos
níveis de ensino, a fim de entender como são construídas. Para isso, a fundamentação
para compreendermos a relação entre avaliação institucional e desempenho escolar
pautou-se nas discussões de autores comoLukesi (2000),Belloni, (1999),
Capellini,Tonelotto e Ciasca(2004),Tonelotto et al. (2005).
Em seguida, abordamos modelos de avaliação educacional, como o
Sistema de Avaliação da Educação Básica (SAEB) (BRASIL, 2008) e instrumentos de
medida de desempenho escolar aplicados em nível nacional, como: Provinha Brasil e
Prova Brasil (BRASIL, 2008; INEP, 2011); Exame Nacional do Ensino Médio (ENEM)
(MINHOTO, 2008; CASTRO, 2009); e também em nível estadual, como o Sistema de
Avaliação do Rendimento Escolar do Estado de São Paulo (SARESP) (SEE/SP, 2009),
com o intuito de conhecer o processo de formulação dessas avaliações externas, bem
como algumas implicações para o contexto educacional. Além disso, apresentamos um
breve estudo sobre o monitoramento da qualidade do Ensino de Ciências do Brasil,
alguns testes e questionários sobre o desempenho em ensino de Ciências em âmbito
nacional e internacional.
Por fim, pesquisamos a respeito da metodologia utilizada para análise dos
dados da aplicação das avaliações externas, a Teoria de Resposta ao Item (TRI)
(KLEIN; FONTANIVE, 1995; VALLE, 2000; ADRADE, TAVARES; VALE, 2000).
2.1 Relação entre avaliação institucional e desempenho escolar
No Brasil, desde 1988, a Constituição Federal prevê a necessidade de
além de garantir ensino fundamental obrigatório e gratuito, proporcionar um padrão de
qualidade. Isso pode ser assegurado pela Lei de Diretrizes e Bases da Educação
Nacional, Lei 9394/96 no artigo 9º, que define ser competência da União: coletar,
analisar e disseminar informações sobre a educação bem como assegurar processo
nacional de avaliação do rendimento escolar nos ensinos fundamental, médio e superior,
em colaboração com os sistemas de ensino.
Percebemos uma forte tendência contemporânea de implementar
avaliações institucionais em larga escala em colaboração com os estados e municípios
que visam à avaliação do ensino por intermédio do desempenho escolar dos alunos
(SASS; MINHOTO, 2010). Esse crescente interesse pela avaliação educacional vem
ocorrendo devido a alguns fatos relevantes: indicadores de movimentação e fluxo
escolar não fornecem informações sobre a qualidade do ensino oferecido aos alunos; e
ao questionamento com relação ao fato do conteúdo assimilado na escola estar ou não
adequado para a vida em sociedade (KLEIN; FONTANIVE, 1995; HORTA NETO,
2007).
Assim, estados e municípios passaram a dar mais relevância para a
avaliação institucional da Educação Básica, que tem sido vista como um instrumento
significativo que oferece subsídios para o diagnóstico da situação da educação
brasileira, além do planejamento, elaboração, reformulação e monitoramento de
políticas públicas de educação no Brasil (WITTMANN, 2008).
Conforme Horta Neto (2007), há diversos tipos de avaliações que são
realizadas dentro do sistema educacional, como as avaliações internas, concretizadas em
sala de aula, e as avaliações externas, que passam por todo o sistema educacional.
Segundo o autor, muitos países vêm investindo significativos recursos na realização de
avaliações externas constituídas por instrumentos, como testes aplicados aos discentes
com o propósito de investigar a aquisição de habilidades e competências necessárias
para a conclusão de um nível do sistema educativo.
Belloni (1999) comenta que há distinção entre avaliação institucional e
avaliação educacional. A primeira é destinada à avaliação de políticas, de projetos e
instituições. Desse modo, a avaliação institucional pode ser voltada a uma escola ou a
um sistema de educação como um todo, tendo como objeto o conjunto das instituições e
a gestão do sistema, com o propósito de analisar o desempenho global da instituição
através da avaliação dos processos de funcionamento e resultados, a fim de buscar
fatores associados à eficácia e dificuldades para superação dos mesmos. Por ser
conduzida de fora da instituição, tem característica de avaliação externa, sendo que
necessita ser global e sistemática, ou seja, englobar todo o sistema de educação e
desenvolver-se de forma continuada e com periodicidade definida. Assim, os resultados
obtidos são de cada instituição.
Complementando as discussões sobre avaliações institucionais, Klein e
Fotanive (1995) abordam que os objetivos da avaliação em larga escala do sistema
escolar são os de informar o que grupo ou subgrupos de alunos em diferentes anos
sabem e são capazes de fazer e acompanhar a evolução ao longo dos anos. Por isso, não
tem a intenção de fornecer informações sobre alunos ou escolas individuais.
Por outro lado, a avaliação educacional se refere à avaliação dos
currículos ou programas de ensino e à avaliação da aprendizagem. Neste caso, refere-se
à análise do desempenho escolar de um indivíduo ou grupos submetidos a processos de
aquisição de conhecimentos, ou do rendimento em atividade de qualificação
profissional (BELLONI, 1999).
Autores como Vieira e Fernandes (2011) comentam que, nas políticas
atuais, a avaliação dos sistemas de ensino tem sido bastante contemplada como forma
de analisar o desempenho dos alunos, dos professores e das escolas. Com isso,
percebemosum crescimento, nas últimas décadas, dos exames regulares estaduais e
nacionais que geram os indicadores de desempenho educacional para avaliar a
qualidade do ensino no Brasil.
É preciso ter cuidado para não generalizar desempenho escolar como
sendo o rendimento avaliado por notas obtidas nas disciplinas (CAMARGO, 1995;
WECHSLER, 2000). O desempenho escolar pode ser entendido como uma tentativa de
mensurar o quanto um aluno consegue acompanhar os conteúdos propostos para a série
a qual pertence. Além de ser considerada também como uma maneira de analisar os
aspectos quantitativos e qualitativos, bem como a capacidade da criança em acompanhar
os conteúdos propostos pela escola (CAPELLINI; TONELOTTO; CIASCA, 2004).
Depresbiteris (1998) e Belloni (1999) consideram o desempenho escolar
um processo de avaliação da aprendizagem com o objetivo de mensurar a aquisição de
novos conhecimentos e habilidades após uma atividade ou uma prova. Assim, o teste de
desempenho escolar serve para medir se o aluno está abaixo ou acima de um parâmetro
julgado ideal pelo sistema educacional.
No entanto, para Luckesi (2000), é relevante não confundir a avaliação
da aprendizagem com exames. Para o autor, a avaliação da aprendizagem vai além da
tentativa de mensurar a quantidade de conhecimentos dos estudantes, pois é um
processo também qualitativo, contínuo e dinâmico, que busca a inclusão. Por outro lado,
os diversos exames são testes objetivos, com características excludentes e
classificatórias, e buscam medir conhecimentos adquiridos pelo aluno.
De acordo com Ferreira (2011) e Amaral (2006), os instrumentos de
medidas de aprendizagem, como os exames ou testes, também podem ser considerados
como método para determinar qualidade, natureza ou comportamento de um indivíduo
ou instituição de ensino. Então,quando se pretende mensurar a mudança do desempenho
de cada aluno e fazer uma classificação comparativa dos mesmos, é necessário o uso de
instrumentos variados, como questionários preliminar e final, relatórios, participação
qualitativa e quantitativa, resgate crítico de prática docente, provas dissertativas.
Algumas pesquisas têm enfatizado que educadores e pesquisadores
enfrentam dificuldade em encontrar instrumentos de medida de aprendizagem que sejam
capazes de medir quantitativamente e qualitativamente o desempenho escolar da
realidade de ensino do país (BELLONI, 1999; CAPELLINI;TONELOTTO; CIASCA,
2004).
Essa falta de instrumentos de avaliação pode ser, de acordo com Belloni
(1999), Capellini et. al (2004) e Locatelli (2002), devido ao fato da experiência do
Brasil com testes padronizados de avaliação de desempenho escolar ser muito reduzida
e recente, posto que até meados da década de 1990 não haviam medidasde avaliação da
aprendizagem que produzissemevidências sólidas sobre a qualidade dos sistemas
deensino no país.
O que temos encontrado na literatura, são testes isolados com a função de
mensurar habilidades específicas de alunos do ensino fundamental como os exames de
vestibulares. Estes se constituíram num procedimento de seleção de alunos baseado na
aplicação de provas objetivas de rendimento, com o propósito de selecionar os futuros
universitários com base na mensuração dos conhecimentos acumulados por estes
durante os anos de escolarização formal (ANDRIOLA, 2011).
Numa perspectiva mais ampla, a elaboração de sistemas padronizados de
avaliação de larga escala é um fenômeno recente que vem sendo implantado desde
1990. Aos poucos, surgiu o Sistema de avaliação da Educação Básica (SAEB), com o
intuito de mensurar o desempenho escolar dos estudantes de todos os estados
brasileiros, bem como os fatores associados ao desempenho, sendo a análise dos
resultados utilizados para a elaboração de políticas públicas em educação para formular
programas para a melhoria da educação básica. Em meados de 90, surgiram o Exame
Nacional do Ensino médio (ENEM) e as avaliações estaduais do rendimento
escolar(LOCATELLI, 2002).
2.2Testes e questionários de desempenho escolar
Neste tópico, buscamos apresentar alguns dos relevantes modelos de
avaliação de desempenho escolar no Brasil, abordando as principais características e
implicações dessas avaliações para o contexto educacional.
A avaliação da educação básica brasileira é realizada pelo Ministério da
Educação (MEC) através do Instituto Nacional de Estudos e Pesquisas Educacionais
“Anísio Teixeira” (INEP) que tem formulado e implementado instrumentos de avaliação
nacionais para aferir o desempenho escolar nos diversos níveis de educacionais.
O MEC implementou, na década de 1990, o sistema de avaliação
educacional em larga escala no Brasil com a criação do Sistema de Avaliação da
Educação Básica (SAEB) pelo INEP (FREITAS, 2004; BRASIL, 2008;
VIEIRA;FERNANDES, 2011). O SAEB foi a primeira iniciativa brasileira proposta
para conhecer os problemas e deficiências do sistema educacional (BECKER, 2010).
Atualmente, o SAEB é um programa nacional do INEP que se destina a
avaliar a proficiênciade estudantes da Educação Básica em Língua Portuguesa, com
foco em Leitura e Matemática, na resolução de problemas (RIBEIRO; LISE, 2011).
Além de medir o desempenho escolar, o SAEB aplica questionários aos alunos, a fim de
coletar dados socioeconômicos, culturais e da prática escolar; aos diretores, para
conhecer o perfil, prática da gestão e infraestrutura dos estabelecimentos de ensino; e
aos professores para saber do perfil e práticas pedagógicas (BECKER, 2010).
Locatelli (2002) realizou um estudo a respeito da construção do
programa de avaliação de larga escala do SAEB de 2001. Segundo a autora, desde a
implantação desse sistema de avaliação educacional, a equipe de execução do mesmo
promoveu várias ações que se resumiram em reuniões locais e seminários regionais com
professores, diretores e técnicos do INEP para a discussão sobre as estratégias a respeito
da construção e divulgação da prova e aspectos relacionados ao questionário
socioeconômico.
Locatelli (2002), em sua pesquisa, aborda o processo de construção e
aplicação do Saeb de 2001. Dentre algumas ações importantes para a montagem do
sistema de avaliação de larga escala, a autora observou algumas fases relevantes. Em
primeiro lugar, notou a necessidade de definir objetivos, periodicidade, turmas e
disciplinas avaliadas; matriz de referência especificando os descritores e modelo do
teste de desempenho, além de elaborar, revisar questões e realizar pré-teste das mesmas;
assim como treinamento de aplicadores.
Em segundo lugar, após a aplicação, são feitas a construção das bases de
dados, análise dos resultados e produção de escalas de proficiência realizadas por
empresas especializadas contratadas pelo INEP. Por fim, são elaborados relatórios
nacionais para a divulgação dos resultados (LOCATELLI, 2002).
O INEP realizou um estudo sobre a aprendizagemde estudantes em idade
de oito anos emleitura e escrita, e obteve como resultado um baixodesempenho
escolarnessas áreas.Ocorreu então a necessidade de verificar o desempenho de alunos
das séries iniciais. Assim, o INEP, em abril de 2008, aplicou a Provinha Brasil. Este é
um teste aplicado em larga escala e busca avaliar o nível de alfabetização e letramento
de alunos do 2º ano do Ensino Fundamental que estudam em escolas públicas, sendo um
instrumento diagnóstico, opcional e não classificatório (INEP, 2011).
A partir de 2011, aProvinha Brasil passou a avaliar o nível de
alfabetização das crianças quanto às habilidades matemáticas. As questões dessa
avaliação são elaboradas a partir da Matriz de Referência das Avaliações de Leitura e
Matemática. As questões de Português são construídas com base na Matriz de
Referência para Avaliação da Alfabetização e do Letramento Inicial contendoas
habilidades que são avaliadas. Este documento foi organizado com fundamento no
“Pró- Letramento – Programa de Formação Continuada de Professores dos Anos/Séries
Iniciais do Ensino Fundamental” e outros documentos que norteiam as avaliações
nacionais desenvolvidas pelo INEP (INEP, 2011; BRASIL, 2012; SANTOS, 2012).
O caderno do aluno da Provinha Brasil de 2011 possuia 24 questões de
múltipla escolha, sendo que nas edições de 2008 a prova tinha também questões de
escrita. A aplicação da Provinha Brasil pode ser realizada por uma pessoa que não seja
externa à rede de ensino, como o próprio professor.A realização da correção e
interpretação dos resultados pode ser realizada pela própria rede, uma vez que se utiliza
uma metodologia de aplicação simples e imediata (INEP, 2009).
Outro importante programa de avaliação nacional é o SAEB,que é
decomposto em duas avaliações: Avaliação Nacional da Educação Básica (ANEB) e
pela Avaliação Nacional do Rendimento Escolar (ANRESC), esta conhecida como
Prova Brasil, realizados a cada dois anos (BELLONI, 1999; FREITAS, 2004; BRASIL,
2008). Essas são avaliações externas para políticas públicas do país,como forma de
analisar o desempenho dos alunos, dos professores e das escolas a partir de testes
padronizados e questionários socioeconômicos aplicados para os estudantes e a
comunidade escolar (DOMINGUES; OLIVEIRA, 2012; PAZ; RAPHAEL;2010;
BRASIL, 2011; VIEIRA; FERNADES, 2011).
A ANEBvem sendo implementada desde o ano de 1995 eabrange de
maneira amostral os estudantes das redes públicas e privadas do país, matriculados no 5º
e 9º anos do ensino fundamental e também no 3º ano do ensino médio, havendo a
necessidade de no mínimo 10 alunos por turmas (BRASIL, 2008).
A Prova Brasil foi instituída pela Portaria ministerial nº 931, de 21 de
Março de 2005. Essa avaliação abrange testes censitários, sendo aplicados no 5º ano e
9º ano do ensino fundamental, nas redes estadual, municipal e federal, de área urbana e
rural, em escolas que tenham no mínimo 20 alunos matriculados na série avaliada. A
Prova Brasil foi implementada devido à necessidade de compreender e analisar a
diversidade e especificidades das escolas brasileiras (DOMINGUES; OLIVEIRA, 2012;
BRASIL, 2008).
Desde 2007, as avaliações do SAEBsão aplicadas em conjunto, pois são
exames complementares que apresentam a mesma metodologia para a construção e
aplicação dos testes. Estas são avaliações externas que buscam avaliar o sistema
educacional brasileiro e as escolas, não o estudante. Para tanto, são utilizadas provas
elaboradas com um grande número de itens, abrangendo as competências e habilidades
de uma área curricular de interesse e requeridas ao final de cada ciclo de aprendizagem
(KLEIN; FONTANIVE, 1995; RIBEIRO; LISE, 2011).
Para alcançar esse propósito, o INEP tem organizado um sistema de
elaboração de itens chamado de Banco Nacional de Itens (BNI). Este abrange um
banco de dados que reúne questões usadas em todos os exames realizados pelo MEC,
como por exemplo: ENEM, Exame Nacional de Desempenho de Estudantes (ENADE),
Provinha Brasil, SAEB. Assim, o INEP vem realizando chamadas públicas para
convocar docentes a fim participar de oficinas com a finalidade de elaborar e revisar
itens para a montagem do BNI,do qual são retirados os testes dos exames citados
(INEP, 2011).
O INEP também possui um banco de itens calibrados por meio da
realização de pré-testes, com amostras representativas do universo de alunos, sendo um
processo de estimação dos parâmetros dos itens a partir das respostas de um grupo de
alunos submetidos a itens testados. Esse processo de estimação dos parâmetros dos itens
conhecidos como calibração consiste em colocar parâmetros nos itens vindos de pré-
testagem para possibilitar a comparação. Assim, a calibração dos itens deve ser feita
com um número grande de indivíduos e, na prática, é realizada a calibração para a
estimação da habilidade (ANDRADE; TAVARES; VALLE, 2000).
A partir disso, é estabelecida uma escala de medida da habilidade na qual
são colocados os valores dos parâmetros do item, o que permite calcular a proficiência
na mesma escala. Isso é possível devido à Teoria de Resposta ao Item (TRI), que
permite que em uma mesma escala sejam colocados os valores das habilidades dos
respondentes e dos parâmetros do item.
Atualmente, na área de avaliação educacional, tem-se dado muita
importância para as técnicas derivadas da TRI. Esse interesse é devido ao fato da
TRIpermitir a construção de escalas de habilidade calibradas para que seja possível a
comparação entre os resultados das avaliações ao longo do tempo.Essa metodologia
vem sendo progressivamente utilizada para a construção de testes e análises de
resultados das avaliações institucionais em larga escala como o Saeb e o SARESP
(KLEIN; FONTANIVE, 1995; ANDRADE; TAVARES; VALLE, 2000).
A TRI foi adotada a partir de 1995, antes disso, utilizava-se a Teoria
Clássica das Medidas (TCM). Esta foi muito utilizada tradicionalmente para seleção de
indivíduos e nos processos de avaliação, como por exemplo, nos vestibulares (KLEIN;
FONTANIVE, 1995; VALLE, 2000).
A TCM se baseia em resultados obtidos em provas através de escores
padronizados. Os resultados encontrados dependem do conjunto de questões que
compõem o exame, limitando a aplicabilidade. As análises e interpretações estão
sempre associadas à prova como um todo, sendo essa a característica principal. Assim,
torna-se inviável a comparação entre indivíduos que não foram submetidos aos mesmos
testes.
Por outro lado, a TRI consiste em um conjunto de modelos matemáticos
que exige cálculos complexos e programas de computadores específicos. Por isso, é
relevante a cooperação de profissionais da estatística e da educação para que ocorra a
aplicação apropriada da TRI em avaliações educacionais (VALLE, 2000; VIANNA,
2003; KATRINE, 2007).
A TRI supõe modelos matemáticos para representar características do
indivíduo que não podem ser observadas diretamente (traços latentes). Isso consiste em
um tipo de variável que é inferida a partir da observação de variáveis secundárias que
estejam relacionadas a ela. Nas últimas décadas, vem sendo usada a forma matemática
logística para representar as habilidades (VALLE, 2000; VIANNA, 2003).
Partindo disso, essa metodologia sugere formas matemáticas de
representar a relação entre a probabilidade de um aluno responder corretamente a um
item e traços latentes, como a proficiência ou habilidade na área de conhecimento
avaliada. Essa relação depende da proficiência dos indivíduos e dos parâmetros dos
itens. Isso propõe que quanto maior a proficiência, maior a probabilidade de o aluno
acertar o item (KLEIN; FONTANIVE, 1995; ANDRADE; TAVARES; VALLE, 2000;
VALLE, 2000; VIANNA, 2003).
Andrade, Tavares e Valle (2000) abordam que os modelos da TRI
dependem de três fatores que são: quantidade de traços latentes, número da população
envolvida e natureza do item. Diante desses elementos, modelos da TRI mais utilizados
nas avaliações educacionais são os modelos logísticos para itens dicotômicos de três
parâmetros. São considerados exemplos de parâmetros que se utilizam para abordar o
item: dificuldade, discriminação e probabilidade de resposta correta dada por indivíduos
de baixa habilidade (ANDRADE; TAVARES; VALLE, 2000).
Andrade, Tavares e Valle (2000) apresentaram, em estudos sobre
conceitos e aplicação da TRI, modelos unidimensionais que envolviam a avaliação de
somente um traço latente, ou seja, uma habilidade para um, dois ou mais grupos de uma
amostra da população distintas, tendo como critérios de exemplos de populações
diferentes, anos e períodos. Quanto à natureza, fizeram uma análise de itens de múltipla
escolha dicotomizados, ou melhor, que tem como resposta certa ou errada, e também
para itens abertos, ou seja, de respostas livres e utilizando três parâmetros.
Na prática, as habilidades e os parâmetros dos itens são estimados a partir
das respostas de um grupo de indivíduos submetidos a esses itens. Mas, uma vez
estabelecida a escala de medida da habilidade, os valores dos parâmetros dos itens não
mudam, isto é, seus valores são invariantes para diferentes grupos de respondentes,
desde que os indivíduos destes grupos tenham suas habilidades medidas na mesma
escala. Esses valores são escolhidos de modo a representar, respectivamente, o valor
médio e o desvio-padrão das habilidades dos indivíduos da população em estudo
(ANDRADE; TAVARES; VALLE, 2000).
A TRI envolve técnicas de obtenção de escalas. Todos os alunos podem
ser colocados em uma escala comum, mesmo que nenhum dos alunos responda a todos
os itens. Usando a escala comum, é possível estimar distribuições de proficiência para a
população e subpopulações e compará-las. É possível também estimar relações entre as
proficiências, as variáveis socioeconômicas e culturais e as dos ambientes escolares
pesquisados (ANDRADE; TAVARES; VALLE, 2000).
Essa metodologia utiliza uma prova adaptativa realizada no computador e
cada candidato responde a um conjunto de itens diferentes sobre algumas disciplinas,
como Língua Portuguesa e Matemática. A partir disso, podeestimar a habilidade,
proficiência, grau de satisfação e o grau de maturidade dos candidatos (ANDRADE;
TAVARES; VALLE, 2000).
Para Valle (2000), uma das grandes vantagens da TRI é que ela permite a
comparação de populações, desde que tenham sido submetidas a itens comuns, e
também a comparação entre indivíduos que tenham sido submetidos a provas diferentes.
Isto ocorre porque a TRI tem como elementos principais os itens, e não a prova como
um todo.
Diante dessas Escalas de Proficiência da Prova Brasil e do SAEB, o
resultado para cada escola é divulgado através do cálculo da média da proficiência dos
estudantes que participaram dessa avaliação. Essa média é expressa em uma escala de
medida de habilidade ou escala de desempenho médio de estudantes que vai de 0 (zero)
a 500 (quinhentos) pontos.
As médias descrevem, em cada nível, as competências e as habilidades
que os estudantes desses sistemas demonstram ter desenvolvido. Há uma escala descrita
para as habilidades em Língua Portuguesa e outra para Matemática. Dentro de cada uma
das disciplinas, a escala é única e cumulativapara todas as séries avaliadas – a lógica é a
de que quanto mais o estudante caminha ao longo da escala, mais habilidades terão
acumulado - portanto, é esperado que alunos de 5° ano alcancem médias numéricas
menores que os de 9° ano (INEP, 2011). Assim, para interpretar os resultados tanto da
Prova Brasil quanto do SAEB, é necessário observar numa única escala, a Escala de
Proficiência do SAEB e da Prova Brasil, dois indicadores importantes: a média da
escola, do município, da região e do Estado; e o percentual de estudantes em cada nível
da escala de proficiência.
As questões da Prova Brasil chamadas de itens, são elaborados a partir de
uma Matriz de Referência. Este documento criado em 1997 para orientar a elaboração
das questões, foi reformulado em 2001. Essa matriz foi organizada com base nas
propostas curriculares de alguns estados e municípios e nos Parâmetros Curriculares
Nacionais (PCN) (BRASIL, 2008).
A Matriz de Referência se decompõe em descritores, cujafunção é
sintetizar as habilidades e competências que precisam ser testadas nos alunos em cada
ano de escolaridade avaliado. Esses descritores são expressos em forma de objetivos
que detalham uma habilidadecognitiva em graus de complexidade, sempreassociada a
um conteúdo que o estudante já tenha visto em sala de aulae que se espera que tenham
dominado ao concluírem o final de uma etapa da escolaridade. Assim, para averiguar os
níveis de aprendizagem dentro de um mesmo descritor, a Prova Brasil propõe questões
com diferentes graus de dificuldade (BRASIL, 2008; RIBEIRO; LISE, 2010).
A Prova Brasil é formulada por especialistas de várias áreas do
conhecimento, assim como dos campos de Avaliação e Estatística. Ela é entregue ao
aluno na forma de caderno, com questões de múltipla escolhae quatro ou cinco
alternativas que têm como opção de resposta certa ou errada, ou do tipo questão aberta,
em que o estudante tem que escrever a resposta e esta é classificada em uma das várias
categorias ordenadas, variando de errado a correto (KLEIN; FONTANIVE, 1995;
LOCATELLI, 2002; KATRINE, 2007). Cada item da Prova Brasil é composto por
enunciados que podem abranger uma situação-problema, questionamento,
contextualização, texto, imagem além do comando para resposta (RIBEIRO; LISE,
2010).
São confeccionados 21 tipos diferentes de cadernos de prova para cada
série avaliada, sendo que cada aluno responde a apenas um caderno de prova. Desta
forma, dois alunos não respondem necessariamente às mesmas questões. Cada caderno
de prova é constituído por quatro blocos, dois destinados a respostas de Língua
Portuguesa e os outros dois abordando questões de Matemática. Os alunos de 5° ano
responderão a 22 itens de Português e a 22 itens de Matemática. Já os estudantes de 9°
ano e do 3º ano do ensino médio responderão a 26 itens de Português e a 26 de
Matemática (INEP, 2011).
Antes da aplicação efetiva da Prova Brasil, o MEC e o INEP realizam
pré-testes,em forma de simulados, para preparar o aluno. Esses pré-testes são aplicados
a uma grande amostra de alunos de todo país, com o intuito de conhecer os itens que
têm mais possibilidade de acerto por “chute”, ou melhor, sem o conhecimento do
conteúdo, e com isso, realizar a classificação do grau de complexidade das questões
com base nos raciocínios que os alunos podem utilizar. Então, as questões são
classificadas, com base no grau de complexidade, em médias, fáceis e difíceis (INEP,
2011; MEC, 2013; RIBEIRO; LISE, 2010).
As escolas são selecionadas pelo INEPa partir de dados do Censo
Escolar. Até 2012, as provas eram compostas por quatro blocos: dois de Língua
Portuguesa e dois de Matemática. Não são divulgados resultados individuais dos
estudantes, considerando que o objetivo é avaliar a unidade e o sistema de ensino.
Os resultados da Prova Brasil, que são as médias de desempenho, são
utilizados para calcular o Índice de Desenvolvimento da Educação Básica (IDEB) que
são divulgados por escola, município e estado (BRASIL, 2008). O IDEB é definido
através dos resultados do SAEB, da Prova Brasil e dos indicadores de desempenho
captados pelo censo escolar (evasão, aprovação e reprovação). Ele foi criado com o
propósito de tornar possível o monitoramento de escolas com alunos de baixo
desempenho. A partir dos resultados do IDEB e com o apoio do Plano de
Desenvolvimento da Educação (PDE) são propostas políticas para melhorar a qualidade
de ensino (BECKER, 2010; HORTA NETO, 2010; SASS; MINHOTO, 2010).
Sass e Minhoto (2010) e Paz e Raphael (2010) abordam que há uma
estreita relação entre o IDEB e o investimento em qualidade de educação. Os autores
comentam que a obtenção de níveis mais elevados de IDEB para uma determinada
escola proporciona também um maior investimento financeiro para essa instituição, ou
seja, são repassadas aos estados e municípios as verbas destinadas à educação através do
Fundo de Manutenção e Desenvolvimento do Ensino Fundamental e de Valorização do
Magistério (FUNDEF) e do Fundo de Manutenção e Desenvolvimento da Educação
Básica e de Valorização dos Profissionais da Educação (FUNDEB). Com isso, há um
interesse maior pelas instituições de ensino em elevar o IDEB.
Soares e Andrade (2006) e Setúbal (2010), em seus estudos, destacaram
para o risco de que a criação dos sistemas de premiação por resultados possa aumentar
as desigualdades escolares, uma vez que são muitos os determinantes dos baixos
rendimentos escolares, como a evasão escolar, dificuldade de acesso às instituições de
ensino e discriminação social e racial.
É importante refletir sobre algumas implicações da Prova Brasil, pois
para Domingues e Oliveira (2012), esses testes padronizados podem implicar em um
padrão de aprendizagem. Isso porque, podem trazer limitação para os currículos, uma
vez que se percebe que o foco está centrado em duas áreas Língua Portuguesa e
Matemática, que passam a estar de acordo com a necessidade do mercado de trabalho.
Hernandes (2011) comenta que é evidente que a implementação de
sistemas avaliativos em escala nacional tem buscado superar as limitações da proposta
de ensino de qualidade aos alunos das escolas públicas. No entanto, algumas dessas
avaliações externas implementadas nas últimas décadas, não têm conseguido equacionar
o direcionamento de políticas educacionais que atendam às reais necessidades da escola
pública.
Setúbal (2010) infere que o Brasil está longe de alcançar um patamar
básico para todas as escolas. Isso ocorre devido porque, o país ainda não conseguiu
garantir o direito constitucional de propiciar ensino fundamental à totalidade das
crianças em idade escolar. Também em várias regiões do país não há condições físicas
de acesso às escolas, além de haver um contingente significativo de professores sem
formação adequada atuando na educação básica (HORTA NETO, 2010; SETÚBAL,
2010).
Além disso, há dese considerar as enormes diferenças entre escolas rurais
e urbanas e o despreparo de muitos professores para lidar com as diferenças e
diversidades presentes no contexto escolar. De acordo com Setúbal (2010), muitas vezes
o professor de zonas rurais não encontra condições de infraestrutura para alcançar as
metas propostas pelas políticas de avaliação, que buscam avaliar o rendimento escolar
para se obter uma melhoria na qualidade de ensino.
Outra avaliação em larga escala aplicada no país e organizada pelo INEP
é o Exame Nacional do Ensino Médio (ENEM). Este foi criado em 1998, aplicado
anualmente para avaliar o desempenho individual de alunos que estão terminando ou
concluíram o Ensino Médio. Essa avaliação visava aferir o desenvolvimento das
competências e habilidades necessárias ao exercício pleno da cidadania (ANDRIOLA,
2011).
Atualmente, Instituições de Ensino Superior (IES) usam o resultado do
ENEM como critério de seleção para o acesso ao ensino superior, seja complementando
ou substituindo o vestibular. Em 2004, o ENEM passou a ser utilizado como critério de
seleção para os estudantes que pretendem concorrer a uma bolsa no Programa
Universidade para Todos (PROUNI). Assim, o ENEM passou a significar também a
possibilidade de uma vaga em várias instituições de ensino superior do país, inclusive
nas universidades públicas (CASTRO, 2009).
Até o ano de 2008, o ENEM tinha 63 questões e uma redação, e cobrava
do estudante competência em leitura, conhecimentos de atualidades e capacidade de
relacionar matérias diferentes (COSTA; ALMEIDA; LIMA, 2012).
A partir de 2009, o ENEM sofreu muitas reformulações, passando
envolver mudanças estruturais na organização da prova, tais como utilização da Teoria
da Resposta ao Item (TRI) e a construção de uma escala nacional de desempenho que
permita comparações temporais, aumento do número de itens nos testes com questões
que buscam abordar uma situação-problema, a interdisciplinaridade e a
contextualização. Também passou a ser utilizado pela maioria das universidades como
forma de seleção para o estudante entrar em uma das Instituições Federais de Ensino
Superior (IFES) (MINHOTO, 2008; CASTRO, 2009).
A estrutura dos testes do ENEM é composta por perguntas objetivas em
quatro áreas do conhecimento: linguagens, códigos e suas tecnologias (incluindo
redação); ciências humanas e suas tecnologias; ciências da natureza e suas tecnologias e
matemáticas e suas tecnologias. Cada grupo de testes é composto por 45 itens de
múltipla escolha, aplicados em dois dias, formando um conjunto de 180 itens (KUHN,
2011; COSTA; ALMEIDA; LIMA, 2012).
Vários estados e municípios também organizaram durante a década de
1990, sistemas locais e regionais para avaliar o desempenho escolar. O desenvolvimento
desses sistemas de forma descentralizada apresenta alguns pontos positivos quanto à
possibilidade de investigar com mais profundidade as especificidades regionais e locais,
permitindo a análise de cada escola a fim de melhorar o desempenho do estudante,
podendo partir de características individuais (CASTRO, 2009).
Como exemplo de avaliações em sistemas estaduais e municipais, há
oPrograma de Avaliação do Sistema Educacional do Paraná (AVA), que monitorou o
desempenho entre 1996 e 2000 com alunos de todo o Ensino Fundamental; o Sistema
Mineiro de Avaliação da Educação Pública (SIMAVE); o Sistema de Avaliação
Educacional de Pernambuco (SAEPE); o Sistema de Avaliação do Rendimento do Rio
Grande do Sul, o Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo
(SARESP) e a Prova São Paulo que avalia os estudantes da rede municipalnas
disciplinas de ciências e ciências naturais em anos alternados (HORTA NETO, 2010).
Neste estudo destacamos algumas características do SARESP, em virtude
de haver mais pesquisas na literatura sobre esse sistema de avaliação além do mesmo
contar com uma prova de desempenho em Ciências. O SARESPfoi implementado em
1996, pela Resolução da Secretaria da Educação (SE) nº 27 de 1996, como uma
iniciativa da própria Secretaria de Estado da Educação de São Paulo (SEE/SP),
(ESPOSITO, et al. 2000; SEE/SP, 2009).
A Secretaria do Estado de São Paulo, ao criar o SARESP, teve entre
outras, a intenção de diagnosticara situação de aprendizagem para o conhecimento do
perfil dos estudantes, identificar os pontos críticos do ensino, a fim de poder dar apoio
às escolas e aos educadores com relação a recursos, serviços e orientações (ESPOSITO,
et al., 2000; GATTI, 2002).
Quanto à aplicação, o SARESP é realizado anualmente, no entanto, não
foi realizado nos anos de 1999 e 2006. O mesmo avalia de forma obrigatória as escolas
estaduais, sendo optativo para as escolas particulares e municipais, menos em 2001 e
2002, pois só foram avaliadas as escolas estaduais (LAMMOGLIA; BICUDO, 2012).
O SARESP avalia o desempenho dos alunos ao término do 3° Ano, 5°
Ano, 7° Ano e 9° Ano do Ensino Fundamental, bem como a 3º série do Ensino Médio, e
anualmente avalia as disciplinas Língua Portuguesa e Matemática e, anual e
alternadamente, as áreas Ciências da Natureza (Ciências, Física, Química e Biologia) e
Ciências Humanas (História e Geografia). Em 2008, foram avaliadas as disciplinas
Língua Portuguesa, Matemática, Ciências, Física, Química e Biologia (SEE/SP, 2009).
Esposito et al; (2000) abordam que, a elaboração dos itens do SARESP, a
partir de 1997, foi realizada pelos professores da rede estadual de ensino, que receberam
capacitação específica. Os autores expõem que as delegacias de ensino, que englobam
supervisores e auxiliares técnicos e pedagógicos enviavam ao órgão central os nomes de
professores. Parte dos docentes elaboraram os itens e parte os revisaram, verificaram a
adequação entre o descritor do item e fizeram as correções e reformulações, sendo por
fim, a análise enviada para especialistas.
Na pesquisa de Esposito et al. (2000) é apontado que a cada ano a
SEE/SP divulga um Relatório Geral, cujo objetivo é informar a todos os interessados o
conjunto de resultados obtidos, além de um Boletim informativo que fornece a cada
unidade de ensino a posição em relação às demais escolas e um Boletim comparativo,
permite que as escolas acompanhem a evolução de seus resultados.
Os testes do SARESP são elaborados também a partir de Matrizes. Estas
são documentos que contém habilidades, competências e conteúdos que se espera que
os alunos adquiram ao término do ano letivo. Então, esses parâmetros fundamentam-se
nas novas Propostas Curriculares do Estado de São Paulo, reformuladas em 2007.
(LAMMOGLIA; BICUDO, 2012).
Para avançar nos propósitos do SARESP, em 2007 a proposta curricular
do Estado passou por uma reestruturação, tendo como um dos principais objetivos
tornar o currículo estadual comum, ou seja, que o currículo fosse unificado nas escolas
estaduais. Então, implantou uma base curricular comum nos ensinos fundamental e
médio, inspirada pelas diretrizes curriculares nacionais e apoiada na Matriz Curricular
do SAEB. Dentre as diversas alterações do SARESP, destaca-se o modelo adotado a
partir de 2007, que passou a utilizar a mesma escala de proficiência do SAEB e Prova
Brasil, para que a comparação pudesse ser feita com os sistemas nacionais de avaliação
(LAMMOGLIA; BICUDO, 2012; CASTRO, 2009).
É importante abordar que, entre 1996 e 2005, a metodologia de
construção de provas e de análise de resultados adotada pelo SARESP não possibilitava
comparar o desempenho dos alunos das escolas paulistas a cada ano com as avaliações
anteriores. Também não permitia identificar as deficiências acumuladas ou os avanços
progressivos das escolas devido à inexistência de uma mesma métrica que orientasse a
construção de escalas de proficiência comparáveis ao longo do tempo. Além disso, não
era possível comparar os resultados do SARESP com as avaliações nacionais, pois o
desempenho estadual não estava na mesma métrica do SAEB (LAMMOGLIA;
BICUDO, 2012; CASTRO, 2009).
Em 2010, o SARESP aplicou provas a cerca de 2 milhões de alunos nas
escolas de São Paulo, a maioria está na Rede Pública de Ensino, mas o SARESP tem
também conquistado a adesão de escolas de Redes Municipais e de Sistemas
Particulares (SEED, 2011).
A Fundação para o Vestibular da Universidade Estadual Paulista
(VUNESP) foi responsável pela operacionalização do SARESP 2010, e também pela
tarefa de preparar os Relatórios Pedagógicos de Língua Portuguesa, Matemática,
Ciências e Ciências da Natureza.
A Proposta Curricular de Ciências do Ensino Fundamental considera o
conhecimento científico um elemento fundamental na cultura geral dos cidadãos. Isto
porque, o acesso a esse conhecimento contribui para que possam ter uma compreensão
mais acurada a respeito dos fenômenos observáveis na Natureza e no Universo, além de
habilitá-los para se posicionar ativamente diante das modificações do mundo em que
vivem. Este princípio é válido também para a área de Ciências da Natureza no Ensino
Médio (SEED, 2011).
Segundo o currículo de Ciências, por exemplo, em relação às diferentes
linguagens, nos 6º e 7º anos, os conteúdos são especialmente informativos e descritivos,
as representações são mais próximas do real. Os gráficos cartesianos, assim como os
histogramas utilizados, são mais simples e os códigos utilizados são os de uso cotidiano.
Nos 8º e 9º anos, os conteúdos são mais explicativos e analíticos, as representações,
mais simbólicas, os gráficos cartesianos e histogramas mais complexos, e os códigos
científicos menos usuais. No Ensino Médio, por sua vez, aumenta o nível de abstração.
No Ensino Fundamental, os conteúdos são organizados em quatro eixos
temáticos: Vida e Ambiente, Ciência e Tecnologia, Ser Humano e Saúde, Terra e
Universo. No Ensino Médio, embora os currículos de Biologia, Física e Química não
façam referência a esses eixos, certamente o conjunto dos conteúdos contempla estes
mesmos temas gerais. As Matrizes Curriculares de Ciências no Ensino Fundamental e
de Biologia, Física e Química no Ensino Médio retomam princípios do currículo dessas
disciplinas, selecionando um conjunto de habilidades que orientam a avaliação nas
provas da área.
Os itens das provas foram elaborados com base em habilidades
selecionadas e definidas no documento “Matrizes de Referência para a Avaliação –
SARESP – Documento Básico”. Das 36 habilidades que compõem a Matriz de
Referência de Ciências, 33 orientaram a elaboração de itens. Para a composição da
prova, foram selecionados 104 itens, 16 deles da prova SARESP 2008, que funcionaram
como itens de ligação e garantiram a comparação de resultados de um para outro
ano.Com base nos resultados do SARESP 2010, verificou-se que o desempenho foi
mais positivo quando as habilidades se referiram aos conteúdos de saúde e esse
resultado configura uma evolução ao longo das séries avaliadas.
Pode-se perceberque são poucas as avaliações em a escala larga medem o
desempenho em Ciências, sendo que o SAEB já aplicou testes de desempenho em
Ciências até 1999, pois de acordo com o INEP (2013) as matrizes elaboradas a partir de
1997 fundamentaram-se em ideias de mensuração de habilidades, baseadas em
competências e em seus respectivos descritores. Após reflexões sobre os instrumentos e
os itens elaborados com base nessas matrizes permitiu perceber que a construção dos
itens por vezes ficava limitada a determinados contextos, objetos de conhecimento e
operações cognitivas presentes nesses descritores.
De acordo com uma entrevista do então Ministro da Educação Aloizio
Mercadante, aos parlamentares presentes na audiência pública na Comissão de
Educação da Câmara dos Deputados, publicada, pelo jornal O Estado de São Paulo, foi
anunciado em fevereiro de 2013 que a disciplina de Ciências seria incluída nas
avaliações do SAEB, contemplando o 9º ano do Ensino Fundamental e o 3º ano do
Ensino Médio. A prova foi aplicada como teste piloto em dois dias no mês de novembro
daquele ano e o resultado não fará parte do IDEB.
De acordo com o INEP (2013) a proposta apresentada assume a natureza
de matriz piloto a ser refletida, desenvolvida, testada em 2013 e aperfeiçoada com vistas
à sua consolidação em 2015. Quanto a matriz de referência utilizada para a elaboração
dos itens, o INEP justifica da seguinte forma:
Em qualquer avaliação em larga escala, há a necessidade de revisão
periódica da fundamentação da avaliação, das matrizes e dos procedimentos
de análise dos dados, para favorecer a relação com os currículos e as práticas
das redes educacionais, para acompanhar a evolução das ciências e do ensino
específico, para incorporar melhorias necessárias ao aprimoramento das
medidas e para refletir sobre o dinamismo do processo educativo e científico.
Nesse sentido, propõe-se, para a inclusão de ciências no Saeb, a utilização da
denominação de alfabetização/letramento para o construto em avaliação
(INEP, 2013, p. 22)
Percebemos que houve uma suspensão em 19999 da avaliação da
disciplina de Ciências da prova do SAEB com intuito de rever e aprimorar a matriz de
referências pra a elaboração dos itens dessa avaliação em larga escala.
Assim, tem surgido uma demanda por um conhecimento de Ciências
integrado à realidade e às ações cotidianas dos indivíduos, à medida que a Ciência e a
Tecnologia foram reconhecidas como essenciais no desenvolvimento econômico,
cultural e social, e também com ocrescimento da importância do Ensino de Ciências em
todos os níveis de ensino (KRASILCHIK, 1988).
Algumas pesquisas educacionais em âmbito nacional e internacional têm
apontado alguns problemas no Ensino de Ciências, como por exemplo, a falta de
interesse e pouca compreensão dos conteúdos e métodos da Ciência por parte dos
alunos(TOLENTINO-NETO, 2008).
A maneira como a avaliação do rendimento escolar na área de Ensino de
Ciências vem sendo utilizada na maioria das escolas não tem contribuído com o avanço
na aprendizagem adequada dos alunos nesse campo.Alguns estudos realizados sobre
práticas avaliativas que são usadas em sala de aula relatam que professores,
principalmente de Ensino de Ciências aplicam provas de forma pontual e objetiva que
buscam medir apenas o que o aluno consegue memorizar e reproduzir daquilo que foi
ensinado pelo docente. Assim, a avaliação tem sido um instrumento de controle e
coerção de conduta e das atitudes dos estudantes (KRASILCHIK, 1988; BARROS
FILHO; SILVA, 2000).
No Brasil, o monitoramento da qualidade do ensino e aprendizagem em
Ciências é muito precário. Isso se deve existência de poucas ações destinadas á
diagnosticar como o estudante aprende Ciências, a importância de saber quais
habilidades e competências que são ensinadase o que a escola eo sistema de ensino têm
feito para melhorar o desempenho em Ciências.
No âmbito internacional, há também alguns testes e questionários que
buscam contribuir para o crescimento da qualidade do ensino da área de Ensino de
Ciências como, por exemplo: o Programa Internacional de Avaliação de Estudantes
(PISA) e o The Relevance of Science Education (ROSE).
Há uma preocupação em relação à coerência entre o processo de
avaliação e os objetivos definidos atualmente para o ensino de ciências que tem sido
ressaltada por vários estudos, sobretudo aqueles que acompanham as avaliações
educacionais em larga escala realizadas em diversos países. Os relatórios sobre
avaliações em larga escala, que procuram avaliar além do desempenho, conhecimentos
e habilidades desenvolvidas pelos estudantes ao longo dos anos, buscam também aplicar
questionários socioeconômicos para obter um diagnóstico de possíveis fatores
relacionados à deficiência na aprendizagem em ciências, além de avaliar recursos
humanos e materiais das escolas avaliadas (WAISELFISZ 2007; BRASIL, 1998).
Apesar da pouca clareza em relação às habilidades avaliadas por esses
exames, espera-se que as avaliações se refiram às habilidades envolvidas no processo de
investigação científica, uma vez que isto seria um dos objetivos na atual perspectiva
para o ensino de Ciências.
O PISA é uma avaliação trienal aplicada a estudantes de 15 anos,
envolvendo, além das áreas de Leitura e Matemática, Ciências. Ele é desenvolvido e
coordenado pela Organização para Cooperação e Desenvolvimento Econômico
(OCDE). Foi organizado em ciclos, sendo aplicados a cada três anos a estudantes da 7ª
série em diante, na faixa etária dos 15 anos, idade em que se pressupõe o término da
escolaridade básica obrigatória na maioria dos países.
O objetivo principal do PISA consiste em produzir indicadores que
contribuam para a discussão da qualidade da educação ministrada nos países
participantes, de modo a subsidiar políticas de melhoria da educação. Para esse
propósito, são avaliadas através de testes as competências dos estudantes em Leitura,
Matemática e Ciências, a fim de obter uma noção de como evolui o desempenho desses
jovens ao longo do tempo, e fazer comparação com o desempenho de estudantes de
outros países.
As avaliações do PISA ocorreram nos diversos países da Comunidade
Europeia e em países convidados, como o Brasil. São avaliadas as capacidades de
analisar, raciocinar e refletir sobre conhecimentos e experiências em três áreas: Leitura,
Matemática e Ciências. A cada uma das edições, é dado foco a um dos campos
mencionados. O foco em 2000 foi Leitura, isso significa que a maior parte das questões
correspondia à Linguagem, e um número menor à Matemática e Ciências; em 2003,
Matemática. Em 2006, a ênfase foi para a área de Ciências. O PISA 2009 iniciou um
novo ciclo do programa, portanto recaindo sobre o domínio de Leitura.
O PISA também coleta informações básicas para a elaboração de
indicadores contextuais, que possibilitam relacionar o desempenho dos alunos a fatores
demográficos, socioeconômicos e educacionais. Essas informações são coletadas por
meio da aplicação de questionários específicos para os alunos e para as escolas.
Os testes são aplicados para um número entre 4.500 e 10.000 estudantes
em cada um dos países participantes, escolhidos por amostragem. A prova do PISA é
feita com base na Teoria da Resposta ao Item, sendo montada em forma de cadernos de
questões, de maneira que cada aluno responde a um conjunto pequeno de questões
diferentes. A prova é dividida em unidades: um texto comum e vários itens
relacionados. No ano 2000, houve 34 itens de Ciências, já em 2006, o número de itens
chegou a 140.
O Brasil vem participando do PISA desde 2000, sendo que em 2006, o
mesmo foi aplicado em agosto de 2007. Este programa é coordenado peloINEP, que
seleciona estudantes, traça uma amostra brasileira, definida com base no Censo Escolar.
No ano 2000, o Brasil avaliou 4.893 alunos no PISA; em 2003, 4.452 alunos; e em
2006, a amostra brasileira foi ampliada para 9.295 alunos.
Através da análise dos resultados das quatro edições do PISA, foi
possível perceber como tem evoluído o desempenho dos estudantes brasileiros ao longo
do tempo. Isso significa que, a cada nova aplicação do exame, os jovens brasileiros nele
envolvidos apresentam escolarização cada vez maior. Assim, pode-se inferir que a
população brasileira na faixa dos 15 aos 16 anos tem avançado no desenvolvimento de
competências e habilidades em leitura, matemática e ciências (WAISELFISZ, 2007).
Por esta avaliação ter caráter de estudo internacional, é necessário que
sejam consideradas diferenças culturais nos diversos países nos quais a prova é
aplicada. Ao mesmo tempo, é necessário verificar os conhecimentos que foram obtidos
no currículo escolar de ciência, principalmente, para fornecer um indicador a respeito do
sistema educacional do país comparativamente aos outros.
Uma alternativa ao PISA é o ROSE. Trata-se de umquestionário
financiado pelo conselho de pesquisa da Noruega e Universidade de Oslo e aplicado a
alunos da faixa dos 15 anos de diversos países, que busca entender padrões e traçar
tendências sobre o Ensino de Ciências. Para tanto, esse instrumento propõe reunir e
analisar respostas e informações sobre o que os alunos querem aprender nas aulas de
ciências e diversos fatores que têm influenciado na motivação para aprender ciências.
Com isso, pode expor os reais interesses dos jovens em Ciência apresentando os temas e
assuntos que mais ou menos os atraem(TOLENTINO-NETO, 2008).
O questionárioROSE foi escrito de forma simples, direta e em inglês.
Para dar credibilidade ao questionário foi aplicado pré-teste, feitas discussões com
estudantes de ciências e com grupo de professores. As questões do ROSE usam escala
tipo de Likert de quatro pontos. A decisão de questões fechadas foi fruto da necessidade
de se coletar dados rapidamente com baixo custo, fácil codificação e análise. Na
tentativa de que os resultados do ROSE complementem os das avaliações educacionais
em larga escala, alguns países o aplicam juntamente com testes de desempenho em
massa (TOLENTINO-NETO, 2008).
Em estudo realizado a respeito do desenvolvimento de uma versão
brasileira do questionário ROSE, o instrumento foi aplicado em 2007 a 652 alunos das
cidades de São Caetano do Sul/SP e Tangará da Serra/MT, traz elementos objetivos
sobre a realidade do ensino de ciências em contextos brasileiros bem diversos. Assim,
percebeu-se que estes jovens acham a disciplina ciências interessante, mas por outro
lado, têm um baixo interesse em exercer ciência profissionalmente (TOLENTINO-
NETO, 2008).
A respeito das avaliações externas em Sergipe, conforme Mattos (2012)
precisa-se de mais atenção. A pesquisadora realizou uma investigação sobre a aplicação
das três edições da Prova Brasil (2005, 2007 e 2009) em duas escolas municipais de
Aracaju/SE, sendo uma com maior e a outra com menor nota no IDEB, buscando
entender a relação entre avaliações externas e com a educação matemática.
Mattos (2012) constatou em suas pesquisas que os responsáveis pela
aplicação da Prova Brasil em Sergipe pertencem ao Núcleo de Estudos e Pesquisas de
Avaliação (NEPA), alocado no Departamento de Educação, na Secretaria Estadual de
Educação de Sergipe (SEED-SE). O NEPA é atualmente dividido em dois órgãos:
Coordenadoria de Treinamento e Pedagógico e Coordenadoria de Logística.
Além disso, em Sergipe não há um sistema de avaliação próprio, sendo
que há um Sistema de Avaliação Periódica de Professores (SAPED) desde 2004, com o
objetivo de premiar alguns professores segundo alguns critérios de pontuações. Assim,
esse fato é um indício de alguma forma de avaliação do sistema de ensino em Sergipe
(MATTOS, 2012).
CAPÍTULO 3 METODOLOGIA
3.1 Delineamento da pesquisa
Esta pesquisa apresenta uma abordagem qualitativa, envolvendo uma
partilha densa com indivíduos, fatos, e locais que podem ser objetos de estudo, a fim de
obter percepções para serem interpretadas e traduzidas em um texto escrito com
competência científica. É uma atividade sistemática, orientada para compreensão de
fenômenos educativos e sociais. Para a investigação qualitativa sãorequeridas
características como: a aplicação de técnicas de descrição, interesse maior pelo processo
do que pelos resultados ou produtos e a análise dos dados de forma indutiva
(BOGDAN; BIKLEN, 1994; ANDRE; 2001; CHIZOTTI, 2003; GIL, 2006; ESTEBAN,
2010).
Há vários tipos de pesquisa qualitativa e os critérios que as diferenciam
quanto à abordagem são as técnicas de coleta de dados e o tipo de dado obtido
(BOGDAN; BIKLEN, 1994; ANDRE, 2001).
Considerando sera pesquisadora participante do grupo de pesquisa do
projeto geral, utilizou-se a observação-participante. Tal procedimento foi desenvolvido
de maneira natural e assistemática, pois foi vivenciando, presenciando e acompanhando
de forma não programada todo o processo de elaboração das questões e testes de
desempenho do projeto geral que a presente pesquisa se constituiu. Isso permitiu a
construção de uma relativa diversidade de percepções, interpretações e compreensões
dos episódios ocorridos(FLICK, 2009).
Nosso estudo partiu de uma questão de pesquisa, e quanto aos fins,
construímos uma abordagem teórica para orientar a investigação, tanto para recolher os
dados como para análise dos mesmos (BAUER; GASKELL, 2002).
A pesquisa também é descritiva, conforme apontado por Flick (2009)
posto que procuradescrever todos os detalhes e características relacionados ao contexto
dos episódios que aconteciam durante as reuniões presenciais para debater e discutir
sobre as questões didáticas elaboradas pelo grupo de pesquisa.
3.2 Etapas da Pesquisa
Este estudo foi realizado em três fases. A primeira abrangeu dois passos
necessários: pesquisa bibliográfica e pesquisa documental. Para o primeiro foi realizada
a análise bibliográfica de trabalhos publicados sobre os temas: avaliações institucionais;
construção de testes de desempenho escolar; avaliação educacional em Ensino de
Ciência; DesignInstrucional.Para isso, foi realizado um levantamento bibliográfico de
artigos científicos, dissertações e teses, através de pesquisas feitas em periódicos e
banco de dados de dissertação e tese tais como: CAPES
(http://www.periodicos.capes.gov.br/), Google Acadêmico
(http://scholar.google.com.br/) e Biblioteca Digital de Teses e Dissertação (BDTD)
(http://bdtd.ibict.br/). Além da leitura de livros sobreDesign Instrucional. E para o
segundo passo, foi feita a análise dos documentos oficiais, como a Prova Brasil (INEP,
2009; 2011) e os Parâmetros Curriculares Nacionais (PCN) (BRASIL, 1998).
A segunda fase possui uma abordagem mais descritiva (BOGDAN;
BIRKLEN, 1994). Realizamos a coleta de dados através da técnica de observação-
participante. Nessa coleta seguimos a orientação de Flick (2009), fazendo referência a
três etapas: descritiva; observação focalizada; e observação seletiva. Na primeira etapa
ocorreu o registro e preenchimento de uma ficha de observação no caderno de campo
das reuniões presenciais, e-mail, e plataforma Moodle, um Ambiente Virtual de
aprendizagem (AVA) com a descrição das atividades, ações, procedimentos e falas dos
participantes, e também fizemos gravações das reuniões presenciais para melhor
compreensão dos fatos que aconteceram.
Em seguida, realizamos a observação focalizada com a elaboração de um
diário eletrônico de observações que consiste em anotações e reflexões pessoais, e
explicações relacionadas às questões de pesquisa.
Paralelamente à observação focalizada, aconteceu a observação seletiva,
quando focamos em selecionar episódios relacionados com o que foi descoberto na fase
anterior. A coleta dos dados foi realizada durante os meses de janeiro de 2012 a março
de 2013.
Conforme Shuman (1987), um caso episódico envolve uma sequência de
eventos que podem ser descritos em ações. Denominamos episódios os casos de campo
vivenciados e por nós coletados através de registro no caderno de campo, onde
aparecem as falas, as ações e procedimentos dos participantes da pesquisa e do
pesquisador.
O registro das observações no caderno de campo foi realizado em duas
etapas, descritiva e reflexiva, de acordo com Bogdan e Birklen (1994). A primeira
abrangeu a descrição dos fatos, falas e ações com os sujeito e transcrição das falas. E a
segunda consistiu em comentários pessoais, pontos a serem esclarecidos, dúvidas,
reflexões e dificuldades do observador a partir do que foi relatado no caderno de campo.
A terceira fase apresentou uma abordagem analítica e reflexiva
(BOGDAN; BIRKLEN, 1994). Ocorreu o nosso afastamento do campo de coleta de
dados para à análise dos mesmos. Essa fase foi importante para a análise dos episódios
selecionados a fim de elaborar um relato de experiência.
Retornamos ao campo de observação no mês de julho de 2013.
Participamos de algumas reuniões a fim tirar algumas dúvidas e entender melhor os
episódios selecionados.
Elaboramos categorias a partir das fases do Design Instrucional
conforme Filatro (2008;2010) para representar e visualizar a estrutura das atividades do
processo de construção de questões do teste de desempenho em Ciências.
Assim, a metodologia da presente pesquisa propôs abranger uma
circularidade entre campo e referencial teórico, com constante diálogo entre dados e
revisão bibliográfica no processo interpretativo que desenvolvemos.
3.3 Sujeitos da pesquisa
Os sujeitos do presente estudo compreendem todos os envolvidos no
processo de elaboração do teste de desempenho em Ciências realizado por um grupo
multidisciplinar, o IDEIA. No entanto, os dados coletados partem do olhar de uma
pesquisadora que atuava no núcleo de Sergipe, de modo que os dados de observação se
centraram especialmente nos pesquisadores desse Estado. Os demais dados obtidos
sobre outros núcleos, se fundamentaram em análises de e-mails, fóruns de discussão na
plataforma Moodle, Google Doc’s, ferramenta online colaborativa para elaboração de
trabalhos; ou presenciais, nas reuniões e eventos científicos.
O núcleo de pesquisa sergipano é composto por docentes da rede
Estadual da Educação Básica, das seguintes áreas: um da Biologia, três da Química,
dois da Física, um de Português e um da Matemática. Além disso, haviam dois
professores doutores, um do campo de Educação e o outro da Neurociência; cinco
alunas de iniciação científica, sendo cada uma de uma área específica, Biologia, Física,
Química, Português e Matemática; e três mestrandas da área de Ensino de Ciências e
Matemática.
Os nomes dos sujeitos da pesquisa que são apresentados nos relatos
foram representados por letras do alfabeto para manter o anonimato, utilizando letras
que representam afunção e formação do indivíduo, a saber:P=professor da educação
básica, G=graduando, M=mestrando, D=doutor e C= coordenador.Dessa forma,
abordamos os sujeitos da seguinte maneira: osprofessores (P), da Biologia P1,três da
Química P2, P3 e P4;dois da Física P5 e P6; de Português P7 e da Matemática P8; as
alunas de graduação(G), da Biologia G1, da Física G2, da Química G3, de Português
G4, e da Matemática G5; e as mestrandas(M), M1, M2 e M3.Os coordenadores(C), C1
e C2, que são também professores doutores(D) de D1 e D2.
Desses sujeitos,C2, P2, P3 e P4 manifestaram maiorparticipação nas
reuniões. Percebemos esse fato, através da leitura do caderno de campo, das
observações presenciais e do Mapa de leitura do campo, Quadro 03, presente no
Capítulo 4.
3.4 Coleta de dados
A coleta de dados foi realizada obedecendo aos principais documentos da
Resolução do Conselho Nacional de Saúde (CNS) n.º 196/96, visto que a presente
pesquisa envolve seres humanos. A Resolução CNS n.º 196/96, no item II. 2, considera
pesquisa em seres humanos as realizadas em qualquer área do conhecimento e que, de
modo direto ou indireto, envolvam indivíduos ou coletividades, em sua totalidade ou
partes, incluindo omanejo de informações e materiais.
Os sujeitos dessa pesquisa assinaram o Termo de Consentimento Livre e
Esclarecido – TCLE (ANEXO A) que consiste em um documento no qual é explicitado
o consentimento livre e esclarecido dos participantes e/ou de seus responsáveis legais.
Além disso, foi necessário que o coordenador do grupo de pesquisa IDEIA assinasse
uma Autorização para a observação de reuniões e e-mails trocados durante a realização
das atividades (ANEXO B).
As coletas de campo foram realizadas uma vez por mês, nas reuniões
presenciais, no período de janeiro de 2012 a março de 2013, totalizando 12 observações.
Não houve um lugar fixo para as reuniões do grupo de pesquisa, e a coleta de dados foi
realizada onde as atividades dos participantesaconteciam,como em salas de
universidades, laboratórios de ensino e escolas.
A coleta de dados aconteceu de duas maneiras: presencial e virtual. No
primeiro modo, os dados das observações foram anotados no caderno de campo no
momento real em que aconteceram os episódios. Em seguida, erampreenchidasfichas
eletrônicas de observação de cada reunião de trabalho que abordavam elementos como
datas, componentes, atividades, ações e procedimentos, de modo a transformá-las num
diário de observações, incluindo anotações, reflexões pessoais, e explicações de
pormenores relacionados às questões de pesquisa. As gravações de som para registrodos
diálogos entre os participantes do grupo, e também destes com o investigador, foram
transcritas no diário eletrônico de observações.
Quanto aos dados virtuais, os e-mails, as discussões dos fóruns da
plataforma Moodle e os relatos de experiências de algum participante, foram descritos e
analisados no diário eletrônico de observações.
Em resumo, os dados foram coletados por meio:
Da análise das anotações de campo que ocorreram durante as
observações realizadas das reuniões gerais que eram presenciais
com todos os participantes do núcleo de Sergipe;
Das reuniões entre os pesquisadores de Sergipe;
Das leituras e análises de e-mails trocados entre os membros dos
núcleos para a realização das atividades colaborativas;
Das reuniões presenciais com todos os membros do grupo de
pesquisa que aconteceram durante nossa participação em eventos
científicos;
Dos relatos de experiência que ocorreram a partir de conversas
informais entre esta pesquisadora, professores, alunas de iniciação
científica e mestrandos;
E das transcrições das gravações de algumas reuniões realizadas
em Sergipe.
3.4.1 Instrumentos de Coleta de Dados
Foi utilizado um recurso de Design Instrucional denominado Mapa de
Atividades para organizar e planejar as atividades do grupo. Este instrumento abrange o
detalhamento das atividades, ações e procedimentos dos componentes do grupo. O
mesmo serve para orientar planejamento e organização das atividades coletivas
(FILATRO, 2010).
Na presente pesquisa o Mapa de Atividades corresponde ao Manual de
procedimentos para elaboração de questões. Este abrange um Roteiro de elaboração de
questões (ANEXO C), um Formulário Geral de elaboração de questões (ANEXO D) e
um Formulário de Parecer (ANEXO E). O primeiro abrange duas propostas de rotina de
atividades: uma para o núcleo de Sergipe, com um modelo de tabela de descrição da
questão especificando o código, objetivo, nível e justificativa da questão que será
elaborada, e outra coletiva, para todos os núcleos participantes do projeto. O segundo
compreende um formulário geral de elaboração de questões que busca contemplar o
código, versão, objetivo, descrição, grau de complexidade, justificativa da questão. E o
terceiro apresenta uma proposta de parecer sobre a avaliação das questões elaborada
pelo grupo, contendo a identificação do parecerista, identificação da questão, critérios
de avaliação individual das questões, comentários gerais.
3.4.1.1 Técnica de coleta de dados: Observação participante
A observação-participante consiste na inserção do pesquisador no interior
do grupo observado, a fim de se tornar parte do objeto estudado e interagir por longos
períodos com os sujeitos. A mesma requer tempo e envolvimento, além de uma
descrição abrangente dos fatos e atitudes, uma vez que este método de coleta não tem
como pretensão a mudança da realidade analisada. Essa técnica pode captar os conflitos
e tensões existentes e identificar grupos sociais que têm em si a sensibilidade e
motivação para as mudanças necessárias (LIMA; ALMEIDA; LIMA, 1999; SILVEIRA,
2003; FLICK, 2009).
Há diferentes tipos de observação-participante que se diferenciam de
acordo com os tipos de papéis do pesquisador, a saber: observador completo;
observador como participante; participante como observador; e o participante completo.
Dentre esses tipos de participação, o observador como participante é a forma mais
utilizada na pesquisa qualitativa (LUDKE; ANDRÉ, 1986; FLICK, 2009).
Adotamos o tipo participante como observador que estabelece com o
grupo relações de participação de forma mais profunda, através de observações
informais da rotina cotidiana e da vivência de situações consideradas importantes.Os
sujeitos sabem do caráter científico do estudoe o pesquisador tem o prévio
consentimento por parte da comunidade a ser observada (OLIVEIRA, 2008).
A observação-participante foi introduzida pela Escola de Chicago, nos
anos 1920 e foi fortemente contestada pelos pesquisadores positivistas. A mesma tem
origem na antropologia e sociologia e o interesse principal desses pesquisadores era
interagir com os observados, a fim de entender o comportamento real dos informantes,
as próprias situações e como constroem a realidade em que atuam (QUEIROZ et. al,
2007).
Um dos primeiros a utilizar o método de coleta de dados através da
observação-participante foi o antropólogo inglês Branislaw Malinowsk, por volta de
1922, escrevendo sobre sua inserção entre os nativos das Ilhas Trombiand no Pacífico
(QUEIROZ et. al, 2007).
Conforme Queiroz et. al (2007), a observação-participante pode ser
inserida na pesquisa participante como um elemento de coleta de dados. Neste tipo de
atividade o pesquisador é convidado a participar como colaborador ou interlocutor, que
se predispõe a participar, podendo ou não intervir na pesquisa. Em nosso caso, éramos
sujeitos do processo que buscavam sistematizar os dados observados, através do olhar
direcionado por essa metodologia.
A observação-participante está fundamentada em alguns aspectos do
interacionismo simbólico, pois parte do princípio de que o pesquisador tem sempre um
grau de interação com a situação estudada, afetando-a e sendo por ela afetada (ANDRÉ,
2001; FLICK, 2009).
A observação participante pode ser natural e artificial. A primeira
acontece quando o observador pertence ao mesmo grupo que investiga. A segunda,
ocorre quando o observador se integra ao grupo com o objetivo de realizar uma
investigação (GIL, 2006; FLICK, 2009). Ainda, a observação-participante pode adotar a
classificação de duas formas: observação sistemática e assistemática. Uma corresponde
à adoção de esquemas e roteiros padronizados, e a outra não programada e mais
flexível, respectivamente (FLICK, 2009).
Na presente pesquisa, a observação-participante foi desenvolvida de
maneira natural e assistemática. Primeiro porque o observador pertence ao mesmo
grupo de pesquisa que foi investigado para entender todo o processo de elaboração das
questões e teste de desempenho em Ciências, e segundo, porque foi realizada de forma
não programada e flexível. Isso possibilitou a construção de uma relativa diversidade de
percepções, interpretações e compreensões dos episódios ocorridos, porém com a
preocupação de minimizar a influência subjetiva em favor do cumprimento dos
requisitos importantes de validação científica do trabalho (FLICK, 2009).
O planejamento de uma observação-participante baseia-se no
recolhimento de elementos, em cadernos de anotações, necessários para relatar uma
história (quem, o quê, quando, onde, porquê e como). A partir das questões propostas
pelo investigador, o mesmo necessita descrever e interpretar um número significativo de
episódios ocorridos durante a observação de campo.
O diário, ou caderno de campo, constitui caderno de anotaçõesque é uma
ferramenta de trabalho na qual o pesquisador registra as observações para análise
posterior. A elaboração deste instrumento ocorreu, nesta pesquisa, a partir do registro de
notas soltas, do registro de reflexões, e de apontamentos de diálogos ocorridos durante
observações de campo. Nada impede que o observador complemente o mesmo com o
emprego de recursos eletrônicos cada vez mais variados, tais como gravadores e
câmeras (FERNANDES, 2011).
Cabe ressaltar, que a observação-participante apresenta algumas
limitações a respeito da análise dos dados que é realizada de forma intuitiva, pode ser
que a subjetividade do pesquisador interfira na análise e comprometa a confiabilidade
dos dados. Para superar essa limitação foram utilizados outros instrumentos de coleta de
dados a fim de proporcionar mais confiança e detalhes na presente pesquisa, como
relatos de experiências e gravações das reuniões (FLICK, 2009).
3.5 Análise de Dados
3.5.1 Instrumentos de Análise de Dados
Os dados foram analisados a partir da construção de fluxogramas, quadro
e relatos de campo, a fim de elaborar categorias apriori, extraídas do referencial teórico
do Design Instrucional.
Através das análises das anotações no caderno de campo foi elaborado
um relato de experiência, com a seleção e descrição de alguns episódios observados
durante a coleta de dados.
Por fim, foram elaboradas categorias a priori, para a interpretação dos
resultados.
CAPÍTULO 4RESULTADOS E DISCUSSÕES
Nesse capítulo descrevemos e analisamos os dados encontrados a partir
da observação-participante. Partimos da análise de duas esferas: macro e micro. Na
primeira buscamos descrever as atividades gerais do grupo IDEIA, como seleção e
preparação dos componentes para a produção das questões, elaboração, avaliação e
revisão das mesmas. E, na segunda, descrevemos alguns episódios em forma de relatos
de experiência das atividades do Núcleo de Sergipe. Os dados foram organizados em
um Mapa de leitura de campo eapresentadosa partir de categorias a priorifundamentadas
nas perspectivas teóricas do Design Instrucional.
4.1 Relatos do processo de elaboração das questões do teste de desempenho em
Ciências
Nesse momento do texto organizamos os dados coletados nos espaços
das reuniões do grupo IDEIA e que fizeram parte dos episódios que observamos e
selecionamos para analisar no Quadro 3. Os episódios foram as cenas de campo
vivenciadas e coletadas pela pesquisadora, e registradas no caderno de campo, onde
aparecem as falas dos sujeitos da pesquisa durante o processo de elaboração das
questões do teste de desempenho em Ciências.
Quadro 3: Mapa de leitura de campo: observações do processo de elaboração de questões do teste
de desempenho em Ciências no Núcleo de Sergipe.
Sujeitos:Professores acadêmicos (coordenadores:); mestrandos; alunos de iniciação
científica; e docentes da Educação Básica.
Data:26/ 04/2012
Local:Laboratório de ensino de Química (Departamento de Química- UFS)
Episódio 1
C1 apresentou um minicurso para mostrar o software Ensinando o
Cérebro (Enscer), explicou que a princípio serviria de base para cadastrar e armazenar
as questões elaboradas. Depoisorientou os participantes na elaboração dos objetivos,
seleção de conteúdo, criação das questões e mostrou o formato das questões da Prova
Brasil: Ele falou: - Essa é uma questão da prova Brasil de Português. É um modelo
para a elaboração das questões do teste de desempenho em Ciências. A maioria das
questões da Prova Brasil é composta de texto ou enunciado, pergunta de múltipla
escolha, em que só há uma alternativa correta.
De repente, C2 digitando rapidamente no computador fala: - Seria
interessante agente trabalhar em pequenos grupos para poder compartilhar as ideias.
Quase todos os participantes estavam com notebooks para acessar o
programa apresentado por C1. Diante de muitas informações abordadas, alguns
professores se mostraram empolgados e com dúvidas, e outros mais calados e
pensativos.
P1 pergunta: - Como seria a divisão dos grupos?
P2 fala: - De que maneira iríamos elaborar as questões?
E C2 responde: - Através de um roteiro de elaboração, com as questões
que cada um tem que executar em coletivo durante a semana. Para cada questão terá
um formulário de identificação e descrição da questão. A partir desse roteiro podemos
criar um manual de elaboração de atividades, e incluir os outros núcleos.
Foi dado um intervalo. Durante a segunda etapa o grupo foi organizado
em três pequenos grupos que se dividiram conforme a afinidade de cada um com a
disciplina de sua formação, e o ano escolar específico, sendo que C2 sugeriu a divisão: -
É interessante que em cada subgrupo formado fique um professor da educação básica,
um aluno de graduação e de mestrado.
Quando os pequenos grupos se formaram, C2 falou como ficaram
organizados: - O subgrupo 1 ficou responsável por elaborar as questões do 2º Ano de
Ciências, composto por umprofessor de Biologia e umde Química, um aluno de
iniciação científica de Biologia, e um mestrando de Ensino de Ciências e Matemática.
O subgrupo 2, ficou responsável por elaborar as questões do 5º Ano de Ciências,
componentes: dois professores de Química, um aluno de iniciação científica de
Química, e ummestrando de Ensino de Ciências e Matemática. E o subgrupo 3, ficou
responsável por elaborar as questões do 9º Ano de Ciências, e ficou com dois
professores de Física, um graduado em Biologia e um mestrando de Ensino de Ciências
e Matemática.
Em seguida, C2 completa a fala, abordando as ações do grupo: - Os
professores em conjunto com os alunos de iniciação e mestrandos, elaboram as
questões. Estas são enviadas por e-mail para serem avaliadas pelos outros grupos. Nas
reuniões presenciais serão debatidas as questões elaboradas pelos subgrupos. Cada
pequeno grupo terá um momento para apresentar as questões construídas e os pontos
relevantes dos formulários de elaboração das mesmas. As questões serão cadastradas
pelos mestrandos na plataforma Moodle e enviadas para os outros núcleos
reavaliarem. Os pequenos grupos terão a liberdade de aceitar as sugestões ou não. Os
alunos de iniciação cadastrarão as mesmas no programa e comunicarão aos outros
componentes.
Sujeitos:Professores acadêmicos (coordenadores); mestrandas; alunas de iniciação
científica e docentes da Educação Básica.
Data:28/07/2012
Local:Laboratório de Química (Colégio Estadual, em Aracaju /SE)
Episódio 2
C2 iniciou a reunião perguntando ao grupo a respeito da maneira como
os subgrupos elaboraram as questões:
P3iniciou: - Todas as questões que elaboramos tem texto. Penso que o
texto contextualiza a questão e facilita o entendimento da pergunta.
P2: - Em algumas questões coloquei imagem, porque busquei associar a
figura com o conteúdo abordado.
P5: - O tema das nossas questões partiu de um conteúdo geral que
contemplava um objetivo. Este consistia em um descritor, específico para o conteúdo, e
aborda a habilidade que desejamos do aluno para responder às questões.
P7: - Os objetivos seguiram uma hierarquia, ou seja, do mais simples
para o mais complexo. Os objetivos de português e matemática foram os tirados da
Prova Brasil.
P2: - Os da prova de Ciências foram elaborados a partir dos descritores
da Provinha Brasil.
P5: - Ficamos indecisos se usávamos o texto ou uma figura. Aí, como
tivemos dificuldades de encontrar imagens para as questões, resolvemos utilizar figuras
próprias.
P6: - Foi quando resolvemos desenhar nossas figuras.
P2: - [...] As questões de Ciências foram desenvolvidas a partir de
analogias estabelecidas com os descritores da Provinha Brasil de Português. Partimos
de livro didático e do PCN, pois não existe uma referência nacional para a elaboração
[...].
P4: - [...] As questões de Química nos baseamos nos livros didáticos e no
que achamos que é importante para o aluno e que ele já tenha visto [...].
P5: - [...] As questões de física foram elaboradas com base no que
abordo em sala de aula e em livros didáticos [...].
P8: - Busquei utilizar texto curto e questões individuais e com base na
experiência em sala de aula.
C1: - O cenário rural foi o mais apareceu nas questões. Temas como
lixo, frutas variadas e astronomia apareceram também.
Sujeitos:Professores acadêmicos (coordenadores); mestrandas; alunas de iniciação
científica e docentes da Educação Básica.
Data: 15/12/2012
Local:Laboratório de Química (Colégio Estadual, em Aracaju /SE).
Episódio 3
C2 iniciou a reunião falando de planejamento e organização para o grupo
construir capítulos de livros e artigos a respeito das experiências dos componentes no
projeto.
C2 falou: - P1, você poderia com o seu grupo construir um artigo sobre
a experiência de elaborar as questões de Ciências sem uma matriz de referência.
C2continuou falando: - Vocês poderiam utilizar o Google Doc’s como
uma ferramenta online para compartilhar com integrantes dos outros núcleos as ideias
e trabalhos de vocês!
P5 fez uma sugestão: - Poderia produzir um artigo com os dados
coletados com as atividades que apliquei com a minha turma do 9º ano.
P3 e P4 comentaram que no colégio que eles ensinavam foi aberto a
inscrição do edital Pibic Junior e que gostariam de participar e que precisavam de
colaboração.
P4: - Pensamos em um estudo de caso, aplicar questionários e realizar
um diagnóstico sobre dificuldades de aprendizagens de alguns alunos do Ensino
Médio!
P3 disse: - Eu penso que há uma necessidade de um processo mais
qualitativo de investigação nas escolas.
Então, C2 falou: - Posso ajuda-las na elaboração da metodologia do
projeto.
M2: - Também tenho interesse em participar. Posso ajudar na
fundamentação teórica sobre Dificuldade de aprendizagem.
Sujeitos:Professores acadêmicos (coordenadores); mestrandas; alunas de iniciação
científica; docentes da Educação Básica e a psicopedagoga.
Data:19/ 01/2013
Local:Laboratório de Química (Colégio Estadual, em Aracaju /SE).
Episódio 4
No núcleo de Sergipe, algumas questões foram avaliadas por uma
psicopedagoga que foi convidada para apresentar um minicurso sobre dificuldades de
aprendizagem e distúrbios de aprendizagem. Todos os membros do núcleo estavam
presentes. Primeiro, ela fez uma exposição sobre o tema abordado e falou sobre
conceitos referentes ao mesmo destacando características importantes para um aluno
que apresente alguma dificuldade de aprendizagem.Em seguida ocorreram debates e
discussões.
Durante esse momento, P4 comentou: - Tenho alunos muito hiperativos
na sala de aula. E tenho muita dificuldade em elaborar questões que também
contemplem alunos com tal problema! Como posso elaborar questões para alunos com
dificuldade de aprendizagem?
A psicopedagoga respondeu: - As questões precisam ter uma linguagem
mais simples, textos mais curtos.
Sujeitos: Professores acadêmicos (coordenadores); mestrandas; alunas de iniciação
científica e docentes da Educação Básica.
Data: 02/03/2013
Local: Laboratório de Química (Colégio Estadual, em Aracaju /SE).
Episódio 5
Houve uma reunião em Sergipe em que os pequenos grupos se
organizaram e fizeram um seminário para apresentar e comentar algumas questões da
Prova Brasil, do SARESP. Depois o grupo fez uma apresentação das questões
elaboradas.
P8 iniciou falando: - Fiz o texto conforme a Prova Brasil, tem texto com
imagem também. Li os descritores da Prova Brasil, para não fugir do modelo que
estamos seguindo. E busquei informações em sites e fiz as questões a partir de
impressões pessoais.
Em seguida C2 comentou: - É importante mencionar que na Prova Brasil
a linguagem é mais técnica. E no nosso teste é mais empírica.
P8 continuou falando: - Alguns textos da Prova Brasil são mais extensos
do que os que elaboraram! Observei nos textos das questões de Português mais
extensos os alunos iam passando para próxima questão!
P7 disse: - Utilizei os descritores da Prova Brasil de 2012, livros e
situações cotidianas.
Depois P2 falou: - No nosso caso, para elaborar as questões de Ciências,
como não tinha um referencial, e nem questão para comparar, tentei observar os
descritores da Prova Brasil de português. E quanto ao texto, ocorreu adequação da
linguagem, que foi de acordo os livros didáticos aprovados no PNLD, de 2011.
Ao final da apresentação de algumas pessoas do grupo, alguns
componentes começaram a refletir sobre pontos positivos e negativos do
desenvolvimento do trabalho coletivo.
O P7 falou: - Faltou comunicação entre os participantes do próprio
núcleo. Também tive dificuldade em elaborar questões com muitas pessoas.
P8: - Tive dificuldade em opinar nas questões que não eram de minha
área!
P3: - Sugiro que agente mexa e opine em questões da nossa área
específica.
A5 falou: - A distância dificultou bastante, também.
A1 disse: - Tive dificuldade em mexer no programa Enscer!
Em seguida M3 comentou: - Tive dificuldade em conciliar os horários
das reuniões com o grupo que estava inserido.
Logo depois, P2 comentou: - O grupo em que eu estou inserido não teve
problemas com horários. E gostei de elaborar questões de forma coletiva, mas tivemos
dificuldades quanto a falta de experiência com o ano escolar que ficamos responsáveis
de construir as questões.
P4: - Tive dificuldade em produzir as questões do 5º ano, por que senti
falta de um parâmetro. Agente leu o material do SARESP e tinha uma matriz que servia
como um guia de elaboração.
P3: - Tive dificuldades em encontrar questões de outros testes do 5º ano
e 9º ano de química.
C2 falou: - O nosso manual de elaboração foi um precursor para a
construção de elaboração das atividades.
Continuando as reflexões do grupo, P3 apontando para P4 afirmou: -
Sentimos angústias quando elaboramos as questões porque ficamos em dúvida se
construíamos as questões a partir do que os alunos já sabiam.
P3 continua: - Foi também uma experiência nova, produzir questões com
muitas pessoas!
Depois o P4 falou: - [...] tenho dúvida se devo avaliar o que eles sabem
ou o que precisam saber [...].
E em seguida o P3 questiona: - Tenho dúvida sobre o desempenho do
aluno: O que eu espero que meu aluno saiba?
Fonte: Próprio do Autor.
Percebemos alguns elementos importantes sobre o processo de
elaboração das questões de Ciências ao analisar os episódios selecionados. Observamos
que há um componente empírico importante,quando os professores de química
comentam que além dos documentos oficiais e dos livros didáticos, se basearam
também no que pensavam que os alunos tinham visto em sala de aula.
Em um dos momentos de reflexão, alguns docentes manifestaram
dúvidas a respeito do que deveria mensurar dos estudantes, se seria o que os alunos
sabem ou o que precisam saber. Esse fato pode definir os parâmetros de complexidade
das questões a partir dos olhares dos professores.
Algunsdocentes apresentaram em seus discursos a busca por
possibilidades de desenvolvimento de pesquisas a partir do trabalho coletivo, e o
amadurecimento do grupo. Eles se disponibilizam a utilizar o Google Doc’s como uma
ferramenta online para compartilhar com integrantes dos outros núcleos as ideias e
trabalhos deles, visto que muitos nunca tinham usados esse suporte da informática em
seu cotidiano.
Além disso, três professores elaboraram um projeto de pesquisa para o
Ensino Médio em colaboração com alguns membros do grupo de Sergipe. Esses
docentes da Educação Básica eram pós - graduados, dois com Mestrado em Química e
um em Ensino de Ciências e Matemática.
Concordamos com Saraiva e Ponte (2007) quando comentam que o
desenvolvimento profissional do professor é bastante relevante, pois corresponde a um
processo de crescimento de competências, que estão relacionadas com aspectos ligados
à ação educativa, interação com as outras pessoas, e formação continuada.
4.2 Categorias a priori do Design Instrucional
4.2.1 Concepção: Análise, Design e Desenvolvimento
4.2.1.1 Análise
A preparação do projeto “Desempenho Escolar Inclusivo na Perspectiva
Multidisciplinar”, ocorreu a partir de reuniões com os coordenadores dos núcleos de
cada instituição, para definir objetivos, plano de execução e cronograma de atividades,
com a proposta de desenvolvimento do projeto em quatro anos (48 meses), sendo que
teve início no primeiro semestre de 2011.
No começo eram quatro universidades participantes no projeto, e apenas
no segundo ano de desenvolvimento a Unifesp entrou para a equipe.Podemos apresentar
as fases do projeto geral, que inclui os cinco núcleos, a partir das etapas dos modelos de
Design Instrucional evidenciados nas Figuras 1, 2 e 3, conforme a Figura 4.
Figura 4 Fluxograma das fases do projeto geral. Fonte: Próprio do Autor.
A partir da figura 4, as fases do projeto “Desempenho Escolar Inclusivo
na Perspectiva Multidisciplinar” são descritas da seguinte maneira:
Projeto “Desempenho escolar inclusivo na
perspectiva multidisciplinar”
Análise
Problema educacional e
projetar solução
Design
Planejamento das estratégias e
atividades para alcançar objetivos
Desenvolvimento
Produção e adaptação de recursos e
materiais didáticos
Implementação
Capacitação da equipe, Execução das atividades e Aplicação
dos produtos
Avaliação
Acompanhamento da execução, revisão
Núcleos de pesquisa UFMT, UFS
USP;Unifesp e UFSM
Análise: caracterizou-se por apresentar os problemas educacionais que os
coordenadores queriam investigar a fim de projetar soluções e objetivos.
Design: planejamento das atividades para alcançar objetivos traçados na
fase anterior.
Desenvolvimento: produção e adaptação de recursos e materiais didáticos
por meio de reuniões presenciais e comunicação via e-mail.
Implementação: capacitação da equipe por meio de um minicurso, a
execução das atividades para a criação das questões de Português, Matemática e
Ciências e aplicação do teste de desempenho escolar.
Avaliação: caracterizou-se pela coleta de dados e análise dos resultados
do teste piloto.
Partindo desse panorama do projeto geral, percebemos que o processo de
construção das questões para o teste de desempenho ocorreu em 3 níveis de organização
do grupo IDEIA (FIGURA 5).
Figura 5 Fluxograma dos níveis do processo de elaboração do teste de desempenho escolar
produzido pelo grupo IDEIA. Fonte: Próprio do Autor.
O Nível 1 representa os núcleos que compõem o projeto geral,
representados pelos coordenadores vinculados a cada instituição. Eles definiram
objetivos, plano de execução e cronograma de atividades.
O Nível 2 representa cada núcleo individualmente. No caso no núcleo de
Sergipe, a equipe se dividiu em pequenos grupos, sendo que cada um ficou responsável
Nível 3
Nível 2
Nível 1 Núcleos de pesquisa
UFMT, UFS USP;Unifesp e UFSM -
diálogo entre coordenadores
Cada núcleo - diálogo entre membros de
um núcleo
Indivíduos dentro de um núcleo
Pequenos grupos dentro de um núcleo
com um ano específico, uma vez que se pretendeu construir questões para o 2º Ano, 5º
Ano e 9º Ano.
O Nível 3 abrange os pequenos grupos inseridos num contexto de
trabalho colaborativo.
4.2.1.2 Design
As atividades desenvolvidas pelos núcleos de pesquisa do projeto geral
foram divididas em quatro etapas. A primeira foi a seleção dos discentes e professores
da Educação Básica que ocorreu entre 2011 e 2012 para o elaboração de questões para o
teste de desempenho escolar, publicação de trabalhos científicos e participação no grupo
de pesquisa IDEIA.
Aconteceu a divulgação e o levantamento dos interessados no projeto. Os
bolsistas de cada núcleo nas cinco universidades participantes foram selecionados pelos
próprios coordenadores e foram utilizadas análises dos currículos e entrevistas com
banca de pelo menos três membros da equipe como critérios de seleção.
A organização do núcleo de Sergipe para a elaboração das questões foi
realizada a partir de subdivisão do grupo. Foi sugerido que cada subgrupo focasse na
elaboração de questões para um determinado ano escolar, o 2º, o 5º e o 9º anos. A
construção das questões nesse núcleo foi iniciada com a realização de um minicurso, em
que forampropostos um roteiro e um Manual de procedimentos para elaboração de
questões(ANEXOS C; D; E).
O minicurso foi apresentado por um dos coordenadores, especialista em
neurociências e criador do programa informatizado“Enscer”em que as questões seriam
inclusas.
O Manual de procedimento consiste numa proposta de rotina de
atividades divididas em duas partes. A primeira, no âmbito local, que abrange a forma
que cada núcleo considera melhor para o desenvolvimento das atividades. A segunda,
uma parte coletiva, com uma rotina em comum para a produção das questões seguindo
um cronograma com as atividades que precisariam ser realizadas e os prazos para uma
melhor organização e planejamento das ações e procedimentos para os componentes,
além de um formulário de descrição das questões.
A partir da elaboração do Manual de procedimentos, foi construído um
cronograma organizado de maneira que toda semana tínhamos uma atividade para
executar, com o objetivo de criar questões de múltipla escolha com um enunciado e suas
alternativas. Essas instruções e os prazos que se ligavam a cada atividade, também
abrangeram os demais núcleos. Desse modo, a comunicação entre os pequenos grupos
de Sergipe com os outros núcleos acontecia pelo menos uma vez por semana quando
recebiam um e-mail com lembretes da programação da semana, elaborada a partir de um
cronograma de tarefas que todos tinham conhecimentos.
A fim de que cada membro da equipe assumisse um papel, que se tratava
da função do mesmo nos pequenos grupos, o Manual de procedimento dava as seguintes
instruções: (1) um subgrupo constituído pelo professor da educação básica, juntamente
com uma aluna de iniciação científica e uma mestranda elaboram as questões durante
uma semana; (2) encaminham as mesmas para a lista de e-mails do grupo a fim de
serem avaliadas pelos pequenos grupos do próprio núcleo, que elaboram um parecer
para cada questão. (3) As questões avaliadas são enviadas para os pequenos grupos
fazerem as alterações sugeridas caso concordarem. (4) As mesmas são apresentadas e
discutidos durante reuniões presenciais com todos os pequenos grupos em cada núcleo.
(5) As questões discutidas e reformuladas são cadastradas no fórum de discussões do
Moodle, para que todos os outros núcleos possam ter acessos às questões elaboradas e
pudessem contribuir com opiniões e sugestões. (6) Reavaliadas as atividades, estas são
cadastradas no programa do projeto pelas alunas de iniciação científica.
4.2.1.3 Desenvolvimento
A construção das questões aconteceu durante os meses de janeiro a
outubro de 2012, e ocorreu em quatro etapas:
1) Estudo das diretrizes da prova Brasil. Realizamos o estudo sobre as
matrizes de referência para as áreas de Português e Matemática da Prova Brasil, a fim
de conhecer os temas são abordados e identificar a estrutura das questões. Analisamos
os referenciais utilizados pelo Programa Internacional para Avaliação de Alunos
(PISA), as Diretrizes e Parâmetros Curriculares Nacionais (PCN), livros didáticos,
revisões bibliográficas, além da experiência docente em sala de aula para a construção
das questões de Ciências, pois esta disciplina até 2012 não era mensurada na Prova
Brasil.
2) Elaboração das questões e questionário. Nesse momento, aconteceu a
elaboração dos testes de desempenho em Português, Matemática e Ciências, compostos
por questões dessas áreas, elaboradas por professores da educação básica e alunos de
iniciação científica, e também a adaptação do questionário sobre o Histórico de
Comportamento do aluno construído por mestrandos e docentes doutores que serve para
informar sobre a relação do desempenho escolar e o perfil do comportamento do
discente.
3) Discussão e definição das questões. Realizamos reuniões de
preparação, discussão e seleção das questões. Os professores doutores, docentes de
educação básica, mestrados e alunos de iniciação científica selecionaram as atividades,
com auxílio de um “formulário dos revisores” queabrangia um parecer de itens com:
correção gramatical, conceitual, adequação da atividade ao grau de complexidade
proposto, adequação da linguagem ao período de escolarização (referência aos termos
técnicos e textuais de acordo com aspectos de transposição didática necessária para o
período de escolarização), adequação da imagem ao texto, atendimento ao objetivo
proposto, clareza da justificativa apresentada, pertinência da justificativa apresentada,
adequação à diversidade étnica e de gênero (verificação da atividade não ferir ou criar
algum preconceito relacionado à diversidade étnica ou de gêneros). As questões
poderiam ser julgadas como adequados ou inadequadas.
4) Adequação para versão eletrônica. Criamos uma nova versão
dosoftware Enscer para atender os objetivos do projeto geral. Todas as questões
selecionadas foram digitalizadas, e quando necessário, agregadas ilustrações e os
enunciados foram adequados ao formato de áudio para que os alunos pudessem ouvir os
questionamentos e as opções de respostas.
Durante o processo de elaboração das questões de Ciências, percebemos
três pontos importantes em nossa metodologia: a criação de pequenos grupos com
diferentes níveis de formação e áreas; a inclusão do professor de educação básica como
protagonista nas criações das questões; e o uso de alguns elementos do modelo do
Design Instrucional Contextualizado.
É relevante destacar que buscamos criar nos subgrupos uma tensão de
maneira que pessoas com diferentes níveis de formação e áreas pudessem dialogar e
trazer seus pontos de vista. Como por exemplo, o mestrando com uma visão mais
acadêmica, o professor da Educação Básica com o conhecimento empírico, e o aluno de
graduação com os ideais inovadores pudessem, através da troca de referenciais,
construir novas formas de questionarpor meio de uma proposta de trabalho
colaborativo.
Sepúlveda et al. (2012) aborda uma proposta de modelo de pesquisa
colaborativa em que os grupos envolviam professores-investigadores, pesquisadores
universitários e alunos que procuraram manter uma relação não hierarquizada, o que
pode provocar o estreitamento da relação entre pesquisa e prática na educação. As
atividades colaborativas pressupõem estruturas baseadas na participação ativa e na
interação dos participantes para a consecução de um objetivo comum. Estas estruturas
podem ser grupos de pessoas discutindo assuntos específicos ou genéricos (PINHEIRO,
2002).
Boavida e Ponte (2002) comentam que a utilização do termo colaboração
é adequada nos casos em que os diversos intervenientes trabalham conjuntamente, não
numa relação hierárquica, mas numa base de igualdade de modo a haver ajuda mútua e
atingirem objetivos que a todos beneficiem.
Loiola (2005) diz que o trabalho colaborativo entre docentes constitui-se
em excelente espaço de aprendizagem, permitindo a identificação de suas forças,
fraquezas, dúvidas e necessidades de reconstrução. A socialização de conhecimentos, a
formação de identidade grupal e a transformação de suas práticas pedagógicas.
Boavida e Ponte (2002) afirmam que quanto mais diversificada for a
equipe, maior esforço e mais tempo são necessários para que funcione com êxito,
devido à variedade de linguagens, e estilos de trabalho dos seus membros. Deste modo,
os autores comentam que um trabalho em colaboração não envolve apenas uma
aprendizagem relativamente ao problema em questão, também há uma
autoaprendizagem e uma aprendizagem acerca das relações humanas.
Nesse sentido, notamos que a formação dos pequenos grupos do Núcleo
de Sergipe foi realizada conforme a afinidade do professor com a disciplina e com o ano
escolarpara o qual deveria criar as questões.
Por essa divisãonão ser heterogênea, percebemos alguns pontos negativos
e positivos, que podem ter influenciado no diálogo e interação entre pequenos grupos.
No primeiro modo, observamos que houve dois subgrupos com professores da mesma
área, como no 5º ano que ficou com dois de química, e no 9º ano com dois de física, eno
2º ano ficou um de química e o outro de Biologia.Ocorreu mais comunicação dentro dos
pequenos grupos, sendo que a troca de informação com os outros campos de ensino
ocorreu de forma esporádica.Esse fato pode ter afetado na interação entre os membros
da equipe e nas questões, pois aquelas criadas por pesquisadores de uma mesma área
tiveram somente um ponto de vista.
Positivamente, a troca de experiências aumenta os conhecimentos e a
variação de áreas de formação dos membros,e pode propor saberes diversificados no
momento de elaboração e discussão das questões. Nos momentos de reuniões
presenciais, foram apontados caminhos para possíveis soluções diante de dúvidas e
dificuldades que surgiram ao longo dos encontros para debate das questões elaboradas.
A respeito da inclusão do professor de educação básica como
protagonista nas criações das questões, sabemos conforme Locatelli (2002) e Katrine
(2007) que a elaboração das questões dos testes nacionais geralmente não é realizada
por pesquisadores acadêmicos e docentes de educação básica como ocorreu no nosso
estudo. Este fato poderia estreitar o distanciamento com relação aos testes nacionais e às
realidades das escolas.
Nossas questões estão mais próximas do discurso dos professores e
licenciandos, enquanto que a Prova Brasil tem mais influência de técnicos especialistas
em avaliação e estatística (KLEIN, R.; FONTANIVE, 1995; LOCATELLI, 2002;
KATRINE, 2007).
Em nosso estudo, com relação à avaliação do desempenho escolar
conforme Camargo (1995) e Wechsler (2000) também não buscamos avaliar o
desempenho escolar e, sim mensurar o quanto um aluno consegue acompanhar os
conteúdos propostos para o ano escolar que pertence.
O IDEIA não se interessou pela periodicidade do teste de desempenho,
uma vez que observamos que a intenção do grupo não foi a construção de um novo
teste, mas a elaboração de novas formas de questionar, que contemplassema
contextualização de temas e maior simplicidade para facilitar também a leitura de
alunos com dificuldade de aprendizagem.
Nossa matriz de elaboração se diferencia daquela da Prova Brasil posto
que ela leva em conta as preocupações de professores com experiência em sala, as
preocupações de alunos de graduação e, também a de pesquisadores, mestrandos e
doutores. Isso, principalmente, com relação a Ciências, uma vez que não houve uma
matriz bem definida pelo INEP para a elaboração das questões de 2013. Esse diálogo
entre as diferentes abordagens torna nossa matriz original, embora ainda seja um teste
piloto queestá sendo aprimorado para a aplicação final que acontecerá em 2014.
O foco desta dissertação não foi o estudo da avaliação e a aplicação das
questões construídas pelo grupo de pesquisa. Mas, mencionamosque não foi usado a
TRI para a metodologia de implementação e avaliação do teste, pois alguns dados em
papel infelizmente não foram colocados de maneira a sabermos todas as opções que os
alunos preencheram, temos apenas dados de certo e errado, o que limita nossa análise
em TRI. Além disso, não estamos preocupados em comparativos, contudo em criar um
programa onde qualquer professor possa ter acesso, e testar o desempenho de seus
alunos.
Nesse sentido, notamos nos momento das reuniões presenciais do grande
grupo, em que eram discutidas as questões construídas pelos subgrupos, que cada um
dese apresentava, em seguida reversava na apresentação das questões, pois lia o texto do
item, quando tinha, depois o enunciado e em seguida as alternativas. Em meio aos
comentários e exposições,os pequenos grupos comentavam a respeito das fontes em que
se basearam para elaborar as questões dentro de cada área. Ao conversar com alguns
professores, destacamos que além de utilizarem a Prova Brasil, PCN e experiências de
sala de aula, também se basearam em dúvidas frequentes abordadas e discutidas, críticas
mútuas, reflexões e conhecimentos experienciais. Podemos perceber que as questões
surgiram de várias fontes, e que as de Ciências não partiram diretamente de uma Matriz
de Referência conforme são elaboradas por outras avaliações estaduais como o
SARESP.
A partir do momento que os professores, alunos de iniciação e
mestrandos começaram a apresentar as questões e a manifestar algumas angustias e
tensões, percebemos um protagonismo e mais autonomia dos membros do núcleo de
Sergipe. O processo de elaboração de questões eletrônicas não abrange somente um
fluxo de atividades para obter produtos, envolve reflexão de comportamento do
professor com relação aos desafios do cotidiano escolar, à medida que o mesmo
relaciona a experiência escolar com o processo de pesquisa. Como exemplo,
observamos que um professor repetia várias vezes durante as reuniões a preocupação
com relação ao conteúdo e habilidades que deveriam mensurar quando era sugerido que
as questões contemplassem conteúdos desenvolvidos para um determinado objetivo.
Quanto ao uso de alguns elementos do modelo do Design Instrucional
Contextualizado, observando a forma colaborativa de divisão do grupo, a necessidade
de estar sempre revendo o que já foi realizado nas fases anteriores e os momentos de
reflexão de alguns membros, acreditamos que o tipo de design instrucional que mais o
grupo se aproximou foi o DIC, visto que esse considera central a atividade humana, pois
considera a importância de todos os participantes envolvidos no contexto de instrução,
uma vez que podem influenciar o cenário e também reconhece a necessidade de
mudanças durante a execução das atividades (FILATRO, 2010).
Ao observar as estratégias instrucionais em uma proposta de DIC, Filatro
(2010) pode prever a possibilidade de flexibilização dos componentes, pois ocorreu uma
maior preocupação com a situação práticado cotidiano, e com as atividades de interação
e discussão que para a autora constituem a base do processo de ensino-aprendizagem.
Houve uma preocupação com a formação do grupo de pesquisa, além da
busca de resultados. O que pode ter proporcionado maior reflexão ao processo de
elaboração dos instrumentos didáticos.
Um ponto positivo do DIC é poder levar em consideração o
contexto,além de adicionar passos, pois coloca em prática novas formas de planejar e
implementar situações de ensino-aprendizagem. As operações de analise, design e
desenvolvimento ocorrem ao longo de todo o processo de concepção e execução das
atividades do grupo para que sejam aprimoradas.
Mas, é preciso alguns cuidados, pois o DIC aborda conteúdos
instrucionais, querefletem as necessidades mais amplas de cunho social e organizacional
do grupo. Assim, se um projeto com uma proposta de DIC focar em objetivos de
aprendizagem que centram nos estágios que os alunos se encontram, poderá haver
vários momentos de tensão durante o desenvolvimento dos produtos que podem
interferir na eficácia do projeto (FILATRO, 2010).
4.2.2 Execução: Implementação e avaliação
4.2.2.1 Implementação
A aplicação das questões aconteceu durante os meses de outubro à
dezembro de 2012, através de um teste piloto, para avaliar o desempenho em forma
eletrônica no interior dos estados de Sergipe e São Paulo e em papel em Mato Grosso e
Rio Grande do Sul. Também ocorreu a aplicação do questionário sobre o histórico de
comportamento do aluno para a elaboração de uma base de dados.
Os testes em computador e impressos em papel foram aplicados
simultaneamente, com duração em média de 1hora à 2 horas, e foram realizadas por
dois aplicadores e dois observadores que auxiliaram os alunos que apresentavam
alguma dúvida quanto ao preenchimento e também observavam o comportamento dos
discentes enquanto respondiam as questões.
Oliveira et al. (2013) realizaram um estudo a respeito das dificuldades
enfrentadas durante a aplicação do teste piloto. Alguns dos problemas identificados
foram: quantidade de computadores dos laboratórios de informática nas escolasaonde
aconteceram as avaliações menores que o número de estudantes por sala; falta de
equipamentos apropriados nas aplicações que dependiam de áudio, principalmente com
os estudantes do 2º ano que não apresentavam domínio de leitura; dificuldades de
acesso à internet, uma vez que a aplicação do teste depende deste acesso, e em Santa
Maria ( RS) o sistema operacional disponível nos computadores da escola dificultou o
dowload das imagens, ilustrações e o áudio das questões.
A presente pesquisa não analisará a aplicação das questões de Ciências.
Essa disscursão será abordado nas dissertações de Gardenia Valéria e Micaela Menezes
da UFS.
Após a aplicação do teste piloto, em Sergipe durante o mês de dezembro
de 2012, resultados parciais foram publicados, contudo não é objetivo deste trabalho
analisar o processo de aplicação das provas.
4.2.2.2 Avaliação
Essa subcategoria apresenta a avaliação do potencial do conjunto de
questão para a aplicação final do teste. A avaliaçãocomeçou durante o período de
dezembro de 2012 a agosto de 2013. Foi realizada a análise das mesmas através de
critérios, que servem de pré-requisitos para julgar uma produção, ou um trabalho com
caráter intelectual (FERREIRA, 2011). Esses critérios foram escolhidos durante
reuniões do grupo, em Sergipe, queselecionou por questão.
Durante esse período, a criação de novas atividades didáticas para a
efetivação do teste de desempenho em mais escolas, no final de 2014.
Santos et al. (2013) analisaram as questões de biologia produzidas pelo
grupo IDEIA, aplicados a uma amostra de 103 alunos do 2º, 5º e 9º ano do Ensino
Fundamental de quatro regiões do Brasil, a partir de três critérios: qualidade e
quantidade de imagens, quantidade de termos técnicos e quantidade de texto das
mesmas.Para cada critério, foram criados quatro níveis de avaliação, classificados entre
totalmente adequado a nada adequado (QUADRO4).
Quadro 4: Critérios de análise das questões pelo grupo de Sergipe.
CRITÉRIOS
NÍVEL 0
(Totalmente
adequado)
NÍVEL 1
(Parcialmente
adequado)
NÍVEL 2
(Pouco
adequado)
NÍVEL 3 (Nada adequado)
Quantidade e
qualidade de
imagens
Imagens nítidas,
coloridas ou preto e
branco, com
enunciado direto.
Questões que
possuem somente
uma imagem;
imagens que não se
correlacionam.
Imagens com
textos curtos,
entre duas e três
linhas, com
pouca nitidez.
Imagens com
textos contendo
mais de 4 linhas,
com imagens
parecidas e não
nítidas.
Quantidade
de termos
técnicos
Apresentam um ou
dois termos técnicos
ou expressões
científicas.
Apresentam três ou
quatro termos
técnicos ou
expressões
científicas.
Apresentam
cinco ou seis
termos técnicos
ou expressões
científicas.
Apresentam mais
de seis termos
técnicos ou
expressões
científicas.
Quantidade
de texto
Texto coerente,
conciso e de acordo
com as normas de
ortografia, com
perguntas curtas.
Pode apresentar
algumas
incoerências, mas
não altera o sentido
do texto.
Apresenta muitas
incoerências
fugindo do
sentido das
perguntas.
Textos
incoerentes com
enunciados
extensos com
mais de cinco
linhas.
Fonte: Santos et al.(2013)
Santos et al. (2013)verificaram quanto ao critério da qualidade de
imagens, que as questões do 2º ano em sua maioria (58,3%) estão adequadas. As do 5º
ano 31,2 % das questões apresentaram adequação. E o 9º ano, das três questões
analisadas, somente duas continham imagens e, destas, apenas uma estava adequada.
Quanto ao critério quantidade de termos técnicos, 57,1% das questões do
2º ano se mostraram totalmente adequadas. Somente 17,6% das questões do 5º ano e no
9º ano 33,4%. E referente à quantidade de textos, o 2º ano (58,8%) e o 9º ano (66,6%)
apresentaram uma adequação maior que a do 5º ano (29,4%) (SANTOS et al. 2013).
CONSIDERAÇÕES FINAIS
A participação no projeto “Desempenho escolar inclusivo na perspectiva
multidisciplinar” como membro do grupo de pesquisa IDEIA, proporcionou alguns
desafios de comunicação, como o trabalho colaborativo com um grupo multidisciplinar
que tem uma grande quantidade de pesquisadores de cinco núcleos, visto que esses tem
opiniões e formações diferentes, que possibilitaram a troca de experiência entre os
componentes.
Outro desafio foi a utilização de alguns meios da TIC, como o Google
Doc’s, Moodle, e-mail e o uso do computador para elaborar as questões para do teste de
desempenho, poisa maioria dos professores não tinham o hábito de usar essas
ferramentas no cotidiano escolar. Essas tecnologias contribuíram para a nossa interação,
troca de informações, ideias, e de diálogo com vista ao bom entendimento entre as
pessoas, além do crescimento profissional dos membros, docentes de educação básica e
pesquisadores doutores, mestrandos e graduandos.
A construção de questões que se propõe a ser mais sensíveis a estudantes
com dificuldades de aprendizagem foi também um desafio, pois sabemos que as
avaliações externas do Sistema Educacional brasileiro avalia de forma homogênea os
estudantes com questões padronizadas.
Foi importante o estudo do Design Instrucional, no contexto de uma
proposta de trabalho colaborativo, visto que possibilitou perceber o desenvolvimento do
grupo de estudo, com o planejamento claro e definido das atividades combinando ação e
reflexão de forma contínua para construir um conjunto de questões didáticas para serem
inseridas em um programa para avaliação de desempenho em Ciências.
Notamos que podemos ter inovado ao utilizarmos na matriz de referência
para as questões de Ciências as preocupações e experiência de docentes de Educação
Básica, de alunos de iniciação científica e também de mestrandos e professores
doutores. Esse diálogo entre as diferentes abordagens traz originalidade para nossa
matriz.
Nesse sentido, percebemos que o trabalho colaborativo do grupo de
estudo multidisciplinar pode apresentar potencial para enriquecer a maneira de pensar,
agir e resolver problemas, criando possibilidades de sucesso na proposta de desenvolver
um conjunto de questões didáticas para serem inseridas em um programa para avaliação
de desempenho em Ciências.
Desse modo, a possibilidade de maior participação de docentes na
construção de questões para testes nacionais pode causar algum impacto para aformação
dos professores e nas políticas públicas, pois interferenas políticas de avaliações
implantadas recentemente no meio educacional, visto que não aparece de forma clara
como acontece a participação dos docentes na elaboração dos itens para testes
nacionais.
Assim, a investigação sobre o processo de elaboração de um teste de
desempenho em Ciências desenvolvido por esta dissertação possibilitou perceber que os
trabalhos desenvolvidos pelo grupo IDEIA abrangeram algumas necessidades do
projeto geral como: a construção de questões para um teste de desempenho, e a
formação de um grupo de pesquisa nacional. Esses fatos trazem contribuições para
Sergipe e para o país na área de desempenho escolar, sendo que há necessidade de mais
estudos sobre o tema em nível estadual e local. E também são necessários mais
pesquisas a respeito de medidas de avaliação do desempenho escolar na área de Ensino
de Ciências, uma vez que avaliação é um processo que precisa ser considerado como
contínuo, que aborde aspectos tanto quantitativo e qualitativo.
REFERÊNCIA
AMARAL, I. A. Metodologia do ensino de ciências como produção social.
Campinas: UNICAMP, 2006.
ANDRADE, D. F.; TAVARES, H. R.; VALE, R. C. Teoria da Resposta ao Item:
Conceitos e Aplicações. SINAPE, 2000.
ANDRIOLA, W. B. Ensaio: aval. Doze motivos favoráveis à adoção do Exame
Nacional do Ensino Médio (ENEM) pelas Instituições Federais de Ensino Superior
(IFES). Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 19, n. 70, p. 107-126,
jan./mar. 2011.
ANDRE, M. E. D. A. Etnografia da prática escolar. Campinas, SP: Papirus. 6ª ed.
2001. ISBN: 85-308-0376-0.
BARROS, J.; SILVA, D. Algumas reflexões sobre a avaliação dos estudantes no ensino
de Ciências. Ciência e ensino, n. 9, 2000.
BRAGLIA, I.; GONÇALVEZ, B. Abordagem Sistemática do Design Instrucional na
Implementação de Hipermídias para Aprendizagem. In:Congresso Nacional de
Ambientes Hipermídia para Aprendizagem. Florianópolis, 2009. Disponível
em:<http://wright.ava.ufsc.br/~alice/conahpa/anais/2009/cd_conahpa2009/papers/final1
34.pdf>. Acesso: 29/07/2012.
BAUER, M. W.; GASKELL, G.; ALLUM, N. C. Qualidade, quantidade e interesses do
conhecimento - Evitando confusões. In: BAUER, M. W.; GASKELL, G. (Orgs.).
Pesquisa qualitativa com texto, imagem e som: um manual prático. Tradução de
Pedrinho A. Guareschi. Petrópolis: Vozes, 2002. cap. 1. p. 17 - 36.
BECKER, F. R. Avaliação educacional em larga escala: a experiência brasileira.
Revista Iberoamericana de Educación / Revista Ibero-americana de Educação n. º
53, vol. 1, jun, 2010.ISSN: 1681-5653
BELLONI, I. Avaliação Institucional um instrumento de democratização da educação.
Linhas Críticas, v. 5, nº 9. jul. - dez. 1999.
BIZZO, N. Ciências: fácil ou difícil. São Paulo: Ática, 2002.
BRASIL. Secretaria de Educação Fundamental. Parâmetros Curriculares Nacionais.
Brasília: MEC/SEF, 1998.
BRASIL. Secretaria de Educação Fundamental. Parâmetros Curriculares Nacionais:
Ciências Naturais. Vol. 4. Brasília: MEC/SEF, 1999.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais (Inep). Guia de
elaboração e revisão de itens. Brasília, 2010. v. 1, 19 p. Disponível em:
<http://portal.inep.gov.br/guia-de-elaboracao-erevisao-de-itens>. Acesso: 05/02;2014.
BRASIL. Ministério da Educação. PDE: Plano de Desenvolvimento da Educação:
Prova Brasil: ensino fundamental: matrizes de referência, tópicos e descritores.
Brasília: MEC, SEB; Inep, 2008.200p.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira
(Inep). Inclusão de Ciências no Saeb: documento básico. Brasília, 2013. ISBN 978-
85-7863-028-7.
BOGDAN, R. C.; BIKLEN, S. K. Investigação Qualitativa em Educação: uma
introdução às teorias e aos métodos. Portugal: Editora Porto. 1994. ISBN: 978-972-0-
34112-9.
BOAVIDA, A M.; PONTE, J. P. Investigação colaborativa: Potencialidades e
problemas. In GTI (Org.), Refletir e investigar sobre a prática profissional (pp. 43-55).
Lisboa: APM. 2002.
CAMARGO, D. A. F. Avaliação do rendimento escolar: estudos e concepção. Paidéia:
Ribeirão Preto, n. 8-9, ago. 1995.
CAPELLINI, S. A; TONELOTTO, J. M. F.; CIASCA, S. M. Medidas de desempenho
escolar: avaliação formal e opinião de professores. Rev.Estudos de Psicologia, PUC-
Campinas, v. 21, n. 2, p. 79-90, maio/ago. 2004.
CASTRO, M. H. G. Sistemas de avaliação da educação no Brasil: avanços e novos
desafios. São Paulo Perspec., São Paulo, v. 23, n. 1, p. 5-18, jan./jun. 2009.
CHIZZOTTI, A. A pesquisa qualitativa em ciências humanas e sociais: evolução e
desafios. Revista Portuguesa de Educação. v. 16, n. 2, p. 221-236, 2003.
COSTA, F. K. B.; ALMEIDA, M. M.B.; LIMA, I. B. O novo ENEM e o livro didático
de química. In: VI Colóquio Internacional: “Educação e Contemporaneidade”. São
Cristóvão, Brasil, Sergipe, set. 2012.
DEPRESBITERIS, L. Avaliação da aprendizagem do ponto de vista técnico-científico e
filosófico-político. São Paulo: FDE, Série Ideias, nº 8. 2. 1998.
DOMINGUES, M. R. S.; OLIVEIRA, N. C. M. A avaliação externa na educação
básica e suas implicações. 2012. Disponível em:
http://www.sbec.org.br/evt2012/trab42.pdf.Acesso: 18/02/2013.
ENGESTRÖM, Y. Expansive Learning at Work: toward an activity theoretical
reconceptualization. Journal of Education and Work, vol. 14, No. 1, 2001. Disponível
em: <http://www.handover.eu/upload/library/jimaw6szeyuluh4tho6oq.pdf>.
Acesso: 18/03/2013.
ESTEBAN, M. P. S. Pesquisa qualitativa em educação: fundamentos e tradições.
Porto Alegre: AMGH, 2010. ISBN: 978-85-63308-10-8.
ESPOSITO, Y. L. et al. Sistema de avaliação do rendimento escolar: O modelo adotado
pelo estado de São Paulo. Revista Brasileira de Educação. n°13, jan/fev/mar/abr,
2000.
FERNANDES, D. Avaliação das aprendizagens: uma agenda, muitos desafios.
Lisboa: Texto, 2004. Disponível em:
<http://www.projectos.te.pt/projectos_te/area_exclusiva/pdf/doc_aval.pdf>.Acesso:
04/01/2013.
FERREIRA, A. B. H. Mini dicionário da Língua Portuguesa. 8ª ed.Rio de Janeiro:
Nova Fronteira.2011.
FILATRO, A.; PICONEZ, S. C. B. Design instrucional contextualizado. Faculdade de
Educação da USP,abril, 2004. Disponível em: < http:
www.abed.org.br/congresso2004/por/pdf/049-TC-B2.pdf/>. Acesso: 27 de junho de
2012.
FILATRO, A. Design instrucional na prática. São Paulo: PEARSON, 1 ed. 2008.
ISBN: 978-85-7605-188-6.
FILATRO, A. Design instrucional contextualizado: educação e tecnologia. São
Paulo: SENAC, 3 ed. 2010. ISBN: 978-85-7359-932-9.
FLICK, U. Uma introdução à pesquisa qualitativa. 3 ed. Trad. COSTA, J. E. Porto
Alegre: Artmed, 2009.
FREITAS, D. N. Avaliação da educação básica e ação normativa federal. Cadernos de
Pesquisa, São Paulo, v. 34, n. 123, p. 663-689, set./dez. 2004. Disponível em:
<www.cienciaemtela.nutes.ufrj.br/artigos/0208cassab.pdf>. Acesso: 23/08/2012.
GATTI, B. A. Avaliação educacional no Brasil: pontuando uma história de ações.
ECCos revista científica UININOVE, São Paulo, nº 1, vol 4.2002.
GIL, A. C. Métodos e Técnicas de Pesquisa Social. 5. Ed. 7. Reimpressão. São Paulo:
Atlas, 2006.
HERNANDES, E. D. K. Resultados de avaliações externas e internas em escolas da
rede pública de São Paulo: aproximações ou contradições? 2011. Disponível em:
<http://www.anpae.org.br/simposio2011/cdrom2011/PDFs/trabalhosCompletos/comuni
cacoesRelatos/0162.pdf>. Acesso: 16/12/12.
HORTA NETO, J. L. Um olhar retrospectivo sobre a avaliação externa no Brasil: das
primeiras medições em educação até o SAEB de 2005. Madrid: Revista
Iberoamericana de Educación, v. 42, p. 1-14, 2007.
INEP. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Prova
Brasil e Saeb. 2009. Disponível: <http://portal.inep.gov.br/web/prova-brasil-e-
saeb/prova-brasil-e-saeb>. Acesso em: 11/ 10/2012.
INEP, Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira.
Provinha Brasil. 2011. Disponível: http://provinhabrasil.inep.gov.br/web/provinha-
brasil/apresentacao. Acesso: 14/12/2012.
KATRINE, G. Teoria de resposta ao Item na avaliação de qualidade de vida idosos.
Dissertação (Mestrado em Epidemiologia). Universidade do Rio Grande do Sul, Porto
Alegre, 2007.
KRASILCHIK, M. Reformas e realidade: o caso do ensino das ciências.São Paulo em
Perspectiva, nº 14, vol. 1. p. 85-92. 2000.
KLEIN, R.; FONTANIVE, N. S. Avaliação em larga escala: uma proposta
inovadora.Em Aberto, Brasília, ano 15, n.66, abr./jun. 1995.
KUHN, L. B. C. Refletindo sobre formas de avaliação: ENEM que avaliação é essa?
Anais do SILEL. Volume 2, Número 2. Uberlândia: EDUFU, 2011.
LAMMOGLIA, B.; BICUDO, M. A. V. Sistema escolar e avaliação no estado de São
Paulo - Brasil. In: Anpae: III Congresso Ibero Americano de Políticas e
Administração da educação. Zaragoza-Espanha, nov, 2012.
LIMA, M. A. D. S.; ALMEIDA, M. C. P. A.; LIMA, C. C. Utilização da observação
participante e da entrevista semi-estruturada na pesquisa em saúde. R. Gaúcha
Enferm., Porto Alegre, v.20, p.130- 142,1999.
LOCATELLI, I. Construção de instrumentos para a avaliação de larga escala e
indicadores de rendimento: o modelo Saeb. Estudos em Avaliação Educacional, São
Paulo, n. 25, jan./jun. 2002.
LOIOLA, L. J. S. L. Contribuições da pesquisa colaborativa e do saber prático
contextualizado para uma proposta de formação continuada de professores de educação
infantil. In: REUNIÃO ANUAL DA ANPED, Caxambu. p. 1-16. 2005.
LUCKESI, C. C. O que é mesmo o ato de avaliar a aprendizagem? Pátio. Porto
alegre: ARTMED. Ano 3, n. 12 fev./abr. 2000.
LUDKE, M.; ANDRÉ, M. E.D.A. Pesquisa em educação: abordagens qualitativas. São
Paulo, Editora Pedagógica e Universitária, 1986.
MARANDINO, M. A prática de ensino nas licenciaturas e a pesquisa em ensino de
ciências: questões atuais. Caderno Brasileiro do Ensino de Física. vol. 20, nº 2, pp.
168-193, ago.2003.
MATTOS, A. M. S. Prova Brasil: concepções dos professores sobre a avaliação do
rendimento escolar e o ensino de matemática no município de Aracaju (SE). Dissertação (Mestrado em Educação). Universidade federal de Sergipe. São Cristóvão,
2012.
MARTINS, A. M. A descentralização como eixo das reformas do ensino: uma
discussão da literatura. Educação & Sociedade. Revista de Ciência da Educação:
CEDES, n. 77, ano XXII, p. 28-48, dez. 2001.
MARCON, S. S.; ELSEN, I. Estudo qualitativo utilizando observação participante -
análise de uma experiência. Acta Scientiarum, vol.22, n.2, p. 637-647, 2000. ISSN
1415-6814.
MENDONÇA, T. N. M.; KANAGAWA, A. I.; DUARTE, A. J. C.; REGO, R. G. A
formação de professores de ciências naturais: uma perspectiva construtivista.In: XI
Encontro de Iniciação à Docência: UFPB-PRG. 2008.
MINHOTO, Maria Angélica Pedra. Da disseminação da cultura de avaliação
educacional: estudo sobre a institucionalização do ENEM. Poiésis,Tubarão, n. 1, v. 1, p.
67-85, jan./abr. 2008.
OLIVEIRA, C. L. Um apanhado teórico-conceitual sobre a pesquisa qualitativa: tipos,
técnicas e características.Revista Travessias, Paraná.vol. 2. nº 3. 2008.ISSN 1982-5935.
Disponível em:<http://e-revista.unioeste.br/index.php/travessias/article/view/3122>.
Acesso: 23/07/2012.
OLIVEIRA, G. V. A.; MENEZES, M. O.; ASSIS, A. F. S.; SIMM, A. S. H.; SILVA,
M. M.; LIMA, P.; PINAFO, J.; OLIVEIRA, G. S. Caminhos e construções de um teste
padronizado em Leitura, Matemática e Ciências: aplicações com uso do computador e
impressos em papel. In: IX Encontro Nacional de Pesquisa em Educação em
Ciências (IX ENPEC). Águas de Lindóia, SP, nov. 2013.
QUEIROZ, M. M. A. O ensino de ciências naturais – reprodução ou produção de
Conhecimentos. 2006.
Disponível:<http://www.ufpi.edu.br/subsiteFiles/ppged/arquivos/files/eventos/2006.gt1
3/GT13_2006_03.PDF>. Acesso. 10/10/2012.
PAGAN, A. A.; BOTTON, J. M. Desempenho escolar inclusivo: construindo um
projeto em parceria. In: IX Encontro Nacional de Pesquisa em Educação em
Ciências (IX ENPEC). Águas de Lindóia, SP, nov. 2013.
PARANÁ. Secretaria de Estado da Educação. Coordenação de Gestão Escolar. O que
são critérios de avaliação? 2011.Disponível em:
<http://www.nre.seed.pr.gov.br/londrina/arquivos/File/5criteriosavaliacao.pdf >. Acesso
em 15/09/12.
PAZ, F. M.; RAPHAEL, H. S. O IDEB e a qualidade da educação no ensino fundamental:
fundamentos, problemas e primeiras análises comparativas. Omnia Humanas, v.3, n.1,
p.7-30, 2010.
PIMENTA, B. S. Processo de elaboração de um ambiente virtual de aprendizagem
usando o Moodle: desafios e reflexões. IN: IX Encontro Virtual de Documentação
em Software Livre e VI Congresso Internacional de Linguagem e Tecnologia
Online (EVIDOSOL/CILTEC-ONLINE), v. 1, n. 1, 2012, p. 1-9. Disponível em: <
http: /papers.textolivre.org/upload/artigos/99.pdf . Acesso: 27 de junho de 2012.
PINHEIRO, M. A. Estratégias para o Design Instrucional de Cursos pela Internet:
Um Estudo de Caso. 2002. Dissertação (Mestrado em Engenharia de Produção).
Universidade Federal de Santa Catarina, Florianópolis.
VIEIRA, R. A.; FERNANDES, C. P. Avaliações externas em foco: percepções e efeitos
para o trabalho docente. Educação em Perspectiva, Viçosa, v. 2, n. 1, p. 119-132,
jan./jun. 2011.
REISER, R. A. A history of Instructional Design and Technology. ETR&D, vol. 49,
nº. 2, p. 57–67, 2001. Disponível em:<www.capella.edu/IDOL/HistoryofIDTPartI.pdf >.
Acesso: 27/07/2012.
RIBEIRO, I. C.; LISE, M. A. T. B. Prova Brasil: descritores de avaliação de
matemática. In: Anais do XVI EREMATSUL. Porto Alegre. PUCRS, junho de 2010.
p. 330-341.
ROMISZOWSKI, A.; ROMISZOWSKI, L. P. Retrospectiva e Perspectivas do Design
Instrucional e Educação a Distância: Análise da Literatura, 2005. Disponível
em:<http://www.abed.org.br/revistacientifica/Revista_PDF_Doc/2005_Retrospectiva_
erspectivas_Design_Instrucional_Alexander_Romiszowski_Lina_Romiszowski.pdf>.
Acesso: 12/12/2012.
SASS, O.; MINHOTO, M. A. P. Indicadores e educação no Brasil: a avaliação como
tecnologia. Constelaciones, Madri, n. 2, p. 232-252, dez. 2010.
SANTOS, A. P. V. et al. Análise do potencial de predição de desempenho de um teste
sobre conteúdo biológico para o ensino fundamental. In: XII Encontro sobre
Investigação na Escola: “Compartilhar conhecimentos e práticas: um desafio para
os educadores”. Santa Maria, ago, 2013.
SANTOS, S. Provinha Brasil e habilidades de leitura: algumas considerações sobre os
níveis de alfabetização e letramento. In: III ENILL: Encontro Interdisciplinar de
Língua e Literatura. Itabaiana/SE: vol.03. ago. 2012. ISSN: 2237-9908.
SÃO PAULO, Secretaria da Educação do estado de São Paulo. Referência para a
avaliação Saresp: documento básico/Secretaria da Educação; coordenação geral, Maria
Inês Fini. – São Paulo: SEE, 2009. 174 p. v. 1 ISBN: 978-85-7849-374-5.
SARAIVA, M.; PONTE, J. P. O trabalho colaborativo e o desenvolvimento profissional
do professor de Matemática. Quadrante, vol .12, nº 2, p. 25-52. 2003.
SEPULVEDA, C. A. S. et al. Inovando o ensino de biologia através do trabalho
colaborativo de pesquisadores educacionais e professores-investigadores. Estudos IAT,
Salvador, v.2, n.1, p. 119-137, jan./jun., 2012.
SETÚBAL, M. A. Equidade e desempenho escolar: é possível alcançar uma educação
de qualidade para todos? R. bras. Est. pedag., Brasília, v. 91, n. 228, p. 345-366,
maio/ago. 2010.
SILVA, A. R. L.; CASTRO, L. P. S. A relevância do design instrucional na elaboração
de material didático impresso para cursos de graduação a distância.Revista
Intersaberes, Curitiba, vol. 4, n. 8, p. 136-149, jul/dez 2009.
SILVEIRA, I. S. Observação participante: um olhar encantador.Lato & Sensu, Belém,
v. 4, n. 1, p. 3-5, out, 2003.
SOARES, J. F.; ANDRADE, R. Nível socioeconômico, qualidade e equidade das
escolas de Belo Horizonte. Ensaio:Avaliação de Políticas Públicas em Educação, Rio
de Janeiro, v. 14, n. 50, 2006.
SOUSA, S. Z. L.; ARCAS, P. H. Implicações da Avaliação em Larga Escala no
Currículo: revelações de escolas estaduais de São Paulo. Revista Educação: teoria e
prática - v. 20, n.35, jul-dez., 2010,p. 181-199. Disponível em:
<educa.fcc.org.br pdf eduteo v n v n a .pdf >. Acesso em: 27/07/2012.
SHULMAN, R. J. Those who understand: Knowledge growth in teaching. Educational
Researcher. V 15, n. 2, p. 4-14, 1986.
TONELOTTO, J. M. F. et al. Avaliação do desempenho escolar e habilidades básicas
de leitura em escolares do ensino fundamental. Aval. psicol. 2005, vol.4, n.1, pp. 33-43.
ISSN 2175-3431.
TOLENTINO-NETO, L. C. B. Os interesses e posturas de jovens alunos frente às
ciências: resultados do Projeto ROSE aplicado no Brasil. 2008. 164p. Tese
(Doutorado em Educação). Faculdade de Educação, Universidade deSão Paulo, São
Paulo.
WAISELFISZ, J. J. O ensino das ciências no Brasil e o PISA.Sangari do Brasil.2007.
WECHSLER, S. M. Criatividade e desempenho escolar: Uma síntese necessária.
Linhas Críticas, vol.8, 2002, p.179- 188.
WITTMANN, M. J. M. Avaliação da educação básica em larga escala em nível
nacional: previstos e acontecidos. 2008. Disponível
em:<http://www.pucpr.br/eventos/educere/educere2008/anais/pdf/92_60.pdf>. Acesso:
18/01/2013.
QUEIROZ, D.T.; VALL, J.; SOUZA, A.M.A.; VIEIRA, N.F.C. Observação
participante na pesquisa qualitativa: conceitos e aplicações na área da saúde.R Enferm,
UERJ, Rio de Janeiro, 2007 abr/jun; nº 15, vol.2 p. 276-83.
VALLE, R. C. Teoria de resposta ao item.Est. Aval. Educ. n.21. 2000, p. 07-92. ISSN:
0103-6831.
VIEIRA, R. A.; FERNANDES, C. P. Avaliações externas em foco: percepções e efeitos
para o trabalho docente. Educação em Perspectiva, Viçosa, v. 2, n. 1, p. 119-132,
jan./jun. 2011.
ANEXOS
ANEXO A - TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO
Dados de identificação
Título do Projeto: “Análise de um sistema de atividades para a construção de um teste de desempenho em ensino de
ciências”.
Pesquisador Responsável: _________________________________________________________________________
Instituição a que pertence o Pesquisador Responsável: __________________________________________________
Telefones para contato: (___) ______________ - (___) _________________ - (___) _______________
E-mail:__________________________________________________________________
Pesquisador Responsável: _________________________________________________________________________
Instituição a que pertence o Pesquisador Responsável: __________________________________________________
Telefones para contato: (___) ______________ - (___) _________________ - (___) _______________
E-mail:___________________________________________________________________
Pesquisador Responsável: _________________________________________________________________________
Instituição a que pertence o Pesquisador Responsável: __________________________________________________
Telefones para contato: (___) ______________ - (___) _________________ - (___) _______________
E-mail:___________________________________________________________________
Nome do voluntário: ______________________________________________________________________________
Idade: _____________ anos
R.G.___________________________________ CPF._____________________________________.
O Sr. (ª) está sendo convidado (a) a participar do projeto de pesquisa” Análise de um sistema de atividades para a
construção de um teste de desempenho em Ensino de Ciências” de responsabilidade dos pesquisadores
___________________________________________(Orientador),__________________________________________
_____________ (Coorientador), e______________________________________________________________
(Mestranda), vinculado ao Programa de Pós-Graduação em Ensino de Ciências e Matemática. O interesse por este
estudo parte da necessidade de investigar a elaboração de teste de desempenho em Ciências, uma vez que há poucas
avaliações em larga escala na área de Ensino de Ciências. Objetiva-se descrever e analisar os processos de elaboração
de teste de desempenho em Ciências que será construído por um grupo de pesquisa multidisciplinar. Para o
desenvolvimento dessa pesquisa partiremos de uma perspectiva do pluralismo metodológico baseado na ideia de não
dissociação entre métodos qualitativos e quantitativos. A coleta dos dados será viabilizada por meio da técnica de
observação participante que permitirá uma descrição detalhada dos elementos envolvidos em episódios que serão
analisados e relatados com gravações e conversas informais dos participantes da presente pesquisa. Para a análise dos
dados será utilizado a criação de categorias a partir da observação reflexiva dos dados relatados que serão relatados.
Eu, ___________________________________________________, RG nº __________________________ inscrito no
CPF___________________ nascido (a) em ______ / _____ /______________, abaixo assinado (a), concordo de livre e
espontânea vontade em participar, como voluntário, do projeto de pesquisa acima descrito. Declaro que obtive todas as
informações necessárias, bem como todos os eventuais esclarecimentos quanto às dúvidas por mim apresentadas.
Estou ciente que:
I) Tenho a liberdade de desistir ou de interromper a colaboração neste estudo no momento em que desejar, sem
necessidade de qualquer explicação;
II) A desistência não causará nenhum prejuízo à minha saúde ou bem estar físico.
III) Os resultados obtidos durante este ensaio serão mantidos em sigilo, mas concordo que sejam divulgados em
publicações científicas, desde que meus dados pessoais não sejam mencionados;
IV) Caso eu desejar, poderei pessoalmente tomar conhecimento dos resultados, ao final desta pesquisa
( ) Desejo conhecer os resultados desta pesquisa.
( ) Não desejo conhecer os resultados desta pesquisa.
___________________, _______de ____________ de _______
________________________________________
Nome e assinatura do voluntário
_______________________________________
Testemunha: Nome/RG/Telefone
ANEXO B - CARTA DE SOLICITAÇÂO/AUTORIZAÇÃO
UNIVERSIDADE FEDERAL DE SERGIPE
CAMPUS UNIVERSITÁRIO PROF. JOSÉ ALOÍSIO DE CAMPOS
NÚCLEO DE PÓS-GRADUAÇÃO EM ENSINO DE CIÊNCIAS E MATEMÁTICA
CARTA DE SOLICITAÇÃO/AUTORIZAÇÃO
Ilmo. Sr.º
Luiz Caldeira Brant Tolentino Neto
Coordenador do Grupo de Pesquisa Grupo Interinstitucional Desempenho Escolar e Inclusão Acadêmica -
IDEIA - UFSM,
Santa Maria, RS.
Marcela Santos de Almeida, aluna regularmente matriculada no Curso de mestrado do Programa de Pós-
Graduação em Ensino de Ciências e Matemática da Universidade Federal de Sergipe (UFS) - São
Cristóvão/SE, orientanda do Profº. Drº Acácio Alexandre Pagan e do Prof.º Dr.º Fábio Teotho Rocha,
venho por meio destes, solicitar a autorização da realização do Projeto de Pesquisa ” Análise de um
sistema de atividades para a construção de um teste de desempenho em Ensino de Ciências” no decorre
de um ano, que objetiva descrever e analisar os processos de elaboração de teste de desempenho em
Ciências que será construído pelo grupo de pesquisa multidisciplinar Grupo Inter-institucional
Desempenho Escolar e Inclusão Acadêmica (IDEIA).
__________________________, __________________ de ______________.
___________________________________________
Professor Orientador
___________________________________________
Professor Co-orientador
Autorizo:_______________________________________________
________________________,_______________ de _____________.
Carimbo e assinatura do responsável
ANEXO C - ROTEIRO DE ELABORAÇÃO DE QUESTÕES
ROTINA DE ELABORAÇÃO DE QUESTÕES- NÚCLEO DE SERGIPE
PRIMEIRA RODADA DE ELABORAÇÃO/AVALIAÇÃO
1. Professor vai elaborar e encaminhar cinco questões ao aluno de iniciação. Cada
questão terá um código, objetivo, descrição e justificativa, conforme a tabela de
descrição da questão.
2. O aluno de iniciação científica inserirá no software/programa em uma semana e
comunicará ao professor sobre a conclusão do trabalho de inclusão das
atividades.
3. O professor acessará o sistema; avaliará como ficarão as questões; aprovará a
inclusão ou sugerirá modificações; e se sugerir modificações ficará o prazo de
dois dias para as alunas de iniciação científica fazerem as mesmas.
4. Ao fechar um conjunto de questões os professores enviarão um e-mail para as
mestrandas, avisará que as questões de número x a z estão prontas para
avaliação da primeira rodada. Elas farão uma análise em uma semana e
discutirá sobre possíveis alterações, ou confirmará o material criado. Isto criará
uma segunda rodada de elaboração. Elas devolverão as sugestões para os
professores.
SEGUNDA RODADA DE ELABORAÇÃO/AVALIAÇÃO
1. Os professores avaliarão, por três dias, as sugestões das mestrandas e em
seguida encaminharão possíveis sugestões de alterações ao sistema, que serão
novamente feitas pelos alunos de iniciação científica, que informarão aos
professores sobre as alterações.
2. Os professores farão uma segunda avaliação e encaminharão um e-mail para os
coordenadores informando que as atividades de x a y passaram pelas duas
rodadas e já estão prontas para finalização.
3. Os coordenadores farão o acompanhamento e a organização do material no
sistema, levando em conta as sequências e o fechamento do conjunto de
questões.
QUADRO DE DESCRIÇÃO DA QUESTÃO
Código Objetivos Descrição Justificativa
Número da
atividade e
as duas
primeiras
letras do
nome do
professor
que criou.
Uma atividade tem
que corresponder a
um objetivo. Mas
pode ter mais de
uma questão para um
único objetivo.
Pode apresentar
informações e solicitar a
compreensão do aluno O
que o discente é capaz de
aprender. Tem que dar na
atividade as informações
verbais/escrita e imagens.
Em seguida criar uma
questão para conhecer o
desempenho dele naquele
conteúdo. Pode ser
múltipla escolha,
associação de elementos
ou pergunta e resposta na
qual o aluno vai digitar
no máximo uma palavra.
Justificar o nível,
estágio e grau da
questão. Quais os
parâmetros que usará?
PCN, livros didáticos,
diretrizes curriculares,
experiências em sala,
um determinado
autor?
Explicar por que usou
determinado verbo de
ação. Por exemplo, se
usar o termo
COMPREENDER, o
que eu entendo por
compreender.
ROTINA COLETIVA DE ELABORAÇÃO DAS QUESTÕES
PRAZOS Atividades
-Encaminhar o primeiro bloco de atividades para
avaliação dos demais pequenos grupos do próprio núcleo
de Sergipe.
-Enviar o parecer de avaliação das questões dos demais
pequenos grupos do núcleo de Sergipe.
-Realizar as modificações pertinentes e preparar uma
apresentação para o debate presencial no grande grupo do
núcleo de Sergipe.
Reunião presencial do núcleo de Sergipe para debate do
primeiro bloco de atividades.
Fazer o upload das questões no moodle para sugestões de
outros núcleos participantes do grupo de pesquisa IDEIA.
Fazer comentários, críticas, elogios e sugestões às
questões desenvolvidas pelos colegas que estarão
expostas no moodle.
Realizar modificações necessárias e encaminhamento
para registro no sistema (software/site).
-Alunas de iniciação científica (ICs) de Sergipe farão a
inserção das atividades no sistema;
-Ao finalizar o registro de um bloco no sistema do
software as ICs solicitarão aos pequenos grupos que as
construíram uma supervisão do resultado final;
O pequeno grupo conferirá no sistema se está tudo de
acordo com o que planejou e comunicará aos
coordenadores do núcleo que o bloco de atividades já está
no sistema.
ANEXO D – FORMULÁRIO GERAL DE ELABORAÇÃO DE QUESTÕES
Código da questão:
Versão:
( ) ninguém ( ) outros pequenos grupos ( ) grande grupo do
núcleo
( ) todos os grupos no Moodle ( ) Já estão registrados no software
Objetivo da questão:
Descrição:
Grau de complexidade:
Ano: ( ) segundo ( ) quinto ( x ) nono
Bimestre: ( ) Primeiro ( ) segundo ( ) terceiro
( ) quarto
Justificativa
ANEXO E - PARECER
IDENTIFICAÇÃO DO PARECERISTA:
IDENTIFICAÇÃO DA QUESTÃO:
ITEM ADEQUADO INADEQUADO NÃO
AVALIADO
Correção Gramatical
Correção conceitual
Adequação da questão ao grau de
complexidade propostoi
Adequação da linguagem à sérieii
Adequação da imagem ao textoiii
Atendimento ao objetivo proposto
Clareza da Justificativa
apresentadaiv
Pertinência da Justificativa
apresentadav
Adequação à diversidade étnica de
gênerovi
COMENTÁRIOS GERAIS:
iRealmente é uma questão para o ano e bimestre propostos?
ii Os termos técnicos e textuais estão de acordo com os aspectos da transposição didática necessária para esta
série? iii A imagem realmente dá a ideia que o texto sugere?
iv Os pesquisadores conseguiram explicar perfeitamente suas justificativas?
v A justificativa apresentada está apropriada e fundamentada? É superficial?
vi A atividade não fere ou cria algum preconceito relacionado à diversidade étnica ou de gênero?
