RELAÇÕES ENTRE O ENADE E A AUTO- AVALIAÇÃO DOS CURSOS DE GRADUAÇÃO Amir Limana Márcia Regina...

RELAÇÕES ENTRE O ENADE E A AUTO-

AVALIAÇÃO DOS CURSOS DE GRADUAÇÃO

Amir Limana

Márcia Regina F. de Brito

DEAES/INEP/MEC

EExame

NAcional do

Desempenho dos

Estudantes

OBJETIVO ESPECÍFICO DO SINAES

Avaliar instituições, cursos e o desempenho dos estudantes.desempenho dos estudantes.

ENADEENADE

PRINCIPAIS INSTRUMENTOS DO SINAES

AUTO-AVALIAÇÃO ORIENTADA AVALIAÇÃO DA INSTITUIÇÃO AVALIAÇÃO DOS CURSOS DE

GRADUAÇÃO

ENADE

O ENADE E O SINAES

1. O FORMATO DO ENADE É MAIS ADEQUADO À NOVA FILOSOFIA;

2. ENADE É UM COMPONENTE DO SINAES E CORRESPONDE A 20%

1. DO TOTAL.

ENADE – EXAME NACIONAL DO DESEMPENHO DOS ESTUDANTES

Verifica: COMPETÊNCIAS E HABILIDADES

BÁSICAS DAS ÁREAS; CONHECIMENTO SOBRE CONTEÚDOS

BÁSICOS E PROFISSIONALIZANTES QUESTÕES TRANSDISCIPLINARES

PROCEDIMENTOS DO ENADE

1. APLICAÇÃO TRIENAL POR GRUPOS DE ÁREAS;

2. APLICAÇÃO POR AMOSTRAGEM;3. APLICAÇÃO NO FINAL DO PRIMEIRO E DO

ÚLTIMO ANO DO CURSO;4. PROVA QUE PERMITA

COMPARABILIDADE;5. CONCEITOS EM CINCO NÍVEIS COM

PADRÃO MÍNIMO.

O que se busca aferir através do ENADE?

Parte I (10 questões)

Conhecimento tácito – Base “oculta” que subsidia a ação inteligente (Polanyi, 1967; Schön, 1983).

Habilidade prática – Desenvolvimento do conhecimento que é útil para se atingir objetivos valorizados pelo sujeito ou pela cultura, mas cuja transmissão geralmente não é mantida pelo meio-ambiente. É o conhecimento que o indivíduo necessita para ser bem sucedido, mas que não é ensinado e, freqüentemente, não é sequer verbalizado (Sternberg, 1998).

O que se busca aferir através do ENADE?Parte II (30 questões)

As questões tratam dos conteúdos específicos.

Busca verificar o domínio da área, aferindo o potencial de aprendizagem dos ingressantes e as competências que os concluintes desenvolveram ao longo da trajetória na IES.

Instrumentos relativos ao ENADE

1. Questionário do estudante 2. Questionário dos coordenadores 3. Prova 4. Questões de avaliação de percepção da

prova.

Amostra

Instituição envia a listagem dos ingressantes e dos concluintes.

Ingressantes: Estudantes que tiverem cumprido, até a data inicial do período de inscrição, 7 a 22% (inclusive) da carga didática mínima do currículo do curso da IES.

Concluintes:Estudantes que tiverem cumprido, até a data inicial do período de inscrição pelo menos 80% da carga mínima do currículo do curso da IES.

SELEÇÃO DA AMOSTRA

Amostragem probabilística (ou aleatória) onde todos os elementos da população têm probabilidade conhecida e não nula de pertencer à amostra.

Quando um curso tem um número baixo de estudantes todos são incluídos.

Vantagem da amostragem

Permite que em um prazo menor de tempo um número maior de cursos seja submetido ao exame. No final de 2006 todas as áreas terão sido

submetidas ao exame, compreendendo a quase totalidade

de cursos.

Construção da prova - I 1. Entidades indicam os especialistas da área. 2. São formadas as Comissões Assessoras de Avaliação para cada

uma das áreas avaliadas (de acordo com critérios acadêmicos, região, organização acadêmica) com a tarefa de:

a) Definir os objetivos da prova da área tendo como referência o perfil do profissional;

b) Definir as diretrizes da prova de acordo com as habilidades e competências constantes das Diretrizes Curriculares Nacionais; c) Definir os conteúdos disciplinares da área que devem ser contemplados na prova;

d) Definir o perfil da comissão que elaborará a prova e o perfil do coordenador.

Construção da prova - II

3. Definir o formato da prova: número total de questões, distribuição de peso, composição das questões, número de questões por nível de dificuldade.

4. Os resultados de cada Comissão são enviados para a agência vencedora da licitação, para o preparo da prova, cujas questões são elaboradas por especialistas da área contratados por esta agência, com base nas diretrizes definidas pelas Comissões Assessoras do DEAES/INEP.

5. Dado o sigilo, apenas o presidente da banca que faz a prova tem contato com a Comissão Assessora de área. Este mostra modelos de questões que constarão do exame para aprovação da Comissão Assessora.

FOCO DO ENADE

Desempenho do estudante.

COMPETÊNCIA

A constatação da competência na academia pressupõe um conjunto de critérios referenciados no perfil do aluno que se quer formar, descrito no projeto pedagógico do estabelecimento de ensino. Esses critérios formam a base para o julgamento das competências dos alunos, analisadas em função de seu desempenho acadêmico.

INTENÇÃO

Aumentar o entendimento a respeito do estudante inserido em um contexto educacional específico.

Verificar se ocorrem mudanças que possam ser atribuídas à trajetória do estudante na IES (valor agregado).

MODELOS DO ENADE

EXAME

Modelo de avaliação dinâmica

ESTATÍSTICO

Modelo estatístico de análise de mudança

AVALIAÇÃO DINÂMICA DO POTENCIAL DE DOMÍNIO DA ÁREA

Missão da IES

Grade Curricular

Comunidade

Local

Projeto Político

Pedagógico

PDI

Gestores

EstudantesProfessores

Inse

rção

S

ocia

l

Crenças, atitudes e valores

Corpo Técnico-

Administrativo

1º ENADE 2º ENADE

ENEMVestibular

Potencial de Aprendizagem (ingressante)

(conjunto de conceitos e procedimentos

considerados essenciais para o domínio da área

Competências adquiridas a partir do

potencial inicial (expert – profissional)

(domínio do conjunto de conceitos e procedimentos

considerados centrais para o domínio da área)

Conjunto de avaliações e atividades desenvolvidas ao longo do curso

ANÁLISE DE MUDANÇA A passagem do estudante pela instituição produz

mudança e esta mudança não é apenas na quantidade de conhecimento mas também no domínio das tarefas específicas da área, na maneira como ele usa as diferentes competências que desenvolve e a capacidade para estender esta competência a novos domínios, sendo capaz de transferir significativamente os conteúdos, mostrando-se apto a atuar em diferentes contextos.

Mudança na abordagem da avaliação

Avaliação estática

Avaliação dinâmica

DIFICULDADE NO USO DA AVALIAÇÃO DINÂMICA

1. Não existe muita evidência empírica apresentada em artigos;

2. O detalhamento dos procedimentos utilizados em estudos deste tipo é insuficiente, dificultando a réplica dos mesmos; e,

3. o aspecto “novidade” pesa muito; sendo um construto não familiar, não se adapta aos modelos existentes e precisa buscar colher evidências de sua validade.

Vantagem do modelo de avaliação dinâmica

Diagnóstico. Permite correção e superação das dificuldades.

FORMATO DO ENADE

Análise de mudança Situação de teste – intervenção – reteste Avalia o processo e não o produto. O estado vai prover dois exames oficiais e

as IES podem complementar com avaliações intermediárias nos mesmos moldes do ENADE.

O QUE É AVALIADO?

O antigo modelo enfatizava a avaliação em “o que” e “quanto” o aluno aprendeu,

enquanto o ENADE busca o entendimento sobre “como” o aluno trabalha o conteúdo

aprendido. As questões do exame são elaboradas de forma a evidenciar o que o aluno é capaz de fazer com o conteúdo

aprendido.

Implicação do modelo

Como o modelo antigo era aplicado uma única vez ao final do curso, não permitia correção e superação das dificuldades do aluno avaliado

Através dos resultados obtidos pelos concluintes, pelos ingressantes, do questionário dos alunos e dos coordenadores é possível fazer correção e superação das dificuldades particulares do aluno e do curso.

MODELO ESTATÍSTICO DE ANÁLISE

Será usado o modelo multidimensional para aprendizagem e mudança. O antigo sistema (ENC) usava o o modelo baseado na Teoria

clássica das medidas e o uso de procedimentos canônicos.

RELATÓRIOS

Relatório do estudante Resumo técnico Relatório da instituição Relatório do curso Relatório do coordenador Relatório técnico-científico.

EXEMPLO

SIGNIFICADO DO ENADE

É um componente do SINAES, sem valor quando visto isoladamente. A análise

efetiva da mudança só ocorrerá quando os estudantes que realizaram o ENADE2004

como ingressantes, forem selecionados novamente e realizarem a prova como

concluintes.

Teorias de apoio ao modelo de avaliação dinâmica

Teoria da modificação cognitiva (Feuerstein e outros). Avaliação do potencial de aprendizagem (Budoff e

outros). Avaliação dinâmica do efeito acadêmico (Sternberg e

Grigorenko) (teoria triádica de inteligência) (inteligência para o sucesso).

Abordagem estrutural do domínio específico do conhecimento.

Análise de mudança (Embretson). Modelo multidimensional de Rasch para análise de aprendizagem e mudança.

O que pode ser melhorado?As IES podem aplicar dois ou três exames adicionais seguindo o mesmo padrão do

ENADE, formulando questões a partir dos temas considerados essenciais pelos

especialistas. Assim, poderá observar em intervalos mais curtos, as mudanças que

ocorrem no curso e com cada estudante em particular. A cada resultado, visto em conjunto

com o desempenho em cada disciplina, será possível medir a mudança.

Estudos longitudinais

Ao longo do tempo poderão ser comparados os progressos individuais e coletivos, agrupando estudantes de

uma mesma IES, do estado, da região e o total de alunos, ou ainda de acordo com outras variáveis que se queira

estudar.

Aluno

Curso

Instituição

Conjunto das IESO SINAES possibilita que diferentes momentos sejam focalizados.

Podemos imaginar uma câmera cujo zoom vai se fechando até completar a análise e depois vai se ampliando e incluindo todos os componentes do sistema.

".........o mais importante é a forma que a sociedade vai adquirindo lentamente, silenciosamente, anonimamente, nos hábitos, no modo de pensar e de fazer, na escala de valores

(Palomar)(Ítalo Calvino, 1923-1985).

OBRIGADA!

MÀRCIA REGINA F. DE BRITO

mbrito@inep.gov.br

marcia.dias@inep.gov.br