Avaliação do comportamento de alunos no Exame Nacional de

Desempenho de Estudantes (ENADE) por uma Comissão

Própria de Avaliação

Neide Aparecida de Souza Lehfeld1, Edilson Carlos Caritá1, Manoel Henrique

Cintra Gabarra1, Carlos Eduardo Saraiva Miranda1

1Comissão Própria de Avaliação – Universidade de Ribeirão Preto (UNAERP) Av. Costábile Romano, 2201 – 14.096-900 – Ribeirão Preto – SP – Brazil

{nlehfeld,ecarita,hgabarra,cmiranda}@unaerp.br

Abstract. The goal of this study is to present the methodologies and strategies

employed to evaluate the performance of students in the National Assessment

of Student Achievement (NASA) from the perspective of Self-Evaluation

Comitee (SEC). It is a study case which includes the processes evaluative

developed by the SEC of a private Higher Education Institution (HEI) in São

Paulo State countryside involving teachers of a healthcare course who

evaluated the students’ performance in ENADE 2013. It is concluded the

results obtained from the implemented processes will allow to both

institutional and course managers, as well as the faculty members to reduce

the observed shortcomings and also to enhance the positives aspects in order

to improve the teaching-learning process.

Resumo. O objetivo do estudo é apresentar as metodologias e estratégias

utilizadas para avaliar o desempenho dos alunos no Exame Nacional de

Desempenho de Estudantes (ENADE) sob a perspectiva de uma Comissão

Própria de Avaliação (CPA). Trata-se de um estudo de caso que contempla os

processos avaliativos desenvolvidos por uma CPA de uma Instituição de

Educação Superior (IES) privada do interior paulista com docentes de um

curso da área da saúde que analisaram o desempenho dos alunos no ENADE

2013. Conclui-se que os resultados obtidos por meio dos processos

implementados permitirão ao gestor institucional e do curso, assim como, aos

membros do corpo docente diminuir as fragilidades encontradas e

potencializar os pontos positivos visando melhorar o processo de ensino-

aprendizagem.

1. Introdução

Instituído pela Lei n° 10.861, de 14 de abril de 2004, o Sistema Nacional de Avaliação da Educação Superior (SINAES) é formado por três componentes principais: a avaliação das instituições, dos cursos e do desempenho dos estudantes. O SINAES avalia todos os aspectos que contemplam esses três eixos: o ensino, a pesquisa, a extensão, a responsabilidade social, o desempenho dos alunos, a gestão da instituição, o corpo docente, as instalações e diversos outros aspectos. Os resultados dessas avaliações possibilitam evidenciar um panorama da qualidade dos cursos e das Instituições de Educação Superior (IES) no País e devem ser usadas pelas IES para orientação da sua eficácia institucional e efetividade acadêmica e social; pelos órgãos governamentais para orientar políticas públicas e pelos estudantes, pais de alunos, instituições acadêmicas e público em geral, para orientar suas decisões quanto à realidade dos cursos e das instituições (BRASIL, 2016a).

Particularmente, o objeto desse estudo, o Exame Nacional de Desempenho de Estudantes (ENADE), tem como objetivo avaliar o desempenho dos alunos com relação aos conteúdos programáticos previstos nas diretrizes curriculares nacionais dos cursos de graduação, o desenvolvimento de competências e habilidades necessárias ao aprofundamento da formação geral e profissional, e o nível de atualização dos estudantes com relação à realidade brasileira e mundial (BRASIL, 2016b).

Ainda segundo Brasil (2016b), os resultados desse exame, aliados às respostas do Questionário do Estudante, constituem-se em insumos fundamentais para o cálculo dos indicadores de qualidade da educação superior: Conceito ENADE, Conceito Preliminar de Curso (CPC) e Índice Geral de Cursos Avaliados da Instituição (IGC), normatizados pela Portaria nº 40 de 2007, republicada em 2010. Esses indicadores mensuram a qualidade dos cursos e das instituições do país, sendo utilizados tanto para o desenvolvimento de políticas públicas da educação superior quanto como fonte de consultas pela sociedade.

Os resultados de qualquer avaliação interna ou externa referentes a uma IES devem ser acompanhados, analisados e discutidos por sua Comissão Própria de Avaliação (CPA), portanto, cabe a esse órgão institucional avaliar, juntamente com as coordenações dos cursos e membros da gestão institucional o desempenho dos alunos no ENADE.

Lehfeld et al. (2013) relatam que o trabalho de uma CPA, em sua atuação múltipla no âmbito institucional, deve trazer para a IES uma contribuição significativa e reconhecida pela comunidade acadêmica para o planejamento estratégico de ações, particularmente, na área de graduação em sua mais ampla concepção. Os resultados obtidos nos processos avaliativos devem ser base para o trabalho organizativo e pedagógico dos cursos de graduação.

Contemporaneamente, o ENADE é utilizado pelo Ministério da Educação (MEC) como instrumento para regulação e supervisão dos cursos superiores, assim, o desempenho insatisfatório do estudante nessa prova pode provocar medidas de saneamento no curso. Portanto, a avaliação dos resultados desse processo avaliativo é de extrema relevância para a adequação de possíveis incongruências no processo de ensino-

aprendizagem e auxiliar na elaboração de estratégias didático-pedagógicas que demonstrem para o aluno a importância do referido processo avaliativo, permitindo ainda, a potencialização dos pontos positivos e a minimização dos pontos negativos para a formação profissional.

O objetivo do estudo é apresentar as metodologias e estratégias utilizadas para avaliar o desempenho dos alunos no Exame Nacional de Desempenho de Estudantes (ENADE) sob a perspectiva de uma Comissão Própria de Avaliação (CPA).

2. Metodologia

Trata-se de um estudo de caso com abordagem quantiqualitativa, sendo apresentados dois processos avaliativos instituídos por uma CPA de uma IES privada do interior paulista para analisar o desempenho dos estudantes de um curso da área da saúde da referida instituição no ENADE de 2013.

Segundo Miguel (2012), estudo de caso é um estudo de caráter empírico que investiga um fenômeno contemporâneo no contexto da vida real. Este tipo de estudo pode auxiliar no desenvolvimento de novas teorias e aumentar o entendimento sobre eventos reais e atuais.

De acordo com Mascarenhas (2012), por sua vez, o estudo de caso é uma pesquisa bem detalhada sobre um ou poucos objetos, em que a ideia é refletir sobre um conjunto de dados para descrever com profundidade o objeto de estudo, sendo que a principal vantagem do estudo de caso é entender muito bem o contexto analisado.

Os processos avaliativos instituídos pela CPA foram desenvolvidos com os membros do corpo docente de um curso da área da saúde da IES deste estudo de caso, visando compreender os resultados obtidos pelos alunos na prova do ENADE de 2013 quando obtiveram conceito 2, pois vinham alcançando, regularmente, conceito 4 nessa prova.

O primeiro processo foi a análise do relatório do curso disponibilizado no portal do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – INEP/MEC e resume os principais resultados do curso (http://enadeies.inep.gov.br/enadeIes/enadeResultado/). Esses dados permitem a elaboração de importantes análises que contribuem para a compreensão do desempenho dos alunos e que também possibilitam a identificação de elementos que podem contribuir para melhorar o processo de ensino-aprendizagem e a formação do aluno. Assim, os resultados foram convertidos em gráficos e analisados em conjunto com o Núcleo Docente Estruturante (NDE) do curso. Posteriormente, foram realizadas as análises descritas a seguir:

• Percentual de acertos por questão

O percentual de acertos em cada questão de Formação Geral e de Conhecimento Específico dos alunos do curso foi organizado em ordem decrescente comparando-o à média de porcentagem de acertos dos alunos do curso em todo o Brasil. Dessa forma, foi possível identificar questões em que o desempenho dos alunos do curso se destacou do desempenho médio no país, sendo possível também identificar as questões nas quais os alunos tiveram maior dificuldade de resolução e verificar, pontualmente, a forma e o conteúdo abordado no curso referente essas questões.

• Percentual de acertos por área de conhecimento

O NDE do Curso identificou em cada questão da prova, quais áreas de conhecimento estavam envolvidas e as respectivas disciplinas que abordavam essas áreas. As médias das porcentagens de acerto das questões nas respectivas áreas foram plotadas em gráficos, juntamente, com a média nacional nessas áreas. Portanto, foram identificadas as áreas em que o desempenho dos alunos do curso se destacaram positiva ou negativamente em relação à média nacional, possibilitando ações efetivas sobre a respectiva área.

• Porcentual de acertos a cada alternativa de cada questão

A tabela que apresenta a distribuição das respostas dos concluintes em relação às alternativas de cada uma das questões objetivas do componente Formação Geral e Componente Específico foi devidamente analisada. Quando a porcentagem de escolha de uma alternativa incorreta era superior a 30%, essa questão e a alternativa eram submetidas à avaliação do NDE e dos professores das disciplinas envolvidas para que pudessem analisar de forma mais profunda a questão e as alternativas de resposta, com o objetivo de identificar possíveis causas dessa escolha.

As respostas referentes às percepções sobre a prova (incluídas no final do caderno de prova do aluno) também foram apresentadas em gráficos os quais foi incluída a média das respostas de todos os estudantes participantes da prova. Analisando-se esses gráficos, é possível perceber quais os aspectos são semelhantes e quais são as diferenças de percepção dos alunos do curso em relação à média nacional da área.

O Relatório de Curso inclui também as respostas dos alunos ao Questionário do Estudante, de preenchimento obrigatório e anterior à prova. As respostas a cada questão (questões 27 a 68) foram plotadas em gráficos que permitiram conhecer de maneira mais detalhada a percepção dos alunos concluintes sobre a instituição e o curso que frequentaram. É importante destacar que a IES desse estudo de caso realiza regularmente processo de Avaliação Docente, Avaliação de Curso e Avaliação Institucional. Muitas dessas percepções já são conhecidas da IES, que atua no sentido de atender aos aspectos que considera pertinentes.

O segundo processo de análise consistiu em entrevistas caracterizadas por Yin (2016) como qualitativas, com os membros do corpo docente do curso que ocorreram no período de 13 a 19 de novembro de 2014. Essas entrevistas foram realizadas individualmente por dois membros da CPA e pela coordenadora de graduação. Os professores deveriam comentar discursivamente sobre a questão “Em sua opinião, o que poderia ter contribuído para a nota do ENADE 2013 obtida pelo Curso?”.

Segundo Yin (2016), em pesquisas qualitativas não há um questionário contendo a lista completa das perguntas a serem propostas a um participante; um pesquisador qualitativo não tenta adotar um comportamento ou conduta uniforme para todas as entrevistas, assim, a entrevista qualitativa segue um modo conversacional, e a entrevista em si levará a uma espécie de relacionamento social, com a qualidade da relação individualizada para todo participante. Portanto, o modo conversacional das entrevistas qualitativas assemelha-se ao conversar que é parte natural das comunicações faladas rotineiras de todas as pessoas.

As entrevistas foram agendadas de acordo com a disponibilidade de horário de cada docente e dos membros da CPA ou da coordenadora dos cursos de graduação.

Inicialmente, era questionado ao docente se ele já tinha ciência do resultado do desempenho dos alunos do curso no ENADE 2013, bem como, explicado o objetivo da entrevista e a proposta da referida avaliação com o corpo docente do curso.

Na sequência, o entrevistador colocava para o docente do curso a questão chave e o mesmo discursava sobre ela. Quando necessário, o entrevistador fazia considerações sobre a fala do entrevistado para que o mesmo pudesse confirmar o que de fato queria expressar.

Os depoimentos foram transcritos pelo membro da CPA ou pela coordenadora de graduação, lidos e confirmados pelo docente entrevistado no encerramento da entrevista. A consolidação das entrevistas resultou em 199 comentários, que passaram então por análise quantiqualitativa.

Para a análise, utilizou-se a metodologia descrita por Freire (1990) e complementada por vários outros autores como Brandão (1985), Demo (2001) e Bardin (2008). Assim, após a leitura dos apontamentos colocados pelos entrevistados, foram feitas as categorizações das respostas e, posteriormente, o agrupamento em temas geradores.

Os resultados categorizados, agrupados em temas geradores e sumarizados foram apresentados em gráficos do tipo radar e pizza elaborados com o software Excel 2013 da empresa Microsoft Corporation.

3. Resultados

No Quadro 1 é apresentado o resultado da avaliação do relatório do curso, considerando-se a distribuição das respostas dos concluintes em cada alternativa das questões objetivas no Componente de Conhecimento Específico. A análise contempla a IES, a categoria administrativa (pública ou privada), a organização acadêmica (faculdades, centros universitários ou universidades), a grande região e o Brasil.

No Quadro 2 consta a média e o desvio padrão dos concluintes nas questões discursivas no Componente de Formação Geral.

De acordo com a metodologia escolhida para análise dos resultados, as categorias definidas foram: contexto pedagógico, gestão do curso, comprometimento do aluno, dificuldades da infraestrutura para o curso para o desenvolvimento do projeto pedagógico e sugestões e comentários gerais. Na sequência, essa categorização foi quantificada, resumida em tabelas e apresentada em gráficos.

A quantificação dos comentários nas categorias estabelecidas indica, de maneira geral que, a Falta de Comprometimento dos Alunos (58 comentários) e o Contexto Pedagógico (57 comentários), foram os principais fatores responsáveis pelo baixo desempenho dos alunos na prova do ENADE. As demais categorias receberam poucas referências dos professores: Gestão (11 comentários) e Infraestrutura (5 comentários). Ressalta-se o grande número de sugestões objetivando melhorias nesses aspectos do curso: 68 comentários. Nos Gráficos 3 e 4 são apresentadas a quantidade e a distribuição de comentários por categoria de análise.

Quadro 1: Distribuição das respostas dos concluintes em cada alternativa das questões objetivas no Componente de Conhecimento Específico.

Quadro 2: Média e desvio padrão dos concluintes nas questões discursivas no Componente de Formação Geral.

Nos Gráficos 1 e 2 são apresentados exemplos de gráficos que foram gerados considerando-se a análise do relatório do curso.

0

10

20

30

40

50

60

70

80

90

100

Sim, todos. Sim, a maioria. Apenas cerca da metade. Poucos. Não, nenhum.

Po

rce

nta

ge

m d

e R

esp

ost

as

Clareza dos Enunciados

Componente Específico - Clareza dos Enunciados

Inst. Brasil

Gráfico 1: Comparação entre a média dos alunos do Curso e a média nacional quanto a clareza dos enunciados das questões da prova

0

10

20

30

40

50

60

70

80

90

100

Entre uma e duas horas. Entre duas e três horas. Entre três e quatro horas. Quatro horas e não consegui

terminar.

Po

rce

nta

ge

m d

e R

esp

ost

as

Quanto ao Tempo para Concluir a Prova

Quanto ao Tempo Gasto para Concluir a Prova

Inst. Brasil

Gráfico 2: Comparação entre a média dos alunos do Curso e a média nacional quanto ao tempo gasto para concluir a prova

Gráfico 3: Quantidade de comentários por categoria

Gráfico 4: Distribuição dos comentários por categoria

A constituição dessas categorias é apresentada a seguir:

• Comprometimento dos Alunos

Nessa categoria, destaca-se o comportamento dos alunos descrito como falta de compromisso com a própria formação profissional, particularmente, em relação às disciplinas teóricas. Avaliou-se o grau de comprometimento que o aluno demonstrou em relação ao próprio ENADE e ao processo de formação.

• Contexto Pedagógico

Refere-se aos recursos oferecidos pelo curso para o processo de ensino-aprendizagem do aluno em termos de conteúdos programáticos, matriz curricular, carga horária e avaliação da aprendizagem.

Nessa categoria foram consideradas a composição das disciplinas em termos de aulas teóricas e práticas, bem como o processo de avaliação do processo de ensino–aprendizagem. Destaca-se o menor número de aulas teóricas em relação às aulas práticas de uma mesma disciplina, e o menor peso da nota da prova teórica em relação à nota da prova prática. Essa situação possibilita ao aluno ausentar-se em todas as aulas teóricas, obter avaliação baixa na prova teórica e, ainda assim, ser aprovado na disciplina em decorrência da presença e maior nota nas avaliações práticas. Ressalta-se que a prova do ENADE é uma prova teórica, mesmo que a constituição das questões aborde casos clínicos.

Outro aspecto enfatizado pelos docentes é o estilo de prova do ENADE, com questões longas e exigentes em termos de interpretação. Segundo os relatos, as provas aplicadas no curso não seguem esse padrão. Mesmo preparando bem o aluno para o exercício da profissão, o curso não o prepara para realizar esse tipo de prova.

• Gestão

Refere-se às ações de gestão em geral, no sentido de buscar maior integração dos alunos com o curso e docentes, e também às estratégias para realização do ENADE, em termos de preparação para a prova. Os comentários dessa categoria foram manifestados de forma genérica e diversa por sete dos trinta docentes.

• Infraestrutura

Essa categoria agrupou comentários de três docentes que associaram a reforma da clínica a uma situação pontual de descontentamento dos alunos dessa turma. Esse contexto, na visão desses docentes, pode ter influenciado negativamente no empenho dos alunos na prova.

• Sugestões

Agrupa muitas sugestões de caráter diverso, buscando solucionar as questões colocadas nas demais categorias. As sugestões não foram agrupadas em subcategorias e devem ser analisadas individualmente.

4. Considerações Finais

A análise do relatório do curso pela CPA e NDE passou a ser um processo institucional para todos os cursos, portanto, após a liberação do relatório do curso pelo INEP/MEC, o coordenador do curso, a CPA e o NDE elaboram um relatório circunstanciado sobre o desempenho do aluno na prova do ENADE com base nesse instrumento.

Em relação às entrevistadas com os docentes realizadas especificamente nesse estudo de caso, pode-se ressaltar que a quantificação dos comentários nas categorias estabelecidas indica que, de maneira geral, que provavelmente a falta de comprometimento dos alunos com seu próprio aprendizado e, particularmente, com a prova do ENADE e o contexto pedagógico que, em alguns aspectos, favorece essa mesma atitude em relação à formação teórica contribuíram para o desempenho insatisfatório dos alunos no ENADE. Dessa forma, verificou-se que é necessário dar uma atenção especial aos aspectos apontados, buscando soluções que, em parte, foram abordadas nas sugestões dos docentes.

As sugestões e os comentários gerais visando melhorias no curso também foram realizados em quantidade considerável e devem ser analisados atentamente buscando-se avaliar sua pertinência, factibilidade e possível eficácia.

Portanto, pode-se concluir que os processos instituídos pela CPA para a avaliação do comportamento de alunos no ENADE podem ser considerados um arquétipo e podem ser utilizados em outros cursos da IES que, porventura, tenham desempenho insatisfatório no ENADE. Além disso, os resultados obtidos por meio dos processos implementados permitem ao gestor institucional e do curso e aos membros do corpo docente diminuir as fragilidades encontradas e potencializar os pontos positivos visando melhorar o processo de ensino-aprendizagem.

5. Referências

Bardin, L. (1977). Análise de conteúdo. 5ª ed. rev. e atual. Lisboa: Edições 70.

Brandão, C. R. (1985). Repensando a Pesquisa Participante. São Paulo: Brasiliense.

Brasil. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. (2016a). “Sinaes”. Disponível em: <http://portal.inep.gov.br/superior-sinaes>. Acessado em 29/04/2016.

_____. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. (2016b). “Exame Nacional de Desempenho de Estudantes - ENADE”. Disponível em: <http://portal.inep.gov.br/web/guest/enade>. Acessado em 29/04/2016.

Demo, P. (2001). Pesquisa e Informação Qualitativa. Campinas: Papirus.

Freire, P. (1990). “Criando métodos de pesquisa alternativa: aprendendo a fazê-la melhor através da ação”. In: BRANDÃO, C. R. Pesquisa participante. São Paulo: Brasiliense, p. 34-37.

Lehfeld, N. A. S., Caritá, E. C., Gabarra, M. H. C., Souza, Y. T. C. S. (2013) “Experiências Estratégicas da Comissão Própria de Avaliação da Universidade de Ribeirão Preto”, Seminários Regionais sobre Autoavaliação Institucional e

Comissões Próprias de Avaliação (CPA). Disponível em: <http://download.inep.gov.br/educacao_superior/avaliacao_institucional/seminarios_regionais/trabalhos_regiao/2013/sudeste/eixo_1/experiencias_estrategicas_comissao_propria_avaliacao_uni_ribeirao_preto.pdf>. Acesso em: 01/05/2016.

Mascarenhas, S. A. (2012). “Metodologia Científica”. São Paulo: Pearson Education do Brasil.

Miguel, P. A. C. (2012). “Metodologia de Pesquisa em Engenharia de Produção e Gestão de Operações”. 2ª ed. Rio de Janeiro: Elsevier: ABEPRO.

Yin, R. K. (2016). Pesquisa Qualitativa do Início ao Fim. Porto Alegre: Penso.