ENADE: BRINCADEIRA QUE O MEC LEVA A SÉRIO1

Celso da Costa Frauches2

A Lei nº 10.861, de 14 de abril de 20043 (DOU nº 72, 15/4/2004, Seção 1, p. 4/5), que institui o Sistema Nacional de Avaliação da Educação Superior, o Sinaes, criou, em substituição ao Exame Nacional de Cursos (ENC) ou provão, o Exame Nacional de Desempenho dos Estudantes – Enade. As regras para a oferta desse Exame estão contidas no art. 5º da referida lei, transcrito a seguir:

Art. 5º A avaliação do desempenho dos estudantes dos cursos de graduação será realizada mediante aplicação do Exame Nacional de Desempenho dos Estudantes – ENADE.

§ 1º O ENADE aferirá o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, suas habilidades para ajustamento às exigências decorrentes da evolução do conhecimento e suas competências para compreender temas exteriores ao âmbito específico de sua profissão, ligados à realidade brasileira e mundial e a outras áreas do conhecimento.

§ 2º O ENADE será aplicado periodicamente, admitida a utilização de procedimentos amostrais, aos alunos de todos os cursos de graduação, ao final do primeiro e do último ano de curso.

§ 3º A periodicidade máxima de aplicação do ENADE aos estudantes de cada curso de graduação será trienal.

§ 4º A aplicação do ENADE será acompanhada de instrumento destinado a levantar o perfil dos estudantes, relevante para a compreensão de seus resultados.

§ 5º O ENADE é componente curricular obrigatório dos cursos de graduação, sendo inscrita no histórico escolar do estudante somente a sua situação regular com relação a essa obrigação, atestada pela sua efetiva participação ou, quando for o caso, dispensa oficial pelo Ministério da Educação, na forma estabelecida em regulamento.

§ 6º Será responsabilidade do dirigente da instituição de educação superior a inscrição junto ao Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – INEP de todos os alunos habilitados à participação no ENADE.

§ 7º A não-inscrição de alunos habilitados para participação no ENADE, nos prazos estipulados pelo INEP, sujeitará a instituição à aplicação das sanções previstas no § 2º do art. 10, sem prejuízo do disposto no art. 12 desta Lei.

§ 8º A avaliação do desempenho dos alunos de cada curso no ENADE será expressa por meio de conceitos, ordenados em uma escala com 5 (cinco) níveis, tomando por base padrões mínimos estabelecidos por especialistas das diferentes áreas do conhecimento.

§ 9º Na divulgação dos resultados da avaliação é vedada a identificação nominal do resultado individual obtido pelo aluno examinado, que será a ele exclusivamente fornecido em documento específico, emitido pelo INEP.

1 Publicado em http://www.ilape.edu.br 2 Consultor sênior do Ilape (Instituto Latino-Americano de Planejamento Educacional) e da Abmes (Associação Brasileira de Mantenedores de Ensino Superior). 3 Transformação da Medida Provisória nº 147/2003.

§ 10. Aos estudantes de melhor desempenho no ENADE o Ministério da Educação concederá estímulo, na forma de bolsa de estudos, ou auxílio específico, ou ainda alguma outra forma de distinção com objetivo similar, destinado a favorecer a excelência e a continuidade dos estudos, em nível de graduação ou de pós-graduação, conforme estabelecido em regulamento.

§ 11. A introdução do ENADE, como um dos procedimentos de avaliação do SINAES, será efetuada gradativamente, cabendo ao Ministro de Estado da Educação determinar anualmente os cursos de graduação a cujos estudantes será aplicado. (grifei)

A Portaria nº 2.051, de 9 de julho de 2004 (DOU nº 132, Seção 1, 12/7/2004, p. 12), que regulamenta os procedimentos de avaliação do Sinaes, diz que “os resultados do ENADE serão expressos numa escala de cinco níveis e divulgados aos estudantes que integraram as amostras selecionadas em cada curso, às IES participantes, aos órgãos de regulação e à sociedade em geral, passando a integrar o conjunto das dimensões avaliadas quando da avaliação dos cursos de graduação e dos processos de auto-avaliação” (§1º, art. 29).

A Portaria INEP nº 107, de 22 de julho de 2004 (DOU nº 141, Seção 1, 23/7/2004, p. 24), que regulamenta o Enade, estabelece, entre outros critérios, que:

a) o Exame será anual, mas o mesmo curso será avaliado de três em três anos;

b) estarão habilitados os estudantes que tiverem concluído, até a data inicial do período de inscrição (fixada anualmente), os ingressantes entre 7% a 22% (inclusive) da carga horária mínima do currículo do curso da IES4 e os concluintes com, pelo menos, 80% da carga horária mínima do currículo do curso ou todo estudante na condição de possível concluinte no ano da realização do Exame;

c) os resultados do Enade serão expressos numa escala de cinco níveis, passando a integrar o conjunto das dimensões avaliadas quando da avaliação dos cursos de graduação para fins de alcance dos objetivos do Sinaes.

Para o correto entendimento do significado do Enade no Sistema Nacional de Avaliação da Educação Superior destaco, em seguida, os grifos que fiz aos diversos parágrafos do transcrito art. 5º:

a) o Enade será aplicado trienalmente para o mesmo curso, admitida a utilização de procedimentos amostrais;

b) a situação regular ao aluno perante o Enade é inscrita no histórico escolar;

c) a avaliação do desempenho dos alunos de cada curso no Enade será expressa por meio de conceito ordenado em uma escala com cinco níveis;

4 Instituição de ensino superior.

d) o Enade é um dos procedimentos de avaliação do Sinaes integrando o

conjunto das dimensões avaliadas quando da avaliação dos cursos de graduação pelo Sinaes.

Os “procedimentos amostrais” são traduzidos como a aplicação do Exame somente a um grupo de alunos selecionados, por sorteio, entre os ingressantes do curso, com 7% a 22% (inclusive) da carga horária mínima do currículo, e os concluintes com, pelo menos, 80% da mesma carga horária ou todo estudante na condição de possível concluinte no ano da realização do Exame.

Aqui, o primeiro ponto fraco do Enade em relação ao provão: a avaliação por amostragem; o provão era aplicado para todos os alunos do curso. A segunda fraqueza é a periodicidade: o provão era ofertado anualmente para os cursos selecionados; o Enade é trienal.

A avaliação trienal e, pior, por amostragem, não permite um acompanhamento do desempenho real do estudante ao longo de sua trajetória no curso, desde o ingresso até a conclusão. Para uma pesquisa de índice de satisfação do estudante em relação ao curso e à IES a amostragem seria adequada, mas, não para a avaliação do desempenho do estudante. E, por intermédio dessa avaliação, pretender avaliar a qualidade de oferta do curso pela IES, como alardeia os executivos do ministério da Educação em suas comunicações após a divulgação dos resultados do Enade.

Outro ponto fraco do Enade é a falta de responsabilidade do aluno com o seu desempenho no Exame. Nesse ponto, provão e Enade são igualmente inconseqüentes. O único compromisso do aluno sorteado para realizar o Enade é o seu comparecimento. O desempenho discente negativo – não precisa responder a nenhuma questão –, incluindo “zero”, é utilizado apenas para penalizar o curso e a IES. A situação regular do aluno perante o Enade é somente o registro de sua presença, que burocraticamente deve ser “inscrita no histórico escolar”. Em contrapartida, a IES é obrigada a assinar um “termo de saneamento de deficiências”.

A avaliação do desempenho dos alunos no Enade será expressa por meio de conceito ordenado em uma escala com cinco níveis. É o que diz expressamente o § 8º ao art. 5º da Lei nº 10.861, de 2004: “a avaliação do desempenho dos alunos de cada curso no ENADE será expressa por meio de conceitos, ordenados em uma escala com 5 (cinco) níveis, tomando por base padrões mínimos estabelecidos por especialistas das diferentes áreas do conhecimento”. É o Conceito Enade, que varia de um a cinco, sendo esta a nota mais elevada. De três a cinco o curso tem avaliação positiva. Abaixo de três a avaliação é negativa e tem conduzido algumas IES a serem obrigadas a firmar com o MEC o referido “termo”.

O Conceito Enade resulta da média ponderada das notas padronizadas dos iniciantes e dos concluintes, levando em consideração os resultados nas questões de formação geral e de conteúdos específicos, com peso maior na ponderação dos resultados dos concluintes.

Sem qualquer alteração na lei do Sinaes, o Inep introduziu outro indicador, o IDD – Indicador de Diferença entre os Desempenhos Observado e Esperado –, a ser

atribuído também em uma escala de um a cinco. Como não está expresso em lei, recorri ao portal do Inep e aos relatórios de cursos que participaram do Enade/2006. Acessando o portal do Inep5 encontrei as seguintes definições para o conceito IDD, referente ao Enade:

O Indicador de Diferença Entre os Desempenhos Observado e Esperado (IDD) tem o propósito de trazer às instituições informações comparativas dos desempenhos de seus estudantes concluintes em relação aos resultados obtidos, em média, pelas demais instituições cujos perfis de seus estudantes ingressantes são semelhantes. Entende-se que essas informações são boas aproximações do que seria considerado efeito do curso.

O IDD é a diferença entre o desempenho médio do concluinte de um curso e o desempenho médio estimado para os concluintes desse mesmo curso e representa, portanto, quanto cada curso se destaca da média, podendo ficar acima ou abaixo do que seria esperado para ele baseando-se no perfil de seus estudantes.

Essas definições, que são confusas, podem indicar que o conceito IDD é fruto de duas “fontes”:

a) o desempenho dos concluintes do curso em relação aos resultados obtidos, em média, pelas demais instituições cujos perfis de seus estudantes ingressantes são semelhantes (ofertam o mesmo curso?); e

b) a diferença entre o desempenho médio do concluinte de um curso e o desempenho médio estimado para os concluintes desse mesmo curso (da mesma IES ou das “demais instituições cujos perfis de seus estudantes ingressantes são semelhantes”?).

No Relatório de Curso (Enade/2006), todavia, o significado desse indicador tem a definição idêntica à do segundo parágrafo acima transcrito:

O IDD é a diferença entre o desempenho médio do concluinte de um curso e o desempenho médio estimado para os concluintes desse mesmo curso e representa, portanto, quanto cada curso se destaca da média, podendo ficar acima ou abaixo do que seria esperado para ele, considerando o perfil de seus estudantes.

Por essas diversas definições, talvez o IDD possa ser definido como a diferença entre o desempenho médio do concluinte de um curso e o desempenho médio estimado para os concluintes desse mesmo curso, a partir do desempenho dos ingressantes. Representa, assim, quanto cada curso se destaca da média, podendo ficar acima ou abaixo do que seria esperado para ele baseando-se no perfil de seus estudantes. O IDD varia entre -3 e +3, sendo o desvio padrão sua unidade de medida. O IDD Conceito é uma transformação do IDD em conceitos de um a cinco.

Ou seja, o Conceito IDD maior que três significa que o curso avaliado supera o resultado médio que se espera dele; o IDD menor que três, que os resultados estão aquém do que se esperava daquele curso. Assim, conceito IDD 3 deve significar que o

5 http://www.inep.gov.br/superior/enade/perguntas_frequentes.htm – acessado em 29/5/2008.

curso é tão bom ou ruim quanto se espera dele; conceitos IDD 4 e 5 que o curso é melhor do que se espera; e conceito IDD 2 e 1 que é pior.

Essa situação leva à conclusão de que uma IES que, diante do desempenho fraco de seus alunos no Enade, implemente políticas de aperfeiçoamento em seus processos seletivos de acesso à graduação e/ou de nivelamento será punida: os concluintes ainda têm um desempenho negativo, porque selecionados em processo mais aberto, e os ingressantes melhor desempenho, porque melhor selecionados e/ou objeto de processos de nivelamento. Para que conceito IDD tenha seriedade e validade, o Enade deverá ser ofertado anualmente, para todos os cursos. A periodicidade trienal é frágil e poderá elevar para nove anos uma série histórica confiável para a avaliação séria do curso.

O conceito IDD não é atribuído nas seguintes situações: a) menos de 11 ingressantes; b) menos de 11 concluintes ou sem concluintes; c) nota zero (boicote).

De acordo com a Lei do Sinaes o Enade é parte integrante de uma avaliação mais ampla, a qual contempla também a avaliação do curso e da instituição como um todo. Assim, a avaliação dos cursos de graduação somente pode ser concluída com a combinação dos seguintes conceitos, obtidos no Enade e na avaliação in loco dos cursos, com a adoção de instrumentos aprovados pelo MEC e inseridos nos ciclos avaliativos do Sinaes:

1. Conceito ENADE – padronizado de 1 a 5; e

2. Conceito Curso – padronizado de 1 a 5.

O dr. Dilvo Ristoff, em artigo publicado na Revista Brasileira de Pós-Graduação6, em parceria com o dr. Giolo Jaime, quando ocupavam, respectivamente, os cargos de diretor de Estatística e Avaliação da Educação Superior e de coordenador geral de Avaliação Institucional e de Cursos do Inep, afirmam que o Enade, ao contrário do provão, “por si só não tem implicações regulatórias, ou seja, o resultado do desempenho dos estudantes na prova não é considerado igual à qualidade do curso e, portanto, não é suficiente para reconhecer ou deixar de reconhecer um curso”. Dizem mais: “o Enade é um dos instrumentos de avaliação e informação do Sinaes. Ele faz parte, portanto, de um sistema que busca avaliar cursos e instituições e que, para fazê-lo, utiliza-se também, mas não só, das informações geradas pelos estudantes”. E categoricamente afirmam: “O Enade não é, convém repetir, a avaliação do curso”. É bom lembrar que Dilvo Ristoff participou ativamente da elaboração do projeto do Sinaes, em todas as suas fases, incluindo a implementação. (grifei)

A avaliação consistente e séria dos cursos de graduação, com a conseqüente atribuição de conceitos para divulgação à sociedade, somente pode ser considerada

6 R B P G, Brasília, v. 3, n. 6, O Sinaes como sistema, p. 208, 210 e 211, dez. 2006

http://www2.capes.gov.br/rbpg/portal/conteudo/Est_Artigo2_n6.pdf - acessado em 29/5/2008.

em uma série histórica de, pelo menos, três avaliações pelo Enade e por comissões do Inep. Para tanto, o Enade deve ser realizado anualmente, com a participação de todos os alunos do curso e com a obrigatoriedade da nota do aluno ser inscrita no histórico escolar. E o ministério da Educação não deve divulgar, isoladamente, os conceitos do Enade e IDD, sem a necessária avaliação sistemática in loco, esta periódica, de acordo com o ciclo avaliativo do Sinaes.

Enquanto o ministério da Educação continuar a realizar o Enade da forma que o vem fazendo, desde 2004, sem a transparência e a seriedade que esse tipo de avaliação envolve, sou obrigado a considerar que o Enade é uma brincadeira que o MEC leva a sério, relegando a segundo plano instrumentos e procedimentos mais adequados à melhoria da qualidade da educação superior e dando prioridade ao marketing ministerial de presença na mídia com freqüência, para ameaçar os cursos e as IES, com desempenho fraco, de fechamento, intervenção, termos de “saneamento de deficiências” e outras bravatas.

O Enade deveria passar por uma avaliação externa, com auditores-consultores conceituados, preferencialmente, de organizações internacionais ou de países com tradição nesse tipo de avaliação, para que a continuidade de sua oferta e conseqüente permanência como um dos instrumentos de avaliação de curso, pelo Sinaes, possa ser respeitada pela comunidade acadêmico-científica das IES brasileiras. É um desafio para as entidades que congregam os diversos tipos de IES, públicas ou mantidas pela livre iniciativa.

▲