Avaliando os resultados de aprendizado no ensino - UFMG · (Inep) é o órgão ministerial responsável pelo desenvolvimento e aplicação do Enade. Embora o foco deste artigo seja

10282015 Avaliando os resultados de aprendizado no ensino superior brasileiro - Ensino Superior Unicamp

httpswwwrevistaensinosuperiorgrunicampbrartigosavaliando-os-resultados-de-aprendizado-no-ensino-superior-brasileiro 111

home artigos entrevistas International Higher Education livros notas reportagens ediccedilotildees anteriores

Tweet

Renato Hyuda de Luna PedrosaProfessor associado do Departamento de Poliacutetica Cientiacutefica e Tecnoloacutegica (Instituto de Geociecircncias Unicamp) tem se dedicado ao estudo de poliacuteticas relacionadas agrave Educaccedilatildeo Superior incluindo temassobre transiccedilatildeo do ensino meacutedio agrave ES e equidade no acesso incluindo accedilotildees afirmativas sistemas deavaliaccedilatildeo (EnemSinaesEnade) o impacto da educaccedilatildeo sobre o desenvolvimento econocircmicoqualidade da formaccedilatildeo para as aacuteeas CTEM (ciecircncias tecnologias engenharias e matemaacutetica)governanccedila e diversidade institucional da ES Engenheiro Eletrocircnico pelo Instituto Tecnoloacutegico deAeronaacuteutica (1978) mestre em Matemaacutetica pela Unicamp (1981) na aacuterea de Teoria de Conjuntos e PhDem Matemaacutetica pela Universidade da Califoacuternia shy Berkeley (1988) na aacuterea de Geometria Diferencial Eacutemembro do Conselho Editorial da revista Ensino Superior

Eliana Martorano AmaralConcluiu o mestrado (1992) doutorado em Tocoginecologia (1996) e livreshydocecircncia (2006) na Unicamponde eacute professora titular de Obstetriacutecia Fez poacutesshydoutorado na London School of Hygiene and TropicalMedicine em 2001shy2 em Pesquisa Aplicada agrave Sauacutede Sexual e Reprodutiva com o tema da morbidadematerna grave Fez programa de especializaccedilatildeo para pesquisa em ensino meacutedico na Foundation forAdvancement of Medical Education and Research na Filadeacutelfia em 2003shy4 Coordenou a Comissatildeo deAvaliaccedilatildeo Profissional de 2008 a 2012 e eacute membro da Comissatildeo de Ensino e Avaliaccedilatildeo da FederaccedilatildeoBrasileira de Ginecologia e Obstetriacutecia Eacute membro do Comitecirc Assessor em DST do Ministeacuterio da Sauacutedee consultora do Programa da Mulher da Secretaria de Sauacutede do Estado de Satildeo Paulo

Marcelo KnobelBacharel em Fiacutesica (1989) e doutor em ciecircncias (1992) pela Unicamp tendo realizado poacutesshydoutoramento no Istituto Elettrotecnico Nazionale Galileo Ferraris Turim Itaacutelia e no Instituto deMagnetismo Aplicado Madri Espanha Professor titular do Instituto de Fiacutesica Gleb Wataghin desde1995 do Departamento de Fiacutesica da Mateacuteria Condensada atuando na investigaccedilatildeo experimental demateriais magneacuteticos nanoestruturados Foi proacuteshyreitor de graduaccedilatildeo da Unicamp de 2009 a 2013sendo responsaacutevel entre outras accedilotildees pela implantaccedilatildeo do Programa Interdisciplinar de EducaccedilatildeoSuperior (ProFIS) que alia inclusatildeo social com formaccedilatildeo geral Membro (notoacuterio saber) da ComissatildeoNacional de Avaliaccedilatildeo da Educaccedilatildeo Superior (Conaes) Editorshychefe da Revista Ciecircncia amp Cultura daSociedade Brasileira para o Progresso da Ciecircncia (SBPC) e membro do Conselho Editorial da revistaEnsino Superior Em 2010 foi laureado Comendador da Ordem do Meacuterito Cientiacutefico pela Presidecircncia daRepuacuteblica

14032014

revista Ensino Superior nordm 12 (janeiroshymarccedilo)

Avaliando os resultados de aprendizado no ensinosuperior brasileiroEste artigo foi publicado originalmente no perioacutedico Higher Education Management andPolicy Vol 242 OECD (2013) sob o tiacutetulo ldquoAssessing higher education learningoutcomes in Brazilrdquo

IntroduccedilatildeoNo amplo contexto da expansatildeo doensino superior (ES) em todo o mundo aavaliaccedilatildeo da qualidade ndash dos sistemasnacionais das instituiccedilotildees isoladamenteconsideradas e dos programas degraduaccedilatildeo e poacutesshygraduaccedilatildeo ndash tornoushyseum dos grandes temas nos debatesenvolvendo poliacuteticas para o setor terciaacuteriode ensino Como muitos sistemasnacionais de ES estatildeo passando por umintenso ciclo de expansatildeo (algo que

costuma envolver provedores de ensino natildeo tradicionais que natildeo satildeo controladosdiretamente por agecircncias puacuteblicas como empresas privadas e organizaccedilotildees com finslucrativos muitas delas empregando de maneira intensiva as tecnologias de ensino adistacircncia) a avaliaccedilatildeo e o controle de qualidade tornaramshyse cada vez mais importantesAs demandas por responsabilidade e transparecircncia vatildeo aleacutem dos tradicionaisprocedimentos de credenciamento que foram desenvolvidos por agecircncias independentesou governamentais tipicamente envolvendo um relatoacuterio de autoavaliaccedilatildeo por parte dasinstituiccedilotildees ou programas aleacutem de uma visita oficial agraves instalaccedilotildees por parte de umacomissatildeo de especialistas A nova tendecircncia eacute utilizar os resultados de aprendizagemdos estudantes para avaliar os programas de ensino superior e as instituiccedilotildees queoferecem esse serviccedilo

artigos22102015 | Sistema universitaacuterio de assistecircnciasocial eacute maacutequina de enxugar gelo

11082015 | Estrutura e teto salarial impostos sobreas universidades impedem atraccedilatildeo de jovenstalentos

05082015 | Instituto de Artes da Unicamp lanccedilaneste semestre sua primeira experiecircnciaeducomunicativa de produccedilatildeo audiovisual

28072015 | Docecircncia na universidade ultrapassapreparaccedilatildeo para mundo do trabalho

30062015 | O papel do docente hoje eacute fazerparceria com os alunos

geral27102015 | ldquoEacute preciso que a Universidade se abrapara atrair pesquisadores de forardquo sugere Vogt

22102015 | Sistema universitaacuterio de assistecircnciasocial eacute maacutequina de enxugar gelo

24082015 | Projeto ldquoTop Universidade Global doJapatildeordquo

24082015 | Universidades de jointshyventure naChina as comparaccedilotildees de Shangai e Shenzhen

24082015 | As universidades australianas sob agestatildeo neoliberal o aprofundamento da crise

Home Notiacutecias artigos



O Brasil foi talvez oprimeiro a desenvolver umabrangente sistema deavaliaccedilatildeo do ES incluindoum componente deavaliaccedilatildeo dos resultadosde aprendizado tanto paraas instituiccedilotildees puacuteblicasquanto para asparticulares o SistemaNacional de Avaliaccedilatildeo doEnsino Superior (Sinaes)

Um problema do Enade eacuteque todas as notas tecircmcomo base um modelo deldquonormas de referecircnciardquo oque significa que satildeorelativas e dependem dedados de todas asinstituiccedilotildeescursos e natildeotecircm como base um niacutevelesperado de desempenho

Foram poucas asevidecircncias documentadas eapresentadas ao puacuteblicogeral do sistema (porexemplo estudantes

Leia tambeacutem Assessing higher education learning outcomes in BrazilHigher Education Management and Policy | OECD A avaliaccedilatildeo da educaccedilatildeo superior modalidades e tendecircncias no cenaacuteriointernacionalPor Robert Verhine e Antocircnio Alberto da Silva Monteiro de Freitas

Rankings internacionais A irresistiacutevel polecircmica em torno de seus sentidos emetodologiasPor Edson Nunes e Ivanildo Fernandes

Tal aspecto do controle de qualidade no ES atraiuatenccedilatildeo cada vez maior tanto por parte dos especialistasquanto do puacuteblico incluindo responsaacuteveis pelas poliacuteticaspuacuteblicas e outros envolvidos Como exemplo um estudorecente (Arum e Roksa 2011) apresentando umpanorama desanimador da proficiecircncia dos estudantesdos Estados Unidos durante os anos passados nafaculdade ndash em aacutereas como leitura pensamento criacuteticoconstruccedilatildeo de argumentos e outras habilidades ndash foiamplamente debatido pela miacutedia pelos responsaacuteveispelas poliacuteticas puacuteblicas e pelo puacuteblico em geral Suametodologia incluiu o uso de informaccedilotildees a respeito dodesempenho dos estudantes num teste padronizado

conhecido como Collegiate Learning Assessment (CLA) A validade do CLA enquantoinstrumento para avaliar os resultados de aprendizado foi amplamente debatida (Klein etal 2007 Banta 2006 e 2007 Pike 2006) Nos anos mais recentes apelos em favor da avaliaccedilatildeo dos resultados de aprendizadotornaramshyse mais frequentes tanto por parte de agentes puacuteblicos quanto de analistas namiacutedia (Brooks 2012) Jaacute em 2006 o relatoacuterio da Comissatildeo Americana para o Futuro doEnsino Superior (tambeacutem conhecida como Comissatildeo Spellings) pediu que o CLA fosseusado para avaliar os resultados de aprendizado com base no ldquovalor agregadordquo(Departamento de Educaccedilatildeo dos EUA 200624) e que os dados fossem usados parapropoacutesitos de credenciamento (Departamento de Educaccedilatildeo dos EUA 200625) aleacutem derevelados ao puacuteblico Em 2009 a Uniatildeo Europeia (UE) pediu agrave divisatildeo de ensino superior da OCDE (GestatildeoInstitucional no Ensino Superior IMHE) que desenvolvesse o projeto Avaliaccedilatildeo dosResultados de Aprendizado do Ensino Superior (AHELO) (AHELO 2011 Coates eRichardson 2011) O projeto concluiu a fase piloto no final de 2012 e os relatoacuterios estatildeoagora disponiacuteveis na rede[1] O veiacuteculo de avaliaccedilatildeo dos resultados de aprendizado incluicomponentes do ensino geral e do ensino por tema

Mesmo antes dessas iniciativas alguns paiacuteses jaacute estavamexperimentando com sistemas para avaliar os resultadosde aprendizado no ES (Nusche 2008) O Brasil foi talvezo primeiro a desenvolver um abrangente sistema deavaliaccedilatildeo do ES incluindo um componente de avaliaccedilatildeodos resultados de aprendizado tanto para as instituiccedilotildeespuacuteblicas quanto para as particulares o Sistema Nacionalde Avaliaccedilatildeo do Ensino Superior (Sinaes) Entre seuscomponentes inclui um teste para avaliar o resultado deaprendizagem (obrigatoacuterio para os estudantes) o ExameNacional de Desempenho de Estudantes (Enade) com

um formato muito mais proacuteximo do espiacuterito proposto pelo projeto AHELO O propoacutesitodeste artigo eacute apresentar uma visatildeo geral do sistema brasileiro debater questotildees devalidade para o uso proposto para os resultados e outros ligados agrave natureza gigantesca ediversificada do sistema que eacute objeto desta anaacutelise Tambeacutem eacute debatido o envolvimentodos estudantes a percepccedilatildeo deles em relaccedilatildeo ao sistema e sua atitude em relaccedilatildeo agraveparticipaccedilatildeo

Como Sinaes e Enade funcionam para gerarinformaccedilotildees de avaliaccedilatildeoA lei federal criou o Sinaes e seu componente de exameEnade em 2004 sob os auspiacutecios do Ministeacuterio daEducaccedilatildeo A aprovaccedilatildeo da lei se seguiu a um acaloradodebate acadecircmico e poliacutetico envolvendo um sistema



universidades poliacuteticosetc) para as decisotildeestomadas A validade dequalquer sistema deavaliaccedilatildeo do ensinodepende muito daapresentaccedilatildeo deargumentos convincentespara decisotildees tomadas

O Ministeacuterio da Educaccedilatildeoemitiu alguns relatoacuteriosteacutecnicos explicando ametodologia empregadapelo Sinaes e o uso dasnotas do Enade mas ateacute omomento nenhuma anaacuteliseabrangente de validade dosusos dos resultados dosistema foi desenvolvida

Aleacutem de tratar da mesmamaneira cursos muitodiferentes comotreinamento de docentes eEngenharia os mesmosprinciacutepios tambeacutem satildeousados para avaliar todasas instituiccedilotildeesdesconsiderandocaracteriacutesticas acadecircmicasespeciacuteficas ligadas agrave suamissatildeo como a ecircnfase na

anterior que tambeacutem contava com um elemento de exame(Verhine et al 2006) A legislaccedilatildeo tambeacutem criou aComissatildeo Nacional de Avaliaccedilatildeo do Ensino Superior(Conaes) composto por funcionaacuterios do ministeacuterio erepresentantes de vaacuterias organizaccedilotildees de ES incluindoinstituiccedilotildees locais estaduais e federais parasupervisionar todas as atividades do SinaesEnade etodas as decisotildees ligadas a mudanccedilas no sistema OInstituto Nacional de Estudos e Pesquisas Educacionais(Inep) eacute o oacutergatildeo ministerial responsaacutevel pelo

desenvolvimento e aplicaccedilatildeo do Enade Embora o foco deste artigo seja o componente de avaliaccedilatildeo dos resultados deaprendizado (Enade) do Sinaes primeiro vamos delinear brevemente o sistema geral deavaliaccedilatildeo para inserir o exame no devido contexto Uma descriccedilatildeo mais detalhada dosistema completo pode ser encontrada em Verhine et al 2006 ou no relatoacuterio do Inep arespeito do sistema (Inep 2009)

Desde a sua concepccedilatildeo o Sinaes teve como base trecircscomponentes principais a avaliaccedilatildeo da proficiecircnciaestudantil em graduaccedilatildeo a avaliaccedilatildeo institucional e aavaliaccedilatildeo dos programas de ensino O Enade aplicadoaos estudantes de primeiro[2] e uacuteltimo ano avalia aproficiecircncia dos estudantes em temas determinados pelasDiretrizes Curriculares Nacionais para os programas degraduaccedilatildeo A avaliaccedilatildeo de programas e instituiccedilotildees temcomo base dados reunidos pelo Ministeacuterio da Educaccedilatildeo eem autoavaliaccedilotildees realizadas pelas instituiccedilotildees Osprogramas de poacutesshygraduaccedilatildeo satildeo avaliados pela

Coordenaccedilatildeo de Aperfeiccediloamento de Pessoal de Niacutevel Superior (Capes) sistema quetem um prolongado histoacuterico de sucesso no ES brasileiro desde meados dos anos 1970(Balbachevsky 2004 Balbachevsky e Schwartzman 2010) Os resultados do Enade satildeo derivados a partir de numerosas variaacuteveis de entradaincluindo as notas das turmas de formandos um componente de valor agregado que usaos resultados dos estudantes de primeiro ano e as informaccedilotildees a respeito dainfraestrutura (instalaccedilotildees bibliotecas etc) corpo docente e programaccedilatildeo dos cursosEstes foram obtidos a partir do banco de dados institucional e entatildeo combinados numanota final o Conceito Preliminar de Curso (CPC) de cada programa de graduaccedilatildeo Asvariaacuteveis de entrada satildeo ponderadas de acordo com a seguinte estrutura de peso 40da nota do Enade para os formandos 30 do iacutendice de valor agregado e 30 dos dadosdas instituiccedilotildees e programas O CPC eacute atribuiacutedo numa escala de um a cinco sendo cincoa nota mais alta Combinaccedilatildeo das notas do CPC (graduaccedilatildeo) e da Capes (poacutesshygraduaccedilatildeo) para osprogramas de ensino de uma determinada instituiccedilatildeo o Iacutendice Geral de Cursos (IGC)dessa universidade ou faculdade eacute computado tambeacutem numa escala de um a cinco Porfim a instituiccedilatildeo produz um relatoacuterio de autoavaliaccedilatildeo que somado ao IGC resulta noConceito Institucional envolvendo vaacuterios aspectos da atividade em ES que satildeo definidospelo Conaes e determinados pela legislaccedilatildeo Mais alguns detalhes a respeito do Enade ele usa uma estrutura de censo obrigatoacuterio oque significa que todos os estudantes do uacuteltimo ano de cada curso avaliado satildeoobrigados a fazer o exame (ateacute a ediccedilatildeo de 2010 todos os estudantes de primeiro anotambeacutem eram obrigados a fazer o exame)[3] Essas caracteriacutesticas do sistema tecircmmuitas consequecircncias em termos da confianccedila geral nos resultados do sistema deavaliaccedilatildeo incluindo a questatildeo do envolvimento dos estudantes

Um segundo aspecto eacute o de que todas as notas tecircm comobase um modelo de ldquonormas de referecircnciardquo o quesignifica que as notas satildeo relativas e dependem de dadosde todas as instituiccedilotildeescursos e natildeo tecircm como base umniacutevel esperado de desempenho Assim natildeo fica claro seuma nota quatro ou cinco para a turma de formandos noEnade significaria que eles de fato atingiram um niacutevel deproficiecircncia esperada Da mesma maneira conceitospreliminares de curso (CPCs) tambeacutem emanam de umaanaacutelise relativa sem representar o niacutevel de excelecircncia deum programa em si Uma alternativa seria umaabordagem com ldquocriteacuterios de referecircnciardquo exigindo umaescala de proficiecircncia e interpretaccedilatildeo a ser dada e uma



pesquisa ou no ensino

Da mesma formauniversidades tecnoloacutegicas(que oferecem cursosvocacionais de 3 anos)subsistema em expansatildeosatildeo tratadas de maneirasemelhante agravesuniversidades com oprevalecimento oacutebvio doscriteacuterios de qualidade detipo universitaacuterio (nuacutemerode docentes com diplomade doutorado pex)

Isso pode fazer o incipientesistema de universidadestecnoloacutegicas seguir oclaacutessico padratildeo de desvioacadecircmico alterando ocurso de seus esforccedilos natentativa de se tornareminstituiccedilotildees ldquosemelhantes auniversidadesrdquo algo queafetaria as tentativas detreinar uma forccedila detrabalho qualificada

Argumentashyse tambeacutem que30 itens de avaliaccedilatildeo natildeoseriam suficientes paracobrir adequadamente os

definiccedilatildeo do que seria um desempenho adequadoEntretanto eacute importante observar que natildeo estaacute claro se

tal escala de proficiecircncia e criteacuterios adequados poderia ser estabelecida para os cursosdo ensino superior (Verhine et al 2006) A maioria dos sistemas existentes de avaliaccedilatildeodo resultado do aprendizado no ES usa um sistema de normas de referecircncia (Nusche2008)

Dado o tamanho das populaccedilotildees envolvidas e a grandevariedade de cursos avaliados o sistema todo opera numciclo de rotaccedilatildeo de trecircs anos todos os cursos satildeoagrupados em trecircs aacutereas amplas e cada grupo deprogramas eacute avaliado a cada trecircs anos Um ciclocompleto de avaliaccedilatildeo eacute concluiacutedo a cada trecircs anosquando todos os programas de cada instituiccedilatildeo tiverempassado por todo o sistema de avaliaccedilatildeo Isso trazalgumas questotildees envolvendo a validade dos resultadospara alguns programas jaacute que o nuacutemero de estudantesnuma turma de formandos pode ser relativamentepequeno o que significa que pode demorar bastantetalvez dois ou trecircs ciclos ateacute que algo realmentesignificativo possa ser dito a respeito de um curso desses

em termos de resultados de aprendizado Enade em detalhesA ediccedilatildeo de 2010 do Enade eacute usada como principal referecircncia para descrever odesenvolvimento do exame e ela eacute suficiente pois a estrutura geral do exame semanteacutem consistente nas diferentes aacutereas e temas no decorrer do periacuteodo transcorridodesde o iniacutecio da aplicaccedilatildeo do exame O Enade tem duas partes componentes de ensino geral e de aacutereas especiacuteficas doconhecimento A porccedilatildeo do exame ligada ao ensino geral consiste em 10 itens 8questotildees de muacuteltipla escolha (ME) e dois itens de tema livre (ensaios breves) A porccedilatildeorelacionada agraves aacutereas especiacuteficas consiste em 27 MEs e 3 itens de tema livre O peso nanota final eacute de 25 para o ensino geral e 75 para as aacutereas especiacuteficas Os estudantestecircm quatro horas para concluir o teste

A porccedilatildeo ligada ao ensino geral eacute comum a todos oscursos que participam num determinado ano e seuconteuacutedo natildeo estaacute relacionado ao curso frequentado porum estudante Em 2010 por exemplo os cursos deciecircncias da sauacutede e ciecircncias agropecuaacuterias foramavaliados Em 2011 todos os cursos de engenhariaciecircncia baacutesica e treinamento de professores foramavaliados Entretanto diferentemente do CLA criado paraavaliar ldquocapacidades baacutesicas de escrita e pensamentocriacuteticordquo o componente de avaliaccedilatildeo geral do Enade avaliao ldquoconteuacutedo do ensino geralrdquo em outras palavras oconteuacutedo do exame estaacute ligado a aspectos culturais esociais da sociedade contemporacircnea Essa abordagem

traz problemas para a interpretaccedilatildeo dos resultados pois supotildee uma relaccedilatildeo entre osaspectos avaliados e o ensino universitaacuterio no Brasil Aleacutem disso como a lei brasileiranatildeo exige que os cursos de ES incluam conteuacutedo do ldquoensino geralrdquo a variaccedilatildeo nosconhecimentos natildeo necessariamente ligados ao ES entre os alunos distorce as notasParece que os criadores do exame imaginaram que uma ldquoboa faculdade ofereceria essetipo de ensino aos alunos Por outro lado pode ser um indiacutecio da direccedilatildeo que o Ministeacuterioda Educaccedilatildeo gostaria de dar para a evoluccedilatildeo do ensino superior brasileiro Podeshyse supor que um teste para conhecimentos tatildeo gerais teria resultados bastantecorrelacionados ao ensino recebido pelos estudantes ainda no ensino meacutedio[4] Umaanaacutelise raacutepida das tabelas de resultados do Enade mostra que as notas dos estudantesde Medicina do primeiro ano (curso altamente seletivo) satildeo mais altas do que as dosestudantes de primeiro ano de Enfermagem (curso menos seletivo) Portanto eacute provaacutevelque uma anaacutelise mais cuidadosa revele que os resultados do teste de conhecimentosgerais estejam fortemente ligados ao contexto socioeconocircmico ou agrave qualidade do ensinorecebido pelos alunos antes de ingressarem no ES

A porccedilatildeo do Enade que avalia conhecimentos especiacuteficoseacute mais parecida com a do AHELO Inclui a avaliaccedilatildeo deaacutereas baacutesicas num curso de graduaccedilatildeo avanccedilandogradualmente dos temas mais baacutesicos ateacute os maisespecializados de acordo com aqueles que satildeo em geral



conhecimentos relevantesdesenvolvidos num cursocom diploma jaacute que opequeno nuacutemero de itensobrigaria os examinadoresa restringir a abrangecircncia eprofundidade dos toacutepicosabordados

O MEC usa as vaacuterias notase relatoacuterios produzidosdurante os trecircs anos de umciclo do Sinaes parapropoacutesitos decredenciamento nos niacuteveisinstitucional e dos cursosA proposta original doSinaes (Inep 2009)enfatizava mais a avaliaccedilatildeode instituiccedilotildees e processosdo que a nota final

considerados os temas mais relevantes no ensino degraduaccedilatildeo para a aacuterea especiacutefica Os 27 itens de ME noteste envolvem questotildees e problemas a respeito dediferentes aspectos do conteuacutedo do curso O mesmopode ser dito dos trecircs itens na forma de ensaios escritosque costumam exigir mais trabalho do estudante para sechegar a uma resposta adequada Do ponto de vistaqualitativo essa parte do exame pode ser consideradaadequada embora natildeo tenham sido realizados estudos

de validaccedilatildeo para testar essa suposiccedilatildeo

Usos do SinaesEnade responsabilidadetransparecircncia e apoio poliacuteticoO Ministeacuterio da Educaccedilatildeo usa as vaacuterias notas e relatoacuteriosproduzidos durante os trecircs anos de um ciclo do Sinaespara propoacutesitos de credenciamento nos niacuteveisinstitucional e dos cursos A proposta original do Sinaes(Inep 2009) enfatizava mais a avaliaccedilatildeo de instituiccedilotildees eprocessos do que a nota final ou a nota do EnadeEntretanto a divulgaccedilatildeo das notas e dos resultados decredenciamento por parte da miacutedia alterou gradualmenteo foco voltandoshyo para tais aspectos em especial depoisque diferentes publicaccedilotildees impressas comeccedilaram aproduzir classificaccedilotildees com base nos resultados

Todos os anos haacute instituiccedilotildees que satildeo colocadas em observaccedilatildeo quando os cursosapresentam desempenho fraco nos dois ciclos mais recentes Entatildeo o Ministeacuterio impotildeecortes no nuacutemero de vagas para matriacutecula como consequecircncia do periacuteodo deobservaccedilatildeo Entre 2007 e 2011 por exemplo o Ministeacuterio cortou 1114 vagas em cursosde Medicina sendo 514 delas somente em 2011 apoacutes a rodada de 2010 do Sinaes Noscursos de Direito[5] nada menos do que 34 mil vagas foram cortadas desde 2007 Muitoscursos foram descredenciados e houve um caso em que uma instituiccedilatildeo inteira foifechada com seus estudantes transferidos para universidades vizinhas Essas medidas ajudaram o Enade em particular e o sistema como um todo aconquistarem apoio puacuteblico e poliacutetico Tipicamente as instituiccedilotildees que tecircm vagascortadas ou cursos fechados satildeo faculdades e universidades particulares com finslucrativos Parte do raciociacutenio apresentado por aqueles que apoiam o sistema estaacute ligadaagrave aparente necessidade de regulamentaccedilatildeo do setor privado em raacutepido crescimentoEsse setor quadruplicou de tamanho desde 1994 como podemos ver na Figura 1 Onuacutemero de matriacuteculas no setor privado apresentou aumento de 400 passando depouco menos de 1 milhatildeo para quase 4 milhotildees de estudantes correspondendo a 73do total de 54 milhotildees de estudantes matriculados em 2010 (um aumento em relaccedilatildeo a1994 quando esta parcela era de 58)



A divulgaccedilatildeo das notas edos resultados decredenciamento por parteda miacutedia alterougradualmente o focovoltandoshyo para taisaspectos em especialdepois que diferentespublicaccedilotildees impressascomeccedilaram a produzirclassificaccedilotildees com basenos resultados

Todos os dados produzidospelo MEC usando o Enadesatildeo divulgados ao puacuteblicoEmbora condizente com asmetas de transparecircnciaisso tambeacutem facilita otrabalho da miacutediainteressada emdesenvolver rankings deinstituiccedilotildeescursos

O perfil do setor privado tambeacutem mudou drasticamente em 2010 dois terccedilos dosestudantes estavam matriculados em instituiccedilotildees de fins lucrativos enquanto em 1994mais de dois terccedilos dos estudantes estavam matriculados em instituiccedilotildees de ES sem finslucrativos[6]

Todos os dados produzidos pelo Ministeacuterio usando oEnade satildeo divulgados ao puacuteblico Embora condizentecom as metas de transparecircncia isso tambeacutem facilita otrabalho da miacutedia interessada em desenvolver ldquotabelas eclassificaccedilotildees de instituiccedilotildeescursos com todos osproblemas envolvidos na manipulaccedilatildeo ou ocultamento deinformaccedilotildees para atender a propoacutesitos especiacuteficos ou porfalta de conhecimento Apenas uma das notas do Enadeeacute usada no desenvolvimento de classificaccedilotildees porexemplo dependendo das intenccedilotildees do responsaacutevel pelaclassificaccedilatildeo Algumas instituiccedilotildees tambeacutem usaram seudesempenho para propoacutesitos publicitaacuterios Algumasdessas ocorrecircncias envolveram distorccedilotildees flagrantes dos

dados publicados ao ponto de o Ministeacuterio ter de intervir para pedir agraves instituiccedilotildees queremovessem os anuacutencios em questatildeo

Independentemente disso questotildees mais seacuterias vieram agravetona nos anos mais recentes levando a preocupaccedilotildeescom a credibilidade do sistema O departamento deavaliaccedilatildeo do Ministeacuterio descobriu que uma grandeuniversidade particular estava se valendo de brechas nosistema para produzir resultados falsos o grupo deestudantes do uacuteltimo ano que faria o Enade foiselecionado com o artifiacutecio de reter as notas regulares departe dos alunos do curso ateacute o final do semestre para oqual o Enade estava marcado Desde entatildeo o Ministeacuterioalterou as regras para evitar tais recursos mas natildeo estaacute

claro se o sistema ficou livre de brechas Houve relatos de que o Ministeacuterio teria solicitadoinformaccedilotildees de outras 30 instituiccedilotildees suspeitas de usar o mesmo artifiacutecio para melhorar odesempenho de seus cursos Tudo isso foi amplamente divulgado pela miacutedia jaacute que aprimeira instituiccedilatildeo envolvida eacute uma das maiores do paiacutes Os casos estatildeo sendoinvestigados entretanto ateacute o iniacutecio de 2013 o Ministeacuterio natildeo tinha tomado nenhumaatitude em relaccedilatildeo agraves instituiccedilotildees envolvidas



Algumas instituiccedilotildeestambeacutem usaram seudesempenho parapropoacutesitos publicitaacuteriosAlgumas dessasocorrecircncias envolveramdistorccedilotildees flagrantes dosdados publicados ao pontode o Ministeacuterio ter deintervir para pedir agravesinstituiccedilotildees queremovessem os anuacutencios

Criacutetica ao sistema e participaccedilatildeo dos estudantesDesde os primoacuterdios do sistema federal de avaliaccedilatildeo do ES em 1996 quando oMinisteacuterio criou o Exame Nacional de Cursos (conhecido no Brasil como ldquoProvatildeordquo)precursor do Enade a participaccedilatildeo dos estudantes tem sido um problema No iniacutecio aUniatildeo Nacional dos Estudantes (UNE) se manifestou contra todo o tipo de avaliaccedilatildeo queenvolvesse provas aplicadas aos estudantes Muitos argumentos foram apresentados emdefesa dessa posiccedilatildeo alguns dos quais eram tambeacutem usados por organizaccedilotildees deprofessores e especialistas em ensino sendo eles os testes natildeo seriam capazes de medir o ensino universitaacuterio de maneiraadequada a participaccedilatildeo dos estudantes equivaleria a um castigo as avaliaccedilotildees estavam ligadas agrave crescente privatizaccedilatildeo do ES brasileiro e ogoverno federal estaria se preparando para privatizar o sistema inteiro o sistema violava a liberdade acadecircmica das universidades ao imporconteuacutedo aos curriacuteculos dos cursos por meio da seleccedilatildeo de temas para o exame e ainda que desenvolvessem um bom trabalho geral em termos de ensino degraduaccedilatildeo as instituiccedilotildees menos seletivas seriam prejudicadas pelo desempenho baixode alunos com deficiecircncias preacutevias de ensino Esses e outros argumentos certamente soaratildeo familiares para aqueles envolvidos noatual debate internacional a respeito da avaliaccedilatildeo dos resultados de ensino

Quando o sistema foi reformado em 2004 muitos antigoscriacuteticos do Provatildeo celebraram a iniciativa do Ministeacuteriopois o Sinaes avaliava aspectos institucionais orientadospor processos e a metodologia incluiacutea um componentede ldquovalor agregadordquo usando os resultados do Enade natentativa de avaliar se o curso tinha sido bemshysucedidoem aumentar o conhecimento dos alunos nas aacutereasenvolvidas no Enade A UNE mudou sua posiccedilatildeooficialmente mas muitas organizaccedilotildees locais e nacionaisainda apelavam para o boicote ao sistema Do ponto devista praacutetico houve casos claros de boicote por parte dosestudantes mas haacute tambeacutem a questatildeo do quanto osestudantes estatildeo envolvidos na participaccedilatildeo no Enade

Deve ser notado que as notas individuais dos estudantes natildeo satildeo reveladas nemincorporadas ao seu histoacuterico acadecircmico Um exemplo oacutebvio de um grande grupo deestudantes de Enfermagem que boicotou o Enade ocorreu em 2010 ocasiatildeo em que amaioria dos formandos de pelo menos quatro das maiores universidades puacuteblicasdevolveu a folha de respostas em branco[7] Aleacutem de distorcer a nota geral (jaacute que satildeoempregados procedimentos de normalizaccedilatildeo) os cursos dessas instituiccedilotildees tiveramcomo resultado notas baixiacutessimas ainda que fossem considerados entre os melhores dopaiacutes pelos acadecircmicos e o puacuteblico Outra evidecircncia do boicote por parte dos estudantesa universidade mais seletiva (Unicamp) em termos de notas do exame de admissatildeo noEnade de 2011 apresentando a nota de admissatildeo mais alta em 14 das 30 aacutereasavaliadas no exame daquele ano natildeo teve um uacutenico curso relacionado entre os 20melhores (em suas respectivas aacutereas) no Enade realizado com formandos Outra questatildeo ligada agrave participaccedilatildeo dos estudantes eacute o fato de muitas instituiccedilotildees teremtentado estimular a participaccedilatildeo dos estudantes com a oferta de precircmios agravequeles queobtiverem as melhores notas (os estudantes tecircm acesso agrave proacutepria nota) algo maisfrequente entre as instituiccedilotildees privadas Aleacutem disso algumas instituiccedilotildees treinam seusalunos para os testes usando versotildees anteriores e itens de elaboraccedilatildeo semelhanteAmbos os casos de intervenccedilatildeo institucional trazem questotildees para os objetivos doSinaes em termos gerais envolvendo a influecircncia do sistema no ES brasileiro Validade do SinaesEnadeO Ministeacuterio da Educaccedilatildeo emitiu alguns relatoacuterios teacutecnicos explicando a metodologiaempregada pelo Sinaes e o uso das notas do Enade mas ateacute o momento nenhumaanaacutelise abrangente de validade dos usos dos resultados do sistema foi desenvolvidaAleacutem disso foram levantados alguns pontos indicando que o sistema pode exigir certasmodificaccedilotildees antes de podermos consideraacuteshylo vaacutelido para a aplicaccedilatildeo proposta avaliarcursos e instituiccedilotildees para o propoacutesito de credenciamento e regulamentaccedilatildeo ao menos noniacutevel de graduaccedilatildeo O primeiro ponto envolve a metodologia de definiccedilatildeo da nota aplicada de maneirauniforme a todas as aacutereas e tipos de programas e a todos os tipos de instituiccedilatildeo Aleacutem detratar da mesma maneira cursos muito diferentes como treinamento de docentes eEngenharia os mesmos princiacutepios tambeacutem satildeo usados para avaliar todas as instituiccedilotildeesdesconsiderando caracteriacutesticas acadecircmicas especiacuteficas ligadas agrave sua missatildeo como a



ecircnfase na pesquisa ou no ensino Da mesma forma universidades tecnoloacutegicas (queoferecem cursos vocacionais de 3 anos) outro subsistema em expansatildeo satildeo tratadas nosistema de maneira semelhante agraves universidades com o prevalecimento oacutebvio doscriteacuterios de qualidade de tipo universitaacuterio (nuacutemero de docentes com diploma dedoutorado e indicadores de pesquisa por exemplo) como referecircncias para o restante dosistema Isso pode fazer o incipiente sistema de universidades tecnoloacutegicas seguir oclaacutessico padratildeo de desvio acadecircmico desviando seus esforccedilos na tentativa de setornarem instituiccedilotildees ldquosemelhantes a universidadesrdquo algo que afetaria as tentativas detreinar uma forccedila de trabalho qualificada num niacutevel que muitos consideram ser derelevacircncia estrateacutegica no estaacutegio atual do desenvolvimento econocircmico brasileiro Issopode se aplicar a vaacuterias outras aacutereas dos cursos profissionais do ensino superior Em segundo lugar argumentashyse que 30 itens de avaliaccedilatildeo natildeo seriam suficientes paracobrir adequadamente os conhecimentos relevantes desenvolvidos num curso comdiploma jaacute que o pequeno nuacutemero de itens obrigaria os examinadores a restringir aabrangecircncia e profundidade dos toacutepicos abordados Tratashyse de um ponto ligado agravevalidade do conteuacutedo e pode ser questionado em relaccedilatildeo ao emprego do exame noformato atual para avaliar a proficiecircncia num curso de graduaccedilatildeo completo EmEconomia por exemplo debateshyse entre os especialistas ateacute que ponto o exame deve sededicar a meacutetodos quantitativos (economeacutetrica) agrave micro e agrave macroeconomia agrave economiadesenvolvimentista e assim por diante Assim semelhante agrave ausecircncia de um elo entre o componente de ensino geral do Enade eos curriacuteculos dos cursos brasileiros debatida anteriormente a questatildeo da falta de umconteuacutedo claro nos exames parece ser um obstaacuteculo para a avaliaccedilatildeo adequada doprogresso dos estudantes aleacutem dos domiacutenios especiacuteficos de sua aacuterea de estudos A notade ldquovalor agregadordquo desenvolvida usando as notas dos estudantes de primeiro e uacuteltimoano tambeacutem merece comentaacuterios Foi um dos pontos mais fortes avanccedilados pelosproponentes de um novo sistema em 2004 num claro contraste com o sistema preacutevioexistente (Provatildeo) em favor do Sinaes Entretanto a maneira de computar a nota eacutebastante complicada e satildeo muitas as duacutevidas em relaccedilatildeo ao significado real da nota Elatem como base um modelo baacutesico de regressatildeo que usa as notas dos estudantes deprimeiro ano algumas outras caracteriacutesticas (como proporccedilatildeo de pais com diplomas doES) para computar qual deveria ser a nota da turma de formandos Essa previsatildeo eacuteentatildeo comparada ao desempenho real da turma de formandos gerando a nota de ldquovaloragregadordquo Embora seja possiacutevel encontrar a loacutegica por traacutes desse meacutetodo (Verhine et al2006) haacute muitos criacuteticos do sistema (Schwartzman 2008 Arauacutejo 2008) e natildeo haacuteevidecircncias de que ele esteja de fato medindo aquilo que se propotildee a avaliar Outro problema com o Sinaes como um todo especialmente quando usado parapropoacutesitos de credenciamento eacute o fato de o sistema natildeo ter criteacuterio de referecircncia paranenhuma das notas e iacutendices computados Assim pode ocorrer que ateacute os cursos ouinstituiccedilotildees de nota mais alta estejam apresentando desempenho abaixo dos padrotildees dequalidade pois o sistema todo tem como base normas estatiacutesticas Por outro lado cursose instituiccedilotildees podem ter desempenho condizente com a expectativa mas a distribuiccedilatildeoexige que algumas sejam classificadas em niacuteveis inferiores Apesar das dificuldades emestabelecer pontos de corte ou faixas com criteacuterios de referecircncia o Sinaes precisa usaroutras metodologias disponiacuteveis que proporcionem uma representaccedilatildeo mais precisa dodesempenho O sistema completo de atribuiccedilatildeo de notas do Sinaes eacute bastante complicado e pode serquestionado com justificativa em vaacuterios pontos (por exemplo que peso eacute usado para asdiferentes notas e por que a anaacutelise regressiva eacute usada dessa maneira) Foram poucasas evidecircncias documentadas e apresentadas ao puacuteblico geral do sistema (por exemploestudantes universidades poliacuteticos etc) para as decisotildees tomadas A validade dequalquer sistema de avaliaccedilatildeo do ensino depende muito da apresentaccedilatildeo de argumentosconvincentes para as decisotildees tomadas mostrando que os resultados foram bemdocumentados e justificados algo que os especialistas pedem desde a concepccedilatildeo doSinaes (Schwartzman 2008 2012) Outro toacutepico deve ser mencionado neste breve debate da validade dos sistemas deresultado de aprendizado um toacutepico relacionado ao CLA o papel desempenhado porlevantamentos com base nos estudantes Um levantamento desse tipo que comeccedila a serusado por instituiccedilotildees de diferentes paiacuteses eacute o Student Experience in the ResearchUniversity (SERU) desenvolvido inicialmente na Universidade da Califoacuternia em Berkeleypor pesquisadores do Centro para Estudos do Ensino Superior Num relatoacuterio recente(Douglass et al 2012) dados do SERU foram usados para desenvolver uma avaliaccedilatildeodo progresso acadecircmico durante os anos de faculdade Os autores apresentamevidecircncias de que tal levantamento pode na verdade ser muito uacutetil para tal propoacutesitoespecialmente porque tem como base um molde censitaacuterio tornandoshyo uacutetil mesmo em setratando de cursos especiacuteficos dentro de cada instituiccedilatildeo Os autores tambeacutem comparam



a abordagem do SERU agrave do CLA oferecendo argumentos em favor do primeiro enquantoalternativa viaacutevel e interessante agrave abordagem de testes padronizados usada no CLA Afinal o SinaesEnade traz informaccedilotildees uacuteteisAteacute o momento o debate indica que o SinaesEnade natildeo seria um sistema apropriadopara avaliar o resultado de aprendizagem no ensino superior nem sua qualidade geralEntretanto a maioria das questotildees apresentadas diz respeito ao uso do sistema para aavaliaccedilatildeo da qualidade de um uacutenico curso ou instituiccedilatildeo por meio de uma uacutenica nota finalou agrave ausecircncia de criteacuterios de referecircncia para o credenciamento Embora o SinaesEnadetenha vaacuterias limitaccedilotildees e problemas de validade (ou careccedila de evidecircncias nesse sentido)para os agregados das instituiccedilotildees agrupados de acordo com diferentes criteacuterios osistema traz informaccedilotildees muito uacuteteis O uso dos dados relativos a todos os cursos deEngenharia por exemplo cujos resultados estatildeo disponiacuteveis a partir de 2008 eacute possiacuteveldesenvolver um mapa detalhado do rumo seguido pelo sistema das aacutereas queapresentam problemas de qualidade quais grupos de instituiccedilotildees apresentam bomdesempenho se o sistema estaacute se expandindo graccedilas a programas mais qualificados ounatildeo Como exemplo simples tirado de um estudo desenvolvido pela Unicamp para aPetrobraacutes envolvendo cursos ligados agrave induacutestria de petroacuteleo e gaacutes podemos ver que amaioria dos cursos mais bem qualificados em termos do desempenho dos estudantes douacuteltimo ano estaacute no setor puacuteblico A Tabela 1 apresenta o nuacutemero de estudantes deuacuteltimo ano em cursos de Engenharia de acordo com a distribuiccedilatildeo da escala do Enadede 1 a 5 (sendo 5 o niacutevel mais alto de desempenho) para instituiccedilotildees puacuteblicas e privadas

A tabela mostra que mais de 90 dos estudantes em programas que obtiveram nota 5estavam matriculados em instituiccedilotildees puacuteblicas e que a grande maioria daquelesmatriculados em cursos de nota 1 ou 2 (considerados ldquofracos pelo criteacuterio do Ministeacuterio)estava se formando em instituiccedilotildees particulares Analisando esse resultado em conjuntocom a estatiacutestica segundo a qual nos uacuteltimos 10 anos a maior parte do crescimento nasmatriacuteculas em cursos de Engenharia ocorreu nas instituiccedilotildees privadas haacute motivo parapreocupaccedilatildeo por parte das autoridades dos empregadores e dos proacuteprios estudantes O futuro do Sinaes e de outros sistemas de avaliaccedilatildeo dos resultados deaprendizadoAs evidecircncias apresentadas ateacute o momento indicam que eacute problemaacutetico usar oSinaesEnade como instrumento de regulamentaccedilatildeocredenciamento levandoshyse emconsideraccedilatildeo os diferentes problemas envolvendo a validade dos resultados nessecontexto Mas ainda eacute cedo para um veredicto final Podeshyse argumentar que seria nomiacutenimo um instrumento vaacutelido para indicar quais aacutereas e setores precisam de maiscontroleregulamentaccedilatildeo por parte do governo e quais precisam de apoio e de umaavaliaccedilatildeo mais detalhada Eacute preciso implementar mudanccedilas o sistema de notas deveusar uma metodologia com ldquocriteacuterios de referecircnciardquo caso contraacuterio o procedimento decredenciamento natildeo faz sentido Aleacutem disso os diferentes indicadores natildeo deveriam serusados para calcular uma nota ldquofinal Um sistema de notas mais complexo emultidimensional seria mais vaacutelido e tambeacutem mais uacutetil No VI Simpoacutesio da Associaccedilatildeo Brasileira de Avaliaccedilatildeo Educacional em 2011Schwartzman apresentou um estudo com o tiacutetulo ldquoAleacutem do Sinaesrdquo (Schwartzman 2011)Depois de apresentar uma oacutetima anaacutelise do sistema o estudo conclui com vaacuteriasrecomendaccedilotildees algumas das quais satildeo apresentadas aqui manter separados os diferentes indicadores para evitar integraacuteshylos numa nota finalabsolutamente obscura que traz pouca utilidade praacutetica aleacutem de classificar cursos einstituiccedilotildees



incluir indicadores que associem os cursos aos mercados de trabalho desenvolver indicadores que respeitem a diversidade das instituiccedilotildees e cursos preparar relatoacuterios que usem a informaccedilatildeo de maneira que o puacuteblico em geral sejacapaz de compreender as questotildees principais sendo avaliadas e o verdadeiro significadodos indicadores e remover todo o sistema da supervisatildeo do Ministeacuterio da Educaccedilatildeo e criar uma agecircnciaindependente para lidar com os processos de avaliaccedilatildeo e credenciamento (evitandosituaccedilotildees de conflito de interesses jaacute que todo o sistema federal de instituiccedilotildees de ES eacuteadministrado pelo proacuteprio Ministeacuterio) O futuro de um sistema internacional de avaliaccedilatildeo dos resultados de aprendizadocertamente depende das descobertas do estudo de viabilidade do AHELO Pode ser quea ideia toda seja abandonada mas isso eacute improvaacutevel Eacute mais provaacutevel que umavariedade de sistemas continue a coexistir incluindo a abordagem dos levantamentoscom estudantes como exemplificado pelo SERU que tem uma comunidade internacionalde instituiccedilotildees de participaccedilatildeo crescente Essas duas metodologias baacutesicas a avaliaccedilatildeode resultados de ensino com base em testes e em levantamentos de estudantes satildeo naverdade complementares uma da outra Idealmente um curso instituiccedilatildeo ou sistemaseria muito beneficiado pela disponibilidade de dados provenientes de ambos ossistemas para buscarmos direccedilotildees e abordagens para melhorar a qualidade do serviccediloOs sistemas nacionais de avaliaccedilatildeo das instituiccedilotildees de ES como o Sinaes devemacompanhar atentamente todos os resultados dos pilotos AHELO usandoshyos para ajustarseus proacuteprios sistemas para aliviar ou melhorar as fraquezas e lacunas Bibliografia Referecircncias AHELO (2011) ldquoProject updaterdquo Directorate of Education IMHEOECD maio de 2011disponiacutevel em wwwoecdorgdataoecd82648088270pdfArum R e J Roksa (2011) Academically Adrift Limited Learning on College CampusesUniversity of Chicago Press Chicago IL Balbachevsky E (2004) ldquoGraduate education emerging challenges to a successfulpolicyrdquo em Colin Broock e Simon Schwartzman (orgs) The Challenges of Education inBrazil Symposium Books Oxford pp 209shy228 Balbachevsky E e S Schwartzman (2010) ldquoThe graduate foundations of Brazilianresearchrdquo Higher Education Forum Research Institute for Higher Education ndash HiroshimaUniversity Vol 7 Hiroshima Hiroshima University Press pp 85shy100 Banta T (2007) ldquoA warning on measuring learning outcomesrdquo Inside Higher Education26 de janeiro disponiacutevel em wwwinsidehigheredcomviews20070126banta Banta T (2006) ldquoReliving the history of largeshyscale assessment in higher educationrdquoAssessment Update Vol 18(4) pp 3shy4 15 Brooks D (2012) ldquoTesting the universitiesrdquo The International Herald Tribune 21shy22 abrilde 2012 p 7 Coates H e S Richardson (2011) ldquoAn international assessment of bachelor degreegraduatesrsquo learning outcomesrdquo Higher Education Management and Policy Vol 23 No4OECD Publishing Paris Douglass J G Thompson e CshyM Zhao (2012) ldquoThe learning outcomes race the valueof selfshyreported gains in large research universitiesrdquo Higher Education Online FirstSpringer Inep (1994shy2010) ldquoSinopses Estatiacutesticas da Educaccedilatildeo Superior ndash Graduaccedilatildeordquo Ministeacuterioda Educaccedilatildeo Brasil disponiacutevel em httpportalinepgovbrsuperiorshycensosuperiorshysinopse Inep (2009) ldquoSinaes da Concepccedilatildeo agrave Regulamentaccedilatildeordquo Instituto Nacional de Estudos ePesquisas Educacionais ldquoAniacutesio Teixeirardquo (INEP) Ministeacuterio da Educaccedilatildeo Brasildisponiacutevel em wwwpublicacoes inepgovbrdetalhesasppub=4389 Inep (2008) ldquoResultados do Enaderdquo Ministeacuterio da Educaccedilatildeo Brasil disponiacutevel em httpportalinepgovbrplanilhasshyenade Klein S R Benjamin R Shavelson e R Bolus (2007) ldquoThe collegiate learningassessment Facts and fantasiesrdquo Evaluation Review Vol 31 No 5 Sage Publicationsdisponiacutevel emwwwcollegiatelearningassessmentorgfilesCLA_Facts_and_Fantasiespdf



Nusche D (2008) ldquoAssessment of Learning Outcomes in Higher Education Acomparative review of selected practicesrdquo OECD Education Working Papers No 15OECD Publishing Paris doi 101787244257272573 Pike GR (2006) ldquoValueshyadded measures and the collegiate learning assessmentrdquoAssessment Update Vol 18(4) pp 5shy7 Schwartzman S (2011) ldquoPara aleacutem do SINAESrdquo estudo apresentado no VI Simpoacutesio daAssociaccedilatildeo Brasileira de Avaliaccedilatildeo Educacional Fortaleza CE setembro de 2011disponiacutevel em wwwschwartzmanorgbrsimon2011_sinaespdf Schwartzman S (2008) O ldquoconceito preliminarrdquo e as boas praacuteticas de avaliaccedilatildeo doensino superior Rev Associaccedilatildeo das Mantenedora de Ensino Superior 38 dezembro de2010 pp 9shy32 disponiacutevel em wwwschwartzmanorgbrsimonprelimpdf Schwartzman S (2007) ldquoThe national evaluation of courses in Brazilrdquo Instituto deEstudos do Trabalho e Sociedade Working Paper disponiacutevel emwwwschwartzmanorgbr simonprovao2pdf Souza E S (2006) ldquoENADE 2006 determinantes do desempenho dos alunos deCiecircncias Contaacutebeisrdquo dissertaccedilatildeo de mestrado Universidade de Brasiacutelia 2008 disponiacutevelem httprepositoriobceunbbrhandle104823949 Verhine R LMV Dantas e JF Soares (2006) ldquoDo Provatildeo ao ENADE uma anaacutelisecomparativa dos exames nacionais utilizados no Ensino Superior Brasileirordquo EnsaioAval Pol Puacutebl Educ V 14 n 52 291shy310 2006 Versatildeo anterior em inglecircs Verhine Ramp Dantas LMV (2005) ldquoAssessment of Higher Education in Brazil from the Provatildeo toEnaderdquo documento preparado para o Banco Mundial responsaacutevel Alberto Rodriguez US Department of Education (2006) A Test of Leadership Charting the Future of USHigher Education Washington DC disponiacutevel emwww2edgovaboutbdscommlisthiedfuture reportsfinalshyreportpdf acessado em 15 demaio de 2013

[1] httpwwwoecdorgeduskillsshybeyondshyschoolahelodocumentshtm

[2] A partir da ediccedilatildeo de 2011 do Enade apenas os estudantes de uacuteltimo ano participaram

do exame[3] Quando o sistema foi adotado pela primeira vez uma amostragem dos estudantes de

cada curso participou do Enade A partir de 2010 foi adotada a estrutura de censo[4] Souza (2006) apresenta evidecircncias que apontam nessa direccedilatildeo mesmo para a parte

especiacutefica do teste para os cursos de Contabilidade[5] O Direito eacute um dos cursos mais procurados do sistema brasileiro chegando a quase

700 mil matriculados em 2010 o que corresponde a quase 13 do total de matriacuteculas degraduaccedilatildeo no Brasil naquele ano[6] Esses nuacutemeros referemshyse a estudantes matriculados em cursos presenciais de

graduaccedilatildeo os cursos a distacircncia tambeacutem passam por um periacuteodo de crescimentoacelerado e jaacute haacute quase 1 milhatildeo de alunos matriculados em cursos do tipo em suamaioria oferecidos por instituiccedilotildees com fins lucrativos O Sinaes desenvolveu um sistemade avaliaccedilatildeo tambeacutem para esses cursos[7] Foi o que ocorreu na Unicamp e nas Universidades Federais de Brasiacutelia Satildeo Paulo e

Bahia

eshymail rwmunizunicampbr Fone + 55 19 3521shy2599

Expediente | Ensino Superior Unicamp Universidade Estadual de Campinas | Fale com a redaccedilatildeo



O Brasil foi talvez oprimeiro a desenvolver umabrangente sistema deavaliaccedilatildeo do ES incluindoum componente deavaliaccedilatildeo dos resultadosde aprendizado tanto paraas instituiccedilotildees puacuteblicasquanto para asparticulares o SistemaNacional de Avaliaccedilatildeo doEnsino Superior (Sinaes)

Um problema do Enade eacuteque todas as notas tecircmcomo base um modelo deldquonormas de referecircnciardquo oque significa que satildeorelativas e dependem dedados de todas asinstituiccedilotildeescursos e natildeotecircm como base um niacutevelesperado de desempenho

Foram poucas asevidecircncias documentadas eapresentadas ao puacuteblicogeral do sistema (porexemplo estudantes

Leia tambeacutem Assessing higher education learning outcomes in BrazilHigher Education Management and Policy | OECD A avaliaccedilatildeo da educaccedilatildeo superior modalidades e tendecircncias no cenaacuteriointernacionalPor Robert Verhine e Antocircnio Alberto da Silva Monteiro de Freitas

Rankings internacionais A irresistiacutevel polecircmica em torno de seus sentidos emetodologiasPor Edson Nunes e Ivanildo Fernandes

Tal aspecto do controle de qualidade no ES atraiuatenccedilatildeo cada vez maior tanto por parte dos especialistasquanto do puacuteblico incluindo responsaacuteveis pelas poliacuteticaspuacuteblicas e outros envolvidos Como exemplo um estudorecente (Arum e Roksa 2011) apresentando umpanorama desanimador da proficiecircncia dos estudantesdos Estados Unidos durante os anos passados nafaculdade ndash em aacutereas como leitura pensamento criacuteticoconstruccedilatildeo de argumentos e outras habilidades ndash foiamplamente debatido pela miacutedia pelos responsaacuteveispelas poliacuteticas puacuteblicas e pelo puacuteblico em geral Suametodologia incluiu o uso de informaccedilotildees a respeito dodesempenho dos estudantes num teste padronizado

conhecido como Collegiate Learning Assessment (CLA) A validade do CLA enquantoinstrumento para avaliar os resultados de aprendizado foi amplamente debatida (Klein etal 2007 Banta 2006 e 2007 Pike 2006) Nos anos mais recentes apelos em favor da avaliaccedilatildeo dos resultados de aprendizadotornaramshyse mais frequentes tanto por parte de agentes puacuteblicos quanto de analistas namiacutedia (Brooks 2012) Jaacute em 2006 o relatoacuterio da Comissatildeo Americana para o Futuro doEnsino Superior (tambeacutem conhecida como Comissatildeo Spellings) pediu que o CLA fosseusado para avaliar os resultados de aprendizado com base no ldquovalor agregadordquo(Departamento de Educaccedilatildeo dos EUA 200624) e que os dados fossem usados parapropoacutesitos de credenciamento (Departamento de Educaccedilatildeo dos EUA 200625) aleacutem derevelados ao puacuteblico Em 2009 a Uniatildeo Europeia (UE) pediu agrave divisatildeo de ensino superior da OCDE (GestatildeoInstitucional no Ensino Superior IMHE) que desenvolvesse o projeto Avaliaccedilatildeo dosResultados de Aprendizado do Ensino Superior (AHELO) (AHELO 2011 Coates eRichardson 2011) O projeto concluiu a fase piloto no final de 2012 e os relatoacuterios estatildeoagora disponiacuteveis na rede[1] O veiacuteculo de avaliaccedilatildeo dos resultados de aprendizado incluicomponentes do ensino geral e do ensino por tema

Mesmo antes dessas iniciativas alguns paiacuteses jaacute estavamexperimentando com sistemas para avaliar os resultadosde aprendizado no ES (Nusche 2008) O Brasil foi talvezo primeiro a desenvolver um abrangente sistema deavaliaccedilatildeo do ES incluindo um componente de avaliaccedilatildeodos resultados de aprendizado tanto para as instituiccedilotildeespuacuteblicas quanto para as particulares o Sistema Nacionalde Avaliaccedilatildeo do Ensino Superior (Sinaes) Entre seuscomponentes inclui um teste para avaliar o resultado deaprendizagem (obrigatoacuterio para os estudantes) o ExameNacional de Desempenho de Estudantes (Enade) com

um formato muito mais proacuteximo do espiacuterito proposto pelo projeto AHELO O propoacutesitodeste artigo eacute apresentar uma visatildeo geral do sistema brasileiro debater questotildees devalidade para o uso proposto para os resultados e outros ligados agrave natureza gigantesca ediversificada do sistema que eacute objeto desta anaacutelise Tambeacutem eacute debatido o envolvimentodos estudantes a percepccedilatildeo deles em relaccedilatildeo ao sistema e sua atitude em relaccedilatildeo agraveparticipaccedilatildeo

Como Sinaes e Enade funcionam para gerarinformaccedilotildees de avaliaccedilatildeoA lei federal criou o Sinaes e seu componente de exameEnade em 2004 sob os auspiacutecios do Ministeacuterio daEducaccedilatildeo A aprovaccedilatildeo da lei se seguiu a um acaloradodebate acadecircmico e poliacutetico envolvendo um sistema



































































Bahia





































































Bahia



























































Bahia














































Bahia






































Bahia





























Bahia























Bahia




















Bahia
















Bahia













Bahia



Documents

Avaliando os resultados de aprendizado no ensino - UFMG · (Inep) é o órgão ministerial responsável pelo desenvolvimento e aplicação do Enade. Embora o foco deste artigo seja