Avaliação da Educação Superior Brasileira:

contextualização, desafios e perspectivas

Maria Inês Fini Presidente do INEP

Brasília-DF | Mês 2017

1. Principais dados da Educação Superior Brasileira

Quantitativo de IES no Brasil, de 2000 a 2015

Fonte: Inep/Censup 2000 a 2015

176 183 195 207 224 231 248 249 236 245 278 284 304 301 298 295

1004

1208 1442

1652 1789

1934 2022 2032 2016 2069 2100 2081 2112 2090 2070 2069

1180

1391 1637

1859 2013

2165 2270 2281 2252 2314 2378 2365 2416 2391 2368 2364

0

500

1000

1500

2000

2500

3000

2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015

Pública Privada Total

Quantidade de IES no Brasil, em 2015, por Categoria Administrativa

Fonte: Inep/Censup 2015

0

500

1000

1500

2000

2500

Federais Estaduais Municipais Privadas Total

107 120 68

2069

2364

Quantidade de IES no Brasil, em 2015, por Organização Acadêmica e Categoria Administrativa

Fonte: Inep/Censup 2015

0

500

1000

1500

2000

Universidades Centros Universitários Faculdades IF/CEFET

63 0 4 40 38 1 81

0 6 8 54 0 88 140

1841

0

195 149

1980

40

Federais Estaduais Municipais Privadas Total

Quantidade de Cursos no Brasil, em 2015, por Grau Acadêmico

Fonte: Inep/Censup 2015

0

5.000

10.000

15.000

20.000

25.000

30.000

35.000

Bacharelado Licenciatura Tecnólogo Total

19.254

7.629 6.618

33.501

Quantidade de Matrículas no Brasil, em 2015, por Grau Acadêmico

Fonte: Inep/Censup 2015

0

1.000.000

2.000.000

3.000.000

4.000.000

5.000.000

6.000.000

7.000.000

8.000.000

Bacharelado Licenciatura Tecnólogo Não-Aplicável Total

5.516.151

1.471.930 1.010.142

29074

8.027.297

Quantidade de Concluintes no Brasil, em 2015, por Grau Acadêmico

Bacharelado Licenciatura Tecnólogo Total

Pública 141.426 78.941 19.529 239.896

Federal 87.529 39.391 7.527 134.447

Estadual 40.884 34.930 10.956 86.770

Municipal 13.013 4.620 1.046 18.679

Privada 539.239 158.877 212.055 910.171

Total 680.665 237.818 231.584 1.150.067

Fonte: Inep/Censup 2015

EDUCAÇÃO SUPERIOR: DESAFIOS DECORRENTES DE SUAS CARACTERÍSTICAS

• O tamanho do sistema X acompanhamento da qualidade X condições de oferta de curso de graduação X complexidade dos processos avaliativos.

• A diversidade de natureza administrativa e de formas de organização acadêmica das IES: desafios para os processos de avaliação, regulação e supervisão do Sistema.

2. Legislação relacionada à Educação Superior

LEGISLAÇÃO

Lei nº 13.005/2014 Plano Nacional da Educação (PNE)

Constituição Federal – 1988

Lei nº 9.394/1996 Lei de Diretrizes e Bases da Educação Nacional (LDBEN)

Lei nº 10.861/2004 Sistema Nacional de Avaliação da Educação Superior (Sinaes)

Decreto nº 5.773/2006 (em revisão) Exercício das funções de regulação, supervisão e avaliação

Portaria Normativa MEC nº 40/2007 (2010) (em revisão) Normativa os processos de regulação, supervisão e avaliação

SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR Lei nº 10.861/2004

• O Sinaes foi instituído “[...] com o objetivo de assegurar processo nacional de avaliação das instituições de educação superior, dos cursos de graduação e do desempenho acadêmico de seus estudantes [...]” (Art. 1º, Lei nº 10.861/2004).

• “A realização da avaliação das instituições, dos cursos e do desempenho dos estudantes será responsabilidade do INEP” (Art. 8º, Lei nº

10.861/2004), sob a coordenação da Comissão Nacional de Avaliação da Educação Superior (Conaes).

FUNÇÕES DE REGULAÇÃO, SUPERVISÃO E AVALIAÇÃO Decreto nº 5.773/2006

REGULAÇÃO SUPERVISÃO

AVALIAÇÃO

Realizada por atos autorizativos de IES e de cursos de graduação

(credenciamento, recredenciamento, autorização, reconhecimento e renovação de reconhecimento)

Objetivo de zelar pela qualidade da oferta de Educação Superior no

Sistema Federal

Processo formativo e referencial para a regulação e supervisão da Educação Superior, a fim de promover a

melhoria de sua qualidade

Secretaria de Regulação e Supervisão da

Educação Superior (Seres)

Inep

• A Portaria Normativa MEC nº 40/2007, reeditada e republicada em 29 de dezembro de 2010, trata do fluxo e gerenciamento dos processos de regulação, supervisão e avaliação via sistema eletrônico, tornado efetivo o caráter público dos resultados da avaliação.

• Dentre outros aspectos da avaliação, consolida disposições sobre Enade e os indicadores de qualidade, reafirmando o papel do Inep como responsável pela operacionalização do Sinaes, sob a orientação da Conaes.

PROCESSOS DE REGULAÇÃO, SUPERVISÃO E AVALIAÇÃO Portaria Normativa MEC nº 40/2007 (2010)

INTERAÇÃO ENTRE AVALIAÇÃO E REGULAÇÃO IES protocola o pedido e insere documentação

e-MEC

Secretaria Reguladora analisa

documentos postados

Despacho Saneador

Início da Fase de Avaliação

Criação da Avaliação

Abertura do Formulário Eletrônico

Sorteio da Comissão de

Avaliação

Visita e Elaboração de Relatório de

Avaliação

Disponibilização do Relatório para a IES e Seres

CTAA

Publicação do Ato Autorizativo

Há impugnação

?

Legenda: Instância do Processo

SERES INEP CTAA

3. Sistema Nacional de Avaliação da Educação Superior

• O que se espera a partir dos resultados do Sinaes?

Melhorar a qualidade da Educação Superior, orientar a expansão da oferta.

Identificar mérito e valor das instituições, áreas, cursos e programas nas dimensões de ensino, pesquisa, extensão, gestão e formação.

Promover a responsabilidade social das Instituições de Educação Superior (IES), respeitando a identidade institucional e a autonomia.

SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR

FORMAS DO PROCESSO DE AVALIAÇÃO

• Estão previstos processos avaliativos vinculados a: (Portaria nº 40/2007-2010)

Exame Nacional de Desempenho de Estudantes (Enade). Realizado para aferir conhecimentos, competências e habilidades

desenvolvidas pelo estudante ao longo do curso.

Avaliações in loco. Realizada com uma abordagem mais qualitativa de avaliação sobre as

condições de oferta dos cursos de graduação e da estrutura das IES.

Indicadores de Qualidade da Educação Superior. Produzidos com uma abordagem mais quantitativa, subsidiando os

processos de avaliação in loco.

ABRANGÊNCIA DO PROCESSO DE AVALIAÇÃO

• O Sinaes promove o processo de avaliação da qualidade de: Estudantes – avaliação de desempenho dos estudantes.

Resultados: nota do estudante no Enade e Conceito Enade para cursos.

Cursos de graduação – avaliação dos cursos de graduação para fins de autorização, reconhecimento e renovação de reconhecimento (visita in loco); indicadores de qualidade sobre cursos.

Resultado: Conceito de Curso (CC) e Conceito Preliminar de Curso (CPC).

IES – autoavaliação e avaliação institucional (visita in loco) para fins de credenciamento e recredenciamento; indicador de qualidade sobre IES. Resultado: Conceito Institucional (CI), Relatório de Autoavaliação e

Índice Geral de Cursos Avaliados da Instituição (IGC).

Enade

CICLO AVALIATIVO

• Está previsto Ciclo Avaliativo composto por 3 (três) anos:(Portaria nº 40/2007-2010)

Áreas - Bacharelados e Licenciaturas Ano I - Saúde, Ciências Agrárias e áreas afins (2016). Ano II - Ciências Exatas, Licenciaturas e áreas afins (2017). Ano III - Ciências Sociais Aplicadas, Ciências Humanas e áreas afins (2015).

Eixos Tecnológicos Ano I - Ambiente e Saúde, Produção Alimentícia, Recursos Naturais, Militar

e Segurança (2016). Ano II - Controle e Processos Industriais, Informação e Comunicação,

Infraestrutura, Produção Industrial (2017). Ano III - Gestão e Negócios, Apoio Escolar, Hospitalidade e Lazer, Produção

Cultural e Design (2015).

ENADE

• Ações vinculadas às áreas de avaliação do Enade:

Elaboração e aplicação das provas.

Cálculo e divulgação dos Indicadores de Qualidade (ano subsequente à aplicação do Enade).

Determina medidas de regulação realizadas pela Secretaria de Regulação e Supervisão (Seres) do MEC (ano subsequente à aplicação do Enade).

Inep

ENADE

• Instrumentos aplicados no Enade:

Questionário do Estudante

Questionário do Coordenador

Prova DIMENSÕES DO INSTRUMENTO TIPO DE ITEM NOTA ENADE

ENADE

Formação Geral (FG) 8 de múltipla escolha

25% 2 discursivas

Conhecimento Específico (CE) 27 de múltipla escolha

75% 3 discursivas

Quantidade de Estudantes Inscritos 2004 a 2016 (valores aproximados - em unidades de milhar)

140

277

387

190

382

803

411

303

470

196

483 552

214

0

200

400

600

800

1000

2004 2006 2008 2010 2012 2014 2016

Fonte: Inep/Censup 2016 *Ano de 2016: quantidade prévia do total de inscrições

*

Avaliação in loco

AVALIAÇÃO IN LOCO

• Utilização de procedimentos e instrumentos estruturados pelo Inep e aprovados pela Conaes.

Avaliação de IES: busca identificar como a missão e o perfil da instituição e sua atuação na sociedade expressam-se nas atividades, cursos, programas e projetos realizados, considerando diferentes dimensões institucionais.

Avaliação de curso de graduação: busca identificar as características do projeto formativo e as condições de oferta do curso aos estudantes, em especial as relativas ao perfil do corpo docente, às instalações físicas e à organização didático-pedagógica.

AVALIAÇÃO IN LOCO

• Subsídios da Avaliação in loco para os Processos de Regulação da Educação Superior:

Cursos de graduação – avaliação dos cursos de graduação para fins de autorização, reconhecimento e renovação de reconhecimento.

Resultado: o Conceito de Curso (CC);

IES – avaliação institucional para fins de credenciamento e recredenciamento.

Resultado: o Conceito Institucional (CI).

DIMENSÕES DA AVALIAÇÃO DE CURSOS

Como ?

Quem ?

Onde ?

DIMENSÃO 1

Organização didático-

pedagógica

DIMENSÃO 2

Corpo docente e tutorial

DIMENSÃO 3

Infraestrutura

Quantidade de Cursos avaliados in loco

DIMENSÃO 2

Corpo docente e tutorial

DIMENSÃO 3

Infraestrutura 1908

2628

3134

2302 2287

580

3191

4670

4317

3977

5019 4974

2262

2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016

Avaliação in loco por ato no ano de 2016

DIMENSÃO 2

Corpo docente e tutorial

DIMENSÃO 3

Infraestrutura

Ato Quantidade Aditamento - Credenciamento de Polo de Apoio Presencial 208 Autorização vinculada ao credenciamento 64 Autorização 711 Credenciamento 117 Credenciamento Centro Universitário 13 Credenciamento de Escola de Governo 4 Credenciamento EAD 251 Credenciamento Lato Sensu EAD 11 Reavaliação de Curso 5 Reconhecimento de Curso 781 Reconhecimento de Curso EAD 117 Recredenciamento 226 Recredenciamento EAD 160 Renovação de Reconhecimento de Curso 693 Renovação de Reconhecimento de Curso EAD 6 Total Geral 3.663

Indicadores de Qualidade

INDICADORES DE QUALIDADE

• Segundo a Portaria Normativa MEC nº 40/2007 (2010), são Indicadores de Qualidade da Educação Superior:

Conceito Enade

Conceito Preliminar de Curso (CPC)

Índice Geral de Cursos Avaliados da Instituição (IGC)

• Esses indicadores de qualidade mantêm relação direta com o Ciclo Avaliativo, sendo os cursos avaliados segundo as áreas de avaliação vinculadas aos Anos do Ciclo Avaliativo.

INDICADORES DE QUALIDADE

• Todos os indicadores são expressos em faixas, descritas em uma escalada discreta crescente de valores de 1 (um) a 5 (cinco).

Os indicadores são calculados a partir de componentes.

Os valores brutos atribuídos aos componentes são padronizados e reescalonados para serem expressos em valores contínuos de 0 (zero) a 5 (cinco).

Os valores discrepantes (outliers) são desconsiderados como valores mínimo e máximo no processo de reescalonamento.

• Antes do cálculo final, todas as IES têm acesso aos insumos de cálculo e podem se manifestar no Sistema e-MEC.

FAIXAS DOS INDICADORES DE QUALIDADE

CONCEITO NCj (Faixa) (Valor Contínuo)

1 0,000 ≤ NCj < 0,945

2 0,945 ≤ NCj < 1,945

3 1,945 ≤ NCj < 2,945

4 2,945 ≤ NCj < 3,945

5 3,945 ≤ NCj ≤ 5,000

Tabela de conversão das notas expressas em valor contínuo para Faixas dos Indicadores de Qualidade

CONCEITO ENADE

• O Conceito Enade é um indicador de qualidade calculado a partir dos desempenhos dos estudantes concluintes dos cursos de graduação no Enade.

É resultante da média ponderada da nota padronizada dos concluintes na Formação Geral (25%) e no Conhecimento Específico (75%).

Calculado por Código de Curso, para aqueles com ao menos 2 (dois) concluintes participantes no Enade.

Quantidade de Cursos Avaliados 2004 a 2016

2184

5511 5701

3238

7329 6804

4281

8814

7228

3701

9994

8144

4300

0

2000

4000

6000

8000

10000

2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016

Cursos por Faixa do Conceito Enade 2015

3,362%

26,918%

42,729%

18,803%

4,975% 3,202%

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

1 2 3 4 5 Sem Conceito

CONCEITO PRELIMINAR DE CURSO (CPC)

• O CPC é um indicador de qualidade que agrega diferentes variáveis que expressam:

resultados da avaliação de desempenho de estudantes;

titulação e regime de trabalho do corpo docente;

valor agregado pelo processo formativo oferecido pelo curso de graduação;

percepções dos estudantes sobre a organização didático-pedagógica, infraestrutura e as oportunidades de ampliação da formação acadêmica e profissional .

Calculado por Código de Curso, para aqueles com ao menos 2 (dois) concluintes participantes no Enade.

• .

CONCEITO PRELIMINAR DE CURSO (CPC) DIMENSÃO COMPONENTES PESOS

Desempenho dos Estudantes Nota dos Concluintes no Enade (NC) 20,0%

Valor Agregado Nota do Indicador de Diferença entre

os Desempenhos Observados e Esperados (NIDD)

35,0%

Corpo Docente

Nota de Proporção de Mestres (NM) 7,5%

30,0% Nota de Proporção de Doutores (ND) 15,0%

Nota de Regime de Trabalho (NR) 7,5%

Percepção Discente sobre as Condições do Processo Formativo

Nota Referente à Organização Didático-pedagógica (NO)

7,5%

15,0%

Nota Referente à Infraestrutura e Instalações Físicas (NF)

5,0%

Nota Referente às Oportunidades de Ampliação da Formação Acadêmica e

Profissional (NA) 2,5%

Cursos por faixa do CPC 2015

,296%

11,045%

57,678%

26,536%

1,244% 3,202%

0%

10%

20%

30%

40%

50%

60%

1 2 3 4 5 Sem Conceito

,301%

11,178%

58,294%

25,505%

1,374% 3,349% ,265%

10,229%

53,880%

32,892%

,441% 2,293% 0%

10%

20%

30%

40%

50%

60%

1 2 3 4 5 Sem Conceito

Privadas Públicas

Cursos por faixa do CPC 2015

Públ icas e Privadas

ÍNDICE GERAL DE CURSOS AVALIADOS DA INSTITUIÇÃO (IGC)

• Calculado, por IES, considerando:

Média dos CPC dos cursos avaliados da instituição, no triênio de referência, ponderada pelo número de matrículas.

Média dos conceitos da avaliação trienal da Capes dos programas de pós-graduação stricto sensu, ponderada pelo número de matrículas.

• Para instituições sem programas de pós-graduação stricto sensu avaliados pela Capes, o IGC é a média ponderada dos CPC de seus cursos de graduação.

IES por faixa do IGC 2015

,427%

14,414%

66,999%

16,643%

1,138% ,379% 0%

10%

20%

30%

40%

50%

60%

70%

1 2 3 4 5 Sem Conceito

IGC 2015

(Públicas e Privadas)

,373%

12,313%

53,731%

27,985%

4,851% ,746% ,435%

14,720%

68,930%

14,992%

,598% ,326% 0%

10%

20%

30%

40%

50%

60%

70%

1 2 3 4 5 Sem Conceito

Públicas Privadas

INDICADORES DE QUALIDADE

Desempenhos como

Concluinte de cursos de graduação

(Enade)

Conceito Enade

Conceito Preliminar de Curso

(CPC)

Desempenhos como Ingressante do curso

do graduação avaliado (Ingressantes de 2011 a 2013/

concluintes após 2013)

(Enem)

Índice Geral de Cursos

(IGC)

IDD

Corpo Docente (Censup)

Questionário do Estudante

(Enade)

Pós-Graduação (Capes)

Componentes dos cálculos

INDICADORES DE QUALIDADE

• As Notas Técnicas sobre os cálculos e estudos realizados para mudanças dos indicadores e/ou de seus componentes são disponibilizadas no sítio oficial do Inep.

http://portal.inep.gov.br/educacao-superior/indicadores/notas-tecnicas

LIMITES E POSSIBILIDADES

• LIMITES

Por melhores que sejam, são Indicadores e não um retrato das condições concretas dos processos formativos e estrutura das IES, portanto, não substituem a avaliação in loco.

Expressam valores relativos e não absolutos.

Não são comparáveis entre suas edições.

Implementação de ajustes em indicadores utilizados para fins de regulação, supervisão e financiamento.

LIMITES E POSSIBILIDADES

• POSSIBILIDADES

Aprimoramento dos indicadores existentes para que estimem melhor as condições de oferta dos cursos e da estrutura das IES.

Substituir as escalas de estimação da qualidade para que possam expressar mensurações e valorações absolutas (não relativas).

Composição de escalas de valores que permitam a comparação entre as edições dos indicadores.

Composição de uma “cesta de indicadores” para subsidiar processos decisórios e de avaliação de políticas públicas de naturezas e finalidades diversas, ao invés se utilizar um mesmo indicadores compostos nos referidos processos.

INDICADORES DE QUALIDADE

• Os Indicadores de Qualidade têm sido indutores de qualidade, como no caso do CPC:

Titulação do corpo docente.

Infraestrutura.

Oportunidades de ampliação da formação acadêmica e profissional .

RESULTADOS DA AVALIAÇÃO

• A disseminação dos resultados da avaliação interessa a diversos segmentos sociais.

Instituições de Educação Superior: utilizam as informações para decisões de políticas institucionais.

Secretarias do MEC: adotam resultados para fins de regulação e supervisão da Educação Superior .

Gestores públicos em Educação Superior: utilizam dados para elaborar e orientar ações e políticas educacionais.

Pesquisadores: utilizam os dados em trabalhos acadêmicos.

Sociedade em geral: obtém elementos para conhecer melhor um curso e/ou IES de interesse.

• Diante da quantidade de IES e cursos avaliados pelo Sinaes, destacam-se os seguintes desafios:

ENADE

Aplicação do Enade aos estudantes de todas as áreas de maneira censitária anualmente.

Estimação do valor agregado ao estudante pelo curso de graduação.

Estruturação de provas que apreendam competências e habilidades não mensuradas no formato atual.

DESAFIOS DO PROCESSO DE AVALIAÇÃO

DESAFIOS DO PROCESSO DE AVALIAÇÃO

AVALIAÇÃO IN LOCO

Realização de avaliações in loco de todos os cursos dentro dos Ciclos Avaliativos.

Formação de Avaliadores que extrapolem a checagem de itens e avance para uma visão mais ampla de avaliação.

Disponibilização de resultados detalhados da avaliação in loco de forma consolidada.

• Dada a dificuldade de se realizar avaliações in loco de todos os cursos abarcados pelo Sinaes, passou-se a fazer uso de Indicadores de Qualidade para subsidiar os processos de regulação e supervisão.

Não tem por objetivo estabelecer ranking, mas conforma uma alternativa para o acompanhamento da qualidade do conjunto de IES e cursos avaliados pelo Sinaes.

Uma questão fundamental para o debate sobre a atuação do Inep: para quê fins se destinam os Indicadores de Qualidade da Educação Superior?

DESAFIOS DO PROCESSO DE AVALIAÇÃO

DESAFIOS DO PROCESSO DE AVALIAÇÃO

SINAES

Estruturação e implementação de processos avaliativos que contemplem a diversidade e as características regionais.

Integração dos instrumentos avaliativos e dos resultados obtidos a partir das avaliações in loco e dos Indicadores de Qualidade.

MUITO OBRIGADA!

maria.fini@inep.gov.br