Modelos e Sistemas de Acreditação e Avaliação no Ensino ... · lidade no ES e explica como ocorre o processo de garantia da qualidade em prática pelo Sis-tema Nacional de Avaliação

1

Modelos e Sistemas de Acreditação e Avaliação no Ensino Superior:

abordagem sistêmica e sui generis no Brasil

Cleber Augusto Pereira1

Maria de Lourdes Machado2

Joaquim Filipe Ferraz Esteves de Araújo3

Resumo

Estudo aplicado ao contexto da acreditação e avaliação do Ensino Superior (ES). São

discutidas de forma sistêmica as recentes reformas no contexto do modelo de avaliação

brasileiro. Foram apresentadas as mudanças propostas pelas novas resoluções publicadas em

2016 e realizado um mapeamento conceitual sui generis da aplicação dos novos indicadores

de qualidade. Estudo relevante no contexto da percepção de desempenho e qualidade com

foco no caso brasileiro. Os objetivos são explicar, longitudinalmente, as formas utilizadas

pelas agências/órgãos de controle para medir o desempenho e garantir a qualidade do ES. A

metodologia de investigação utilizou a triangulação, com combinação de múltiplos métodos

qualitativos e quantitativos. Destaca-se a relevância do estudo para o desenvolvimento do ES,

pretendendo contribuir para a melhoria da qualidade do ES, tomando-se como comparativo os

achados das melhores práticas evidenciadas no modelo avaliado.

Palavras-Chave: Ensino Superior. Avaliação. Acreditação. Agência. Desempenho.

1 Introdução

As agências de acreditação e avaliação têm discutido e buscado o desenvolvimento da

qualidade do ES através de iniciativas que procuram avaliar o desempenho dos cursos e dos

estudantes. Pode-se exemplificar iniciativas como a da Organização Econômica para a

Cooperação e Desenvolvimento (OECD) que avalia, mede a efetividade de sistemas de

educação, elabora estratégias de auditoria, no sentido de legitimar sua atuação em todo o

mundo (Barzelay, 2014; Morgan, Shahjahan, 2014; Hanushek, Link, & Woessmann, 2013;

Lenkeit & Caro, 2014; Soh, 2014).

Este estudo propõe avaliar e explicar, a partir do contexto brasileiro, a atuação e

contribuição da agência/órgão de acreditação e avaliação. Este cenário vai em direção aos

preceitos de Lamarra e Centeno (2016, p. 138), quando afirmam que os processos de garantia

1 Universidade do Minho, Portugal, [email protected] 2 Centro de Investigação em Políticas do Ensino Superior (CIPES) e Agência de Avaliação e Acreditação do

Ensino Superior (A3ES), Portugal, [email protected] 3 Universidade do Minho, Portugal, [email protected]

mailto:[email protected]



2

de qualidade na América Latina têm sido fortemente influenciados pelos registrados

anteriormente na América do Norte (Estados Unidos e Canadá) e na Europa.

A OECD (1999) menciona as diferentes culturas entre modelos de acreditação e

avaliação e considera os diferentes padrões de garantia de qualidade entre Estados Unidos e

Reino Unido. Em 2009, as discussões inerentes à qualidade e garantia da qualidade aplicadas

ao ES continuam a ressaltar a necessidade de promover a cultura da qualidade. Harvey (2009,

p.1) ressalta que a cultura da qualidade tende a ser entendida como resultado de melhores

processos internos de qualidade: “There is increasingly a taken-for-granted view that quality

culture is about the development of, and compliance with, processes of internal quality

assurance”. Lanares (2008, p. 13) explica que dentre duas formas em que as IES podem

desenvolver a qualidade como cultura, deve-se preferir a segunda forma, em que a

continuidade da cultura tende a facilitar a mudança:

“In some cases, the institution will introduce quality assurance. This will imply new

values which will have to be integrated in the organizational culture. In other ones,

the creation of quality assurance will start from the existing quality culture. Once

finalized, quality assurance will in turn influence and modify the quality culture.

As questões de partida aderem a este cenário e permitem o desenvolvimento das

questões de acreditação, avaliação e qualidade do ES no Brasil: Que indicadores são

utilizados pela agência/órgão de acreditação/avaliação para influenciar ou determinar o

desempenho institucional e dos cursos de graduação?

Os objetivos são: a) rever as abordagens de responsabilização e a necessidade da

qualidade no ES; b) explicar as principais características e a prática da garantia da qualidade

no ES brasileiro; c) confrontar as práticas com as exigências legais das agências de

acreditação; d) explicar o modelo brasileiro de ES, considerando as dimensões de avaliação

institucional e de cursos.

Decidiu-se utilizar a estratégia de triangulação. Por fornecer múltiplas visões e

métodos de obtenção de informações, sua utilização permite amenizar problemas de

credibilidade em pesquisa (Tashakkori & Teddlie, 1998; Fielding & Schreier, 2001; Yauch &

Steudel, 2003; Hussein, 2009), pela combinação de métodos e fontes de dados em aspectos

qualitativos e quantitativos.

3

2 O Modelo de Avaliação do ES de Brasil

Esta seção contextualiza o cenário contemporâneo de responsabilização e aumento de qua-

lidade no ES e explica como ocorre o processo de garantia da qualidade em prática pelo Sis-

tema Nacional de Avaliação da Educação Superior (SINAES).

2.1 A evolução da responsabilização e a coerção pela qualidade nos modelos de ES

Harvey e Askling (2003) afirmaram que nos anos 90, a busca pela qualidade emergiu

no cenário do ES. Iniciando a busca por eficiência e efetividade nos serviços públicos,

oriunda dos ideais da New Public Management (NPM) (Hood, 1989; Pollitt, 1993), não sendo

possível a isenção das IES desta nova exigência de produzir mais com menos custos (Bleiklie,

1998). As IES passaram a incorporar estas mudanças (Askling, & Henkel, 1988) na tentativa

de acompanhar a ascensão do “The Evaluative State” (Neave, 1988) cultivando a qualidade,

eficiência e cultura empreendedora no ES.

Seguindo este status quo, Santos (2011) posiciona o ES como uma responsabilidade

pública e ressalta a importância dos governos e sociedade de zelar pela qualidade do ES. Isto

ocorreu pela necessidade de garantir a qualidade das IES através dos poderes públicos. Pode

ser evidenciado em diversos modelos de acreditação baseados na auto-regulação. A

abordagem de responsabilização dos governos pela qualidade do ES, sua acreditação e

avaliação tem sido ressaltada nas diversas comunidades acadêmicas (Bleiklie, 1998; Cret,

2011; Deem, 1998; Neave, 1998; Stensaker, Langfeldt, Harvey, Huisman, & Westerheijden,

2011).

Têm-se assistido à evolução dos modelos e sistemas de avaliação e de garantia da

qualidade de forma globalizada. O governo de cada país tem adaptado suas regras, melhorias

e órgãos de controle de forma diferenciada. Por exemplo, o uso dos processos de avaliação na

Comunidade Europeia (ENQA, 2005, 2007, 2009; Rosa, Cardoso, Dias, & Amaral, 2011), os

processos de acreditação nos Estados Unidos (Eaton, 2009, 2012; Harvey, 1995, 2002;

Massy, 2005) e os sistemas de avaliação híbridos ou alternados na América Latina (Lamarra,

2006, 2007; Santos, 2011; Lei nº. 10.8614, 2004) e países do leste europeu.

4 Lei nº. 10.861 de 14 de abril de 2004 do Ministério da Educação. Presidência da República do Brasil que

instituiu o Sistema Nacional de Avaliação da Educação Superior (SINAES).

4

2.2 A reforma do modelo em busca ao estado da arte: bons SINAES

Polidori (2009, p.440-441) ressalta que as reformas ocorridas durante o governo de

Fernando Henrique Cardoso (1995-2003), culminou na privatização ou concessão ao setor

privado da execução de funções e serviços públicos, incluindo-se o ES. A partir do marco

denominado por Felix (2008) de “construção da avaliação emancipatória”, a implantação do

SINAES passou a ter o objetivo de desenvolver uma política de avaliação aderente à sua rea-

lidade sui generis.

Estas mudanças tentaram ajustar o cenário do país às sugestões do relatório publicado

pelo Observatory on borderless higher education: Priorizando o conhecimento para o desen-

volvimento da nação; incluindo alterações de forma racional no ES; diminuindo relações de-

siguais entre países em desenvolvimento; implantando políticas de democratização do acesso

e qualidade do ES; combatendo a visão errônea de priorização da educação básica em detri-

mento do ES (Naidoo, 2007, p.2-9).

Quanto ao crescimento desenfreado do ES na América Latina (Lamarra & Cóppola,

2007, p.18; Lamarra & Centeno, 2016, p.137) afirmam que foram criados diversos tipos de

IES universitárias e não universitárias5, em sua maioria privadas, como tentativa de atender a

demanda crescente do mercado e, que neste cenário, não foram pensados em critérios de qua-

lidade e de pertinência institucional.

Estas iniciativas consolidaram a proposta de implantação de um modelo de qualidade

no ES brasileiro que vai de encontro ao modelo de supervisão estatal, que segundo Neave e

Van Vught (1994), reconhece que o estado tem dificuldade e ineficiência de controlar um

sistema dinâmico de ES massificado, complexo e em constante mutação.

Em síntese, a proposta seguiu a tendência internacional de transformar o governo em

um órgão regulador do ES, não mais atuando como controlador, para isto tendo idealizado a

implantação do SINAES. Para Amaral e Magalhães (2001) este modelo de ES permite poucas

intervenções nas decisões diárias das IES, devido a sua autonomia6, limitando-se ao governo a

tarefa posterior de direção, supervisão e avaliação de desempenho.

5 No caso brasileiro, as instituições não universitárias são representadas pelos Institutos Federais. 6 No Brasil as universidades possuem autonomia para criar, alterar e extinguir cursos de ES dentre outras

atribuições. Durham (2003, 276-277) afirma que a Universidade goza de autonomia para executar essas

atividades que lhes são próprias, e que não são realizadas para seu interesse exclusivo, mas constituem um

serviço que presta à sociedade. Como consequência, o reconhecimento da autonomia não exime as instâncias

públicas mais amplas da verificação da prestação efetiva destes serviços. Esta prerrogativa de autonomia não é

facilmente encontrada em outros cenários, cite-se por exemplo o caso da The Encyclopedia of Higher Education

5

Para entender o funcionamento do modelo de avaliação no contexto brasileiro, apre-

sentaremos uma visão da composição estrutural da agência de avaliação/acreditação.

2.3 O modelo de avaliação exercido pela agência de avaliação / acreditação do ES.

A Lei nº. 10.861 (2004) do Ministério da Educação (MEC) do Brasil instituiu o SI-

NAES. O SINAES (2009) tem o propósito de realizar uma avaliação diagnóstica, formativa e

regulatória das IES. É composto por três componentes: a avaliação das IES, dos cursos e do

desempenho dos estudantes.

Em suma, o SINAES avalia todos os aspectos em torno dos três eixos educacionais: o

ensino, a pesquisa, a extensão. Considera para isto, a responsabilidade social, o desempenho

dos alunos, a gestão da IES, o corpo docente, as instalações além de outros aspectos (INEP,

2010a, 2010b).

O MEC tem em sua estrutura funcional o INEP como autarquia federal vinculada

(INEP, 2010a, 1-3) que é responsável por organizar e manter o sistema de informações e esta-

tísticas educacionais, pelo desenvolvimento e coordenação dos sistemas e projetos de avalia-

ção educacional, em todos os níveis e modalidades de ES no país.

Os resultados das avaliações coordenadas pelo SINAES possibilitam um panorama da

qualidade dos cursos e das IES no país. Os processos avaliativos são coordenados e supervisi-

onados pela Comissão Nacional de Avaliação da Educação Superior (CONAES). Segundo

Polidori, Marinho-Araujo & Barreyro (2006) o CONAES tem como função estabelecer os

parâmetros gerais e as diretrizes para a operacionalização do sistema de avaliação, ficando a

operacionalização na responsabilidade do INEP.

(Schwartzman, Clark, & Neave, 1992) que não apresenta nenhum capítulo discutindo autonomia das

universidades.

6

Figura 1. Mapeamento conceitual do modelo de avaliação do ES brasileiro. O mapeamento ilustra as funções

dos principais órgãos responsáveis, MEC, INEP, SINAES, CONAES, destacados em negrito. Permite identificar

e contextualizar as relações entre os principais componentes dos elementos de avaliação: CPA, ENADE, IGC,

CPC e IDD. Fonte: Pereira, Machado & Araújo (2015).

Na Figura 1 o mapeamento conceitual elaborado por Pereira, Machado & Araújo

(2015) permite o entendimento sistêmico do processo de avaliação da qualidade do ES no

Brasil. Foi elaborado a partir da legislação do SINAES (Inep, 2009) e complementado com as

contribuições de Pedrosa, Amaral e Knobel (2012) e Verhine, Dantas & Soares (2006).

Em um sistema massificado e complexo como no caso do Brasil, a utilização de um

mapa conceitual permite facilitar o entendimento sistêmico de forma simplificada que em

uma análise descritiva. Destaque-se que os três eixos educacionais7 do modelo de avaliação

brasileiro, presentes na Figura 1, são geridos pelo SINAES através dos pilares avaliativos.

Passa-se a contextualizar a avaliação institucional interna e externa, apresentando as medidas

da reforma de 2016.

Avaliação Institucional

A avaliação institucional mencionada na Figura 1 é um dos componentes do SINAES

e ocorre através de processos de regulação e supervisão das instituições. É realizada para efei-

to de credenciamento e recredenciamento das IES perante ao MEC.

O SINAES estabeleceu as dez principais dimensões para a avaliação institucional que

estão ilustradas na Figura 2: Missão e PDI; Política para o ensino, pesquisa, pós-graduação e

7 Entenda-se como o ensino, a pesquisa e a extensão.

7

extensão; Responsabilidade social da IES; Comunicação com a sociedade; Políticas de pesso-

al, carreiras do corpo docente e técnico-administrativo; Organização e gestão da IES; Infraes-

trutura física; Planejamento de avaliação; Políticas de atendimento aos estudantes; e, Susten-

tabilidade financeira (Lei nº 10.861, 2004, art.2º-3º).

Figura 2. Mapeamento conceitual da avaliação institucional no ES brasileiro. Permite identificar as dimensões

avaliadas pelo SINAES e os tipos de avaliação: interna e externa. Fonte: Elaboração própria.

O §2º, art. 3º. da Lei nº 10.861 (2004) ressalta as duas formas em que devem ocorrer a

avaliação institucional: “Para a avaliação das instituições, serão utilizados procedimentos e

instrumentos diversificados, dentre os quais a auto avaliação e a avaliação externa in loco”.

Auto Avaliação (avaliação interna) e Avaliação Externa

A auto avaliação ocorre internamente em cada IES através da Comissão Própria de

Avaliação (CPA). O art. 11º. da Lei nº 10.861 (2004) estabelece que a CPA tem como atribui-

ção principal a condução dos processos de avaliação internos da IES, de sistematização e de

prestação das informações solicitadas pelo INEP. Deve atuar de forma autônoma em relação a

conselhos e demais órgãos colegiados existentes na IES (ver Figura 3).

Figura 3. Avaliação institucional Interna no modelo de avaliação do ES brasileiro. Permite identificar as

responsabilidades da CPA. Fonte: Elaboração própria.

Para Ristoff e Giolo (2006, p.199) a autonomia da CPA, que lhe é conferida pela lei,

permite tomar ações no âmbito interno de cada IES para que a auto avaliação efetivamente

8

aconteça. O roteiro de auto avaliação preparado pelo CONAES e pelo INEP estabelece quais

aspectos de cada uma das dez dimensões (Lei nº 10.861, 2004, art.2º-3º) que devem ser consi-

derados pela CPA no seu trabalho.

A avaliação externa é realizada por membros externos, nomeados pelo INEP. Sua co-

missão é constituída por membros da comunidade acadêmica e científica, reconhecidos pela

capacidade em sua área e com ampla compreensão das IES. Na avaliação externa são exigidos

os padrões mínimos de qualidade para o ES (INEP, 2010c; Ristoff & Giolo, 2006) expressos

nos instrumentos de avaliação específicos e nos relatórios das auto avaliações institucionais.

A Comissão Técnica de Acompanhamento da Avaliação (CTAA), ilustrada na Figura

4, é o órgão colegiado responsável pelo acompanhamento dos processos periódicos de avalia-

ção institucional externa e de avaliação dos cursos de graduação das IES (Portaria nº. 386,

2016; Portaria nº 1.027, 2006).

Destaca-se a existência de um Banco de Avaliadores do SINAES (BASis), regulamen-

tado pela Portaria nº 1.027 (2006, art.2º), que é um cadastro nacional de avaliadores do INEP

para constituição de Comissão de Avaliação in loco. O BASis é composto por 4.495 avaliado-

res institucionais e 8.992 avaliadores de cursos (Portaria nº 1.751, 2006, p.17-67).

Figura 4. Avaliação Externa no modelo de avaliação do ES brasileiro. Permite identificar a CTAA e suas

atribuições. Os padrões de qualidade são divididos em 5 eixos e estão estabelecidos nos instrumentos de avaliação.

São avaliados 51 indicadores de qualidade. Fonte: Elaboração própria.

Em maio de 2016, a Portaria nº. 208 (2016) estabeleceu um padrão para seleção dos

avaliadores do SINAES. Foram criados dois índices específicos: o Índice de Seleção dos Ava-

liadores de Curso (ISACURSO) e o Índice de Seleção dos Avaliadores Institucionais (ISAIES).

As variáveis que compõem os índices são explicadas na Tabela 1.

9

As duas variáveis que representam maior peso para a seleção dos avaliadores de curso

(ver Quadro 1) são relativas à experiência na gestão de cursos (25%) e na participação no

NDE (25%). Este critério ressalta a expectativa de seleção de profissionais com know-how

acadêmico relevante para o desempenho destas atividades.

Nota-se que o mesmo critério foi adotado para a seleção dos avaliadores institucionais,

no entanto, a experiência mais pontuada (30%) tem relação com gestão institucional como

cargos de direção ou pró-reitoria. As outras duas maiores pontuações consideradas para esta

seleção (20% cada) tem a ver com experiência em CPA e NDE.

Tabela 1

Variáveis que compõem os Índices de Seleção dos Avaliadores: ISACURSO e ISAIES

Notas: Explicação das variáveis: ExpAC - experiência em Avaliação de Cursos; ExpAI - experiência em Avalia-

ção Institucional; ExpNDE – Experiência em Núcleo Docente Estruturante (Res. Conaes no. 1 (2010)8; ExpDOC

- Docência no ES; ExpCPA – participação em CPA; ExpGC – Gestão de Curso; ExpGA – Gestão Acadêmica;

Pub - Produção científica; CC - Conceito de Curso; CI - Conceito Institucional. Fonte: Portaria nº. 208

INEP/MEC (2016).

Consideradas as variáveis e seus critérios, o modelo estatístico para cálculo dos

índices ISACURSO e ISAIES é apresentado no Quadro 1. Será estabelecido um ranking com as

distâncias entre os candidatos, os classificados serão capacitados e elegíveis para designação

nas comissões de avaliação externa (Portaria nº. 208 (2016, p.5-8).

Quadro 1

8 O NDE é um componente obrigatório nos cursos de graduação, conforme definido pela Resolução CONAES

no. 1 de 17 de junho de 2010. É composta por cinco docentes do curso, com elevada formação/titulação que

passam a responder pela concepção, implementação e consolidação do Projeto Pedagógico do Curso.

10

Modelos estatísticos para cálculo dos índices ISACURSO e ISAIES

Fonte: Portaria nº. 208 (2016, p.5-8).

Evidencia-se na composição dos modelos, a priorização de competências de gestão pa-

ra a avaliação. Em ambos os modelos, o peso é superior à metade do peso total de cada índice.

Por exemplo, no ISACURSO, verifica-se que o peso para ExpNDE é de 25% somado à ExpGC

com peso de 25%, e ExpAC, peso de 10%, eleva a necessidade de competências de gestão

para 60% do índice. No ISAIES, a proporção de competências de gestão chega a 80% do índice

quando consideramos: ExpAI (10%) + ExpNDE (20%) + ExpCPA (20%) + ExpGA (30%).

As comissões de avaliação

Quanto a composição das comissões para a avaliação externa in loco, a Portaria nº

1.027 (2006, art.7) estabelece que as equipes serão compostas por três a oito avaliadores. O

instrumento de avaliação institucional externa é público e subsidia os atos de credenciamento,

recredenciamento e transformação acadêmica9. Neste instrumento estão organizados os cinco

eixos (ver Quadro 2) que contemplam as dimensões avaliadas.

Quadro 2

Pesos para Credenciamento e Recredenciamento de IES

9 O instrumento, em sua versão atualizada (2015), encontra-se disponível no sítio do INEP em:

http://download.inep.gov.br/educacao_superior/avaliacao_institucional/instrumentos/2015/instrumento_instituci

onal_072015.pdf

http://download.inep.gov.br/educacao_superior/avaliacao_institucional/instrumentos/2015/instrumento_institucional_072015.pdf

http://download.inep.gov.br/educacao_superior/avaliacao_institucional/instrumentos/2015/instrumento_institucional_072015.pdf

11

Fonte: INEP. http://portal.inep.gov.br/superior-avaliacao_institucional-instrumentos

Para cada dimensão avaliada existem, em média, dez indicadores específicos que são

pontuados em escala Likert, de 1 a 5. Ao término do processo avaliativo, os avaliadores apre-

sentam o parecer final, com os indicadores de cada dimensão totalizados.

Em síntese, o conceito final da avaliação externa quanto ao credenciamen-

to/recredenciamento da IES, é calculado com base em 51 indicadores avaliados dentre os cin-

co eixos. A nota obtida deve ser a substância principal para o parecer final da comissão.

Nota-se no Quadro 2 que cada eixo apresenta pesos diferentes para atos distintos: Cre-

denciamento ou Recredenciamento. Por exemplo, verifica-se que a infraestrutura física detém

o maior peso (30) durante o credenciamento de uma IES, enquanto no ato de recredenciamen-

to institucional, o peso maior (30) incide na adequação das políticas acadêmicas.

Figura 6. Síntese do modelo de avaliação do ES brasileiro. O mapeamento destaca como ocorre a avaliação

interna nas IES através da CPA e a avaliação externa controlada pela CTAA. Destaca ainda como os 51

indicadores de avaliação são distribuídos dentre as dimensões da avaliação institucional realizadas pelo SINAES.

Fonte: elaborado pelos autores.

Os cinco eixos avaliativos, demonstrados no Quadro 2, contém e são inter-

relacionados com as dez principais dimensões do SINAES para a avaliação institucional e

encontram-se associados na Figura 6.

http://portal.inep.gov.br/superior-avaliacao_institucional-instrumentos

12

3 Resultados das ações avaliativas no País – uma visão sui generis

Nesta análise, foram utilizados os dados das avaliações realizadas pelo INEP relativos

às avaliações institucionais e de curso realizadas em in loco fornecidas pela Coordenação Ge-

ral de Avaliação de Cursos de Graduação e de Instituições de Educação Superior (CGA-

CGIES) da Diretoria de Avaliação da Educação Superior (DAES) do INEP.

Buscando uma visão comparada, foram acrescidos os microdados do ENADE (INEP,

2004, 2005, 2006, 2007, 2008, 2009, 2010b, 2011, 2012, 2013, 2014ª). As informações foram

filtradas, e em seguida, sintetizadas e ordenadas e são apresentadas na Tabela 2.

Tabela 2

Estatísticas Gerais da Avaliação da Educação Superior do Brasil entre 2004 e 2014

Fonte: Os dados relativos às avaliações institucionais e avaliações de curso foram fornecidos pela

CGACGIES órgão da DAES do INEP.

Considere-se, por exemplo, os dados relativos ao ano de 2010. Enquanto o ENADE

avaliou os estudantes de 4.281 cursos, foram avaliados in loco pelo INEP ao total, 4.100

ações, sendo 3.169 cursos de graduação e 931 IES. Apenas com estas informações, não é pos-

sível inferir o conteúdo destas avaliações, sendo necessário o detalhamento das ações avaliati-

vas. O Quadro 3 apresenta, por tipo, as ações in loco no processo de avaliação de cursos.

13

Quadro 3

Confrontação de ações de avaliação de curso no ano de 2010 realizadas pelo INEP

Fonte: Dados fornecidos pela CGACGIES/DAES/INEP relativos ao ano de 2010.

Verifica-se a partir da análise do Quadro 3 que o maior volume de ações de avaliação

realizada pelo Inep foi concentrado nos cursos que obtiveram conceitos 3 (1197 ações) e 4

(1410 ações). Quanto às principais ações relacionadas aos cursos, verifica-se que,

predominantemente, ocorreram avaliações in loco para primeiros reconhecimentos de cursos

(1638), 937 autorizações de funcionamento de novos cursos e 563 renovações de

reconhecimento de cursos.

Quadro 4

Confrontação de ações de avaliação institucional no ano de 2010 realizadas pelo INEP

Fonte: Dados fornecidos pela CGACGIES/DAES/INEP relativos ao ano de 2010.

Quanto às ações de avaliação institucional, notou-se a predominâncias de ações de re-

credenciamento de 719 IES, seguidas por 134 avaliações para novos credenciamentos de IES.

14

Figura 7. Análise longitudinal da evolução das avaliações in loco relativas à cursos superiores e de IES no País

entre os anos 2000-2014. O gráfico destaca a quantidade superior de avaliações de cursos realizada de forma

censitária pelo ENADE ao comparar com as ações de avaliação in loco de cursos de graduação realizadas pelas

comissões de avaliação do INEP. Fonte: Os dados dos cursos de graduação avaliados pelo Enade são oriundos dos

microdados do ENADE, todas as edições. INEP (2004, 2005, 2006, 2007, 2008, 2009, 2010b, 2011, 2012, 2013,

2014a).

A Figura 7 ilustra longitudinalmente a evolução das avaliações realizadas pelo INEP.

Permite uma visão sistêmica das variações entre avaliações in loco x avaliações censitárias do

ENADE. Na representação gráfica consegue-se perceber que a política adotada pelo INEP, de

dispensar de avaliação in loco os cursos que obtiveram conceitos 3 a 5 no ENADE, diminuiu

o volume de avaliações e favoreceu o desempenho das ações avaliativas.

Em um sistema massificado, como é o caso do Brasil, com um universo de 32.878 cur-

sos superiores em 2014, a política de avaliações in loco, entre 2004 e 2014 permitiu serem

avaliados uma média anual de 3.089 cursos e 409 IES.

Justificou-se a criação do banco de avaliadores BASis e sua composição. A impressão

inicial de que o volume de avaliadores de curso e institucionais anteriormente mencionada no

país pudesse ser exagerada, é refutada ao considerar uma base anual média de 3.500 avalia-

ções in loco. O BASis almeja garantir que a base de avaliadores selecionados esteja disponí-

vel e preparada para as visitas de avaliação.

Quanto às avaliações censitárias do ENADE, a política de ciclos avaliativos estabele-

cida define que, a cada ano, são avaliados um agrupamento de cursos distintos. Desta forma,

longitudinalmente puderam ser avaliados por ano, uma média de 5.890 cursos através da pro-

va do Enade (Figura 8).

11 21 109 198 422 670 931539 243

732 628

19082628

31342302 2287

580

3161

4670 4317 3977

5019

2184

5511 5701

3238

73296804

4281

8814

7228

3701

9994

0

2000

4000

6000

8000

10000

12000

2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014

Avaliações realizadas entre 2004 e 2014

Instituições in loco Cursos de graduação in loco Cursos de Graduação avaliados pelo ENADE

15

Figura 8. Total de avaliações realizadas entre 2004 e 2014 no país. Fonte: elaborado pelos autores a partir dos

dados fornecidos pela CGACGIES/DAES/INEP relativos ao período entre 2004-2014 e os microdados dos cursos

de graduação avaliados pelo do ENADE, todas as edições. INEP (2004, 2005, 2006, 2007, 2008, 2009, 2010b,

2011, 2012, 2013, 2014a).

A Figura 8 demonstra que, na história das avaliações do realizadas pelo INEP, 63%

das avaliações dos cursos de graduação foram realizadas pela prova do ENADE, sem obriga-

toriedade de avaliação pelas comissões in loco; 33% dos cursos foram avaliados in loco, para

ações de autorização de novos cursos, reconhecimento ou renovação de reconhecimento e, em

alguns casos, para reavaliação de cursos; e 4% das avaliações referem-se à avaliações institu-

cionais, para credenciamento ou recredenciamento de IES.

5 Considerações Finais

O ES brasileiro, prioritariamente privado, apresenta-se como resposta ao crescimento

desenfreado característico pela América Latina (Lamarra & Cóppola, 2007, p.18; Lamarra &

Centeno, 2016, p.137). O modelo do SINAES apresenta derivações do modelo de supervisão

estatal (Neave & Van Vught, 1994). A política educacional de transformar o governo em um

órgão regulador tem como desafio chave: adaptar mecanismos de controle de qualidade e efi-

ciência a um ES dinâmico e com características mercenárias como massificação, complexida-

de e constante mutação.

Foi apresentado o SINAES, seu mapeamento conceitual de funções e responsabilida-

des. Dentre os três principais pilares da política de avaliação brasileira, o foco deste estudo foi

a avaliação institucional e a avaliação de cursos, embora tenha se utilizado dos resultados da

avaliação do desempenho dos estudantes para comparar o volume de ações avaliativas.

A política inovadora de seleção de avaliadores realizadas através de índices (ISAIES e

ISACURSO), sua normalização e operacionalização utilizando o BASis, apresenta-se como al-

4%

33%

63%

Avaliações in loco x ENADE realizadas entre 2004-2014

Instituições in loco Cursos de graduação in loco Cursos de Graduação avaliados pelo ENADE

16

ternativa viável para a garantia da qualidade do modelo de ES massificado em que ocorrem,

em média, 3.500 ações avaliativas externas por ano.

Foram apresentados e discutidos como ocorrem, os procedimentos de avaliação in lo-

co, tanto para a avaliação de cursos como para avaliações institucionais. Conhecidos seus

principais indicadores e respectivos pesos na avaliação global de cada unidade avaliada.

Apresentado um mapeamento conceitual que tem a função de explicitar a inter-relação

entre as dimensões avaliativas do SINAES e os 51 indicadores utilizados na avaliação institu-

cional externa.

A combinação dos microdados da Educação Superior e do Censo do ES, associadas à

regulamentação qualitativa e descritiva-documental das mudanças propostas no ES brasileiro,

permitiram a apresentação de uma visão panorâmica dos resultados do modelo de avaliação

brasileiro. Afinal, tratou-se de um sistema com composto por 2368 instituições de ensino,

32.878 cursos superiores, 383.386 docentes em exercício de funções, e que comportou 8 mi-

lhões de estudantes no ano de 2014.

Foi destacada a atuação sui generis do SINAES e realizada uma análise longitudinal

de 11 anos, cruzando os dados das avaliações in loco com microdados das avaliações do

ENADE. Foi possível validar as políticas de dispensa de avaliação in loco e entender, como o

modelo avaliativo no país tem lidado com a complexidade do ES.

17

Referências

Amaral, A., & Magalhães, A. (2001). On markets, autonomy and regulation the Janus

Head revisited. Higher Education Policy, 14(1), 7-20.

doi:10.1057/palgrave.hep.8390166

Askling, B. & Henkel, M. (1988). Higher education institutions. In Kogan, M, Marianne

Bauer, Ivar Bleiklie and Mary Henkel (1988). Transforming Higher Education.

A Comparative Study. London: Jessica Kingsley Publishers.

Barzelay, M. (2014). Instituições centrais de auditoria e auditoria de desempenho: uma

análise comparativa das estratégias organizacionais na OCDE. Revista do

Serviço Público, 53(2), 5-35.

Bleiklie, I. (1998). Justifying the evaluative state: New Public Management ideals in

higher education. European Journal of Education. 33(3), 299–316.

Cret, B. (2011). Accreditations as local management tools. Higher Education, 61, 415–

429. doi:10.1007/s10734-010-9338-2

Deem, R. (1998). New managerialism and higher education: The management of

performances and cultures in universities in the United Kingdom. International

Studies in Sociology of Education, 8(1), 47-70.

DOI:10.1080/0962021980020014

Durham, E. R., (2003). Autonomia, controle e avaliação. Morhy, L. (Org). Universidade

em Questão. Brasília: Universidade de Brasília, vol.1, 275-304.

Eaton, J. S. (2009). Accreditation in the United States. New directions for Higher

Education, 2009(145), 79-86. doi:10.1002/he.337

Eaton, J. S. (2012). An Overview of US Accreditation-Revised. Council for Higher

Education Accreditation, 2012. Washington, DC: ERIC.

European Association for Quality Assurance in Higher Education - ENQA. (2005).

Standards and guidelines for quality assurance in the European higher education

area. Helsinki: ENQA.

European Association for Quality Assurance in Higher Education – ENQA. (2007).

Report on standards and guidelines for quality assurance in the European higher

education area. Helsinki.

European Association for Quality Assurance in Higher Education – ENQA. (2009).

Current trends in European Quality Assurance, Workshop report 8. Helsinki.

Felix, G. T. (2008). Reconfiguração dos modelos de universidade pelos formatos de

avaliação: efeitos no Brasil e Portugal. (Tese de Doutorado). Faculdade de

Educação da Universidade Federal do Rio Grande do Sul, Porto Alegre, Brasil.

Fielding, N., & Schreier, M. (2001). Introduction: On the compatibility between

qualitative and quantitative research methods. In Forum Qualitative

Sozialforschung/Forum: Qualitative Social Research (Vol. 2, No. 1).

Hanushek, E. A., Link, S., & Woessmann, L. (2013). Does school autonomy make

sense everywhere? Panel estimates from PISA. Journal of Development

Economics, 104, 212–232. doi:10.1016/j.jdeveco.2012.08.002

Harvey, L. (1995). Beyond TQM. Quality in Higher Education, 1(2), 123–146.

doi:10.1080/1353832950010204.

Harvey, L. (2002). Evaluation for What? Teaching in Higher Education, 7(3), 245–263.

doi:10.1080/13562510220144761.

Harvey, L. (2009). Deconstructing quality culture. In Presentation given in a European

Association for Institutional Research (EAIR). Annual Conference in Vilnius. August

18

Harvey, L., & Askling, B. (2003). Quality in higher education. In The dialogue between

higher education research and practice, 69-83. Springer Netherlands.

Hood, C. (1989). Public administration and public policy: Intellectual challenges for the

1990s. Australian Journal of Public Administration. 48(1), 346–358. doi:

10.1111/j.1467-8500.1989.tb02235.x

Hussein, A. (2009). The use of triangulation in social sciences research: Can qualitative

and quantitative methods be combined. Journal of Comparative Social Work.

1(8), 1-12.

Instituto Nacional de Estudos e Pesquisas Educacionais Anisio Teixeira (INEP).

(2010a). A trajetória do Inep. Inep, Brasília. Brasil. Disponível em:

http://www.inep.gov.br/institucional. Acesso em 03.jul.2016.

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). (2004).

Censo da Educação Superior. Brasília, Brasil.


Censo da Educação Superior. Brasília, Brasil.


Informações Estatísticas: Microdados do Censo da Educação Superior 2003.

Brasília, Brasil. Disponível em: http://portal.inep.gov.br/basica-levantamentos-

acessar Acesso em 02.ago.2016


Informações Estatísticas: Microdados do Censo da Educação Superior 2014.

Brasília, Brasil. Disponível em: http://portal.inep.gov.br/basica-levantamentos-

acessar Acesso em 02.ago.2016


Informações Estatísticas: Microdados do Enade 2004. Brasília, Brasil.

Disponível em: http://portal.inep.gov.br/basica-levantamentos-acessar Acesso

em 02.ago.2016




em 02.ago.2016




em 02.ago.2016




em 02.ago.2016




em 02.ago.2016




em 02.ago.2016

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP).

(2010b). Informações Estatísticas: Microdados do Enade 2010. Brasília, Brasil.

19




em 02.ago.2016




em 02.ago.2016


(2014a). Informações Estatísticas: Microdados do Enade 2014. Brasília, Brasil.


em 02.ago.2016


(2010c). Orientações gerais para o roteiro da auto-avaliação. Brasília, Brasil.

Instituto Nacional de Estudos e Pesquisas Educacionais Anisio Teixeira (INEP).

(2010b). SINAES. Inep. Disponível em: http://www.inep.gov.br/superior/sinaes.

Acesso em 03.jul.2016.


SINAES: da concepção à regulamentação. Brasília, Brasil. Disponível em

www.publicacoes.inep.gov.br/detalhes.asp?pub=4389#. Acesso em: 10.jul.2016;

Lamarra, F. N. (2006). La evaluación y la acreditación de la calidad: Situación,

tendencias y perspectivas. Informe sobre la Educación Superior en América

Latina y el Caribe: La metamorfosis de la educación superior, 31-42.

Lamarra, N. F. (2007). La universidad en America Latina y Argentina: problemas y

desafios políticos y de gestión. Revista Gestão Universitária na América Latina -

GUAL, 1(1), 40-64.

Lamarra, N. F.; & Centeno, C. G. P. (2016). La educación superior latinoamericana en

el inicio del nuevo siglo. Situación, principales problemas y perspectivas futuras.

Revista Española de Educación Comparada, 0(27), 123-148.

doi:10.5944/reec.27.2016.15044

Lamarra, N. F.; & Cóppola, N. (2007). Educación superior y calidad en América Latina

y Argentina: los procesos de evaluación y acreditación. Buenos Aires: Eduntref,

Lei nº. 10.861 de 14 de abril do Ministério da Educação. Presidência da República do

Brasil. (2004). Institui o Sistema Nacional de Avaliação da Educação Superior

(SINAES) e dá outras providências. Diário Oficial da União: seção I, edição 72,

p. 3-4. Acesso em 19.jan. 2015. Disponível em http://www.planalto.gov.br.

Lenkeit, J., & Caro, D. H. (2014). Performance status and change - measuring education

system effectiveness with data from PISA 2000–2009. Educational Research and

Evaluation, 20(2), 146–174. doi:10.1080/13803611.2014.891462

Massy, W. F. (2005). Academic audit for accountability and improvement. Achieving

accountability in higher education: Balancing public, academic and market

demands. San Francisco: Jossey-Bass, 173-197.

Naidoo, R. (2007). Higher education as a global commodity: The perils and promises

for developing countries. The Observatory on Borderless Higher Education,

London, United Kingdom.

20

Neave, G. (1988). On the cultivation of quality, efficiency and enterprise: an overview

of recent trends in higher education in Western Europe, 1986-1988. European

journal of education, 7-23. doi: 10.2307/1502961

Neave, G., & Van Vught, F. A. (1994). Government and Higher Education

Relationships across Three Continents: The Winds of Change. Issues in Higher

Education Series, v.2. Pergamon Press, Elsevier Science Ltd., United Kingdom.

OECD (1999) Quality and Internationalization in Higher Education. Programme on

Institutional Management in Higher Education - IMHE. Paris. doi:

10.1787/9789264173361-en

Pedrosa, R. H. L.; Amaral, E.; Knobel, M. (2012). Assessing higher education learning

out-comes in Brazil. Higher Education Management and Policy, 24(2), 55-71.

doi:10.1787/hemp-v24-2-en

Pereira, C. A.; Machado, M. L. Araújo, J. F. F. E. (2015). Acreditação do ensino

superior na Europa e Brasil: mecanismos de garantia da qualidade. Revista de

Políticas Públicas, 19(1) 61-75. Disponível em:

http://www.redalyc.org/articulo.oa?id=321143201004. Acesso em 11.jul.2015.

Polidori, M. M. (2009). Políticas de avaliação da educação superior brasileira.

Avaliação: Revista da Avaliação da Educação Superior, 14(2), 439-452.

Polidori, M. M.; Marinho-Araujo, C. M.; Barreyro, G. B. (2006). SINAES: perspectivas

e desafios na avaliação da educação superior brasileira. Ensaio, 14(53), 425-436.

Pollitt, C. (1993) Managerialism and the Public Services. The Anglo-American

Experiences. Oxford: Basil Blackwell.

Portaria nº 1.027 de 15 de maio do Ministério da Educação. Presidência da República

do Brasil. (2006). Dispõe sobre banco de avaliadores do Sistema Nacional de

Avaliação da Educação Superior - Sinaes, a Comissão Técnica de

Acompanhamento da Avaliação - CTAA e dá outras providências. Diário Oficial

da União: seção I, edição 92, p. 16-67. Acesso em 11.ago.2016. Disponível em:

http://www.imprensanacional.gov.br

Portaria nº 1.751 de 27 de outubro do Ministério da Educação. Presidência da República

do Brasil. (2006). Divulga, na forma dos Anexos I e II a esta Portaria, a relação

nominal dos avaliadores de instituições de educação superior e de cursos de

graduação, selecionados pela Comissão Técnica de Acompanhamento da

Avaliação - CTAA, que passam a integrar o Banco de Avaliadores dos Sistema

Nacional de Avaliação da Educação Superior - BASis. Diário Oficial da União:

seção I, edição 208, p. 16-67. Acesso em 11.ago.2016. Disponível em:

http://download.inep.gov.br/download/superior/institucional/Portaria_MEC_n17

51_27_outubro_2006.pdf

Portaria nº. 208 de 04 de maio do Instituto Nacional de Estudos e Pesquisas

Educacionais Anisio Teixeira. Ministério da Educação do Brasil. (2016). Institui

o Índice de Seleção dos Avaliadores de Curso (ISACURSO) e o Índice de Seleção

dos Avaliadores de Institucionais (ISAIES) do SINAES. Boletim de Serviço,

INEP, volume 20, n.5, edição extra. Acesso em 10.ago.2016. Disponível em:

http://download.inep.gov.br/educacao_superior/avaliacao_cursos_graduacao/legi

slacao_normas/2016/portaria_n208_04052016.pdf

21

Portaria nº. 386 de 11 de maio do Ministério da Educação. Presidência da República do

Brasil. (2016). Aprova, em extrato, os novos indicadores do Instrumento de Avaliação

de Cursos de Graduação nos graus de tecnologia, de licenciatura e de bacharelado para

as modalidades presencial e a distância, do Sistema Nacional de Avaliação da

Educação Superior - Sinaes. Diário Oficial da União: seção I, edição 89, p. 37-38.

Acesso em 11.ago.2016. Disponível em:

http://download.inep.gov.br/educacao_superior/avaliacao_cursos_graduacao/legislaca

o_normas/2016/portaria_n386_2016.pdf.

Portaria Normativa nº 8 de 28 de abril do Ministério da Educação. Presidência da República

do Brasil. (2016). Cria indicadores de qualidade para a Educação Superior e institui

Grupo de Trabalho para elaboração e definição de metodologia para sua

implementação. Diário Oficial da União: Seção 1, edição 81, p. 11-12. Acesso em

06.ago.2016. Disponível em: http://www.semesp.org.br/site/assessorias/portaria-

normativa-mec-n8-de-28-de-abril-de-2016/

Ristoff, D.; Giolo, J. (2006). O SINAES como Sistema. Revista Brasileira de Pós-Graduação.

3(6), 193-213. doi: 10.21713/rbpg.v3i6.106

Rosa, M. J., Cardoso, S., Dias, D., & Amaral, A. (2011). The EUA Institutional Evaluation

Programme: an account of institutional best practices. Quality in Higher Education,

17(3), 369-386, doi:10.1080/13538322.2011.625207

Santos, S. M. (2011). Análise comparativa dos processos europeus para a avaliação e

certificação de sistemas internos de garantia da qualidade. Lisboa: Agência de

Avaliação e Acreditação do Ensino Superior (A3ES).

Schwartzman, S., Clark, B. R., & Neave, G. (1992). The Encyclopedia of higher education.

The Encyclopedia of higher education.

Soh, K. (2014). Finland and Singapore in PISA 2009: similarities and differences in

achievements and school management. Compare: A Journal of Comparative and

International Education, 44(3), 455–471. doi:10.1080/03057925.2013.787286

Stensaker, B., Langfeldt, L., Harvey, L., Huisman, J., & Westerheijden, D. (2011). An in‐depth study on the impact of external quality assurance. Assessment & Evaluation in

Higher Education, 36(4), 465-478. doi:10.1080/02602930903432074

Tashakkori, A., & Teddlie, C. (1998). Mixed methodology: Combining qualitative and

quantitative approaches. vol. 46. Thousand Oaks, CA, US: Sage Publications.

Verhine, R., Dantas, L.M.V. & Soares J.F. (2006). From “Provão” to Enade: a comparative

analysis of national exams used in brazilian higher education. Ensaio: Aval. Pol. Públ.

Educ. 14(52), 291-310.

Yauch, C. A., & Steudel, H. J. (2003). Complementary use of qualitative and quantitative

cultural assessment methods. Organizational Research Methods, 6(4), 465-481.

Documents

Modelos e Sistemas de Acreditação e Avaliação no Ensino ... · lidade no ES e explica como ocorre o processo de garantia da qualidade em prática pelo Sis-tema Nacional de Avaliação