Conceito Preliminar de Curso - CPC Elaine Toldo Pazello Diretora de Estudos Educacionais DIRED /...

Conceito Preliminar de Curso - CPC

Elaine Toldo Pazello

Diretora de Estudos Educacionais

DIRED / INEP - MEC

Definição

Conceito Preliminar de Curso = média ponderada de diversas medidas relativas a qualidade de um curso

Foi criado para orientar as visitas de renovação de reconhecimento de curso

Componentes Conceito Enade (a partir de 2008 –

média dos concluintes do curso) = 0.15

Nota dos ingressantes = 0.15

IDD = 0.30

Qualidade do corpo docente = 0.30

Infra-estrutura escolar e organização didático-pedagógica = 0.10

IDD - Indicador de Diferença entre os Desempenhos Observado e Esperado

IDD – Metodologia IDD: mensurar quanto o curso contribuiu

para a formação do aluno – é uma medida de valor adicionado

Fatores que determinam o desempenho médio dos estudantes concluintes de um determinado curso i:

nível médio de conhecimento no momento do ingresso;

qualidade da formação oferecida pelo curso i;

e, um termo referente ao distúrbio aleatório.ii

Iii eQCC

,

Para estimar a relação entre o desempenho final e o inicial, a seguinte especificação foi utilizada:

Para cada curso i:• c = média das notas médias de conteúdo específico (0.75) e de formação geral (0.25) dos concluintes do curso i;• i = média das notas médias de conteúdo específico (0.75) e de formação geral (0.25) dos ingressantes do curso i; • w = proporção de estudantes ingressantes do curso i cujos pais têm nível superior de escolaridade; • z= razão entre o número de concluintes e o de ingressantes no curso i

uQzwic ....

• Mestres = % de professores no mínimo mestres;• Doutores = % de professores no mínimo doutores;• Regime = % de professores não-horistas;

• Infra = % de alunos que respondeu (A) ou (B) para a seguinte questão: “Aulas práticas: os equipamentos disponíveis são suficientes para todos os alunos?” (A) = Sim, em todas elas. / (B) = Sim, na maior parte delas. / (C) = Sim, mas apenas na metade delas. / (D) = Sim, mas em menos da metade delas. / (E) = Não, em nenhuma.

Q = medidas de qualidade do curso i

• Pedag = % de alunos que respondeu (A) para a seguinte questão: “Os planos de ensino contêm todos os seguintes aspectos: objetivos; procedimentos de ensino e avaliação; conteúdos e bibliografia da disciplina?” (A) = Sim, todos contêm. / (B) = Sim, a maior parte contém. / (C) = Sim, mas apenas cerca da metade contém. / (D) = Sim, mas apenas menos da metade contém. / (E) = Não, nenhum contém.

Q = medidas de qualidade do curso i

Q = medidas de qualidade do curso Estas medidas foram incluídas para diminuir o

viés de estimativa dos coeficientes associados às variáveis características dos ingressantes.

O desempenho dos ingressantes é positivamente correlacionado com a qualidade dos cursos, já que alunos com boa formação prévia têm maiores chances de ingressar em cursos de melhor qualidade.

Assim, parte da qualidade do curso i seria captada por estes coeficientes associados às características dos ingressantes, o que nos faria subestimar o IDD para os cursos que recebem os melhores alunos.

Q = medidas de qualidade do curso Procurando diminuir este viés, foram

incluídas estas variáveis de qualidade do curso i.

Note que para a estimativa do IDD apenas as características dos ingressantes e a razão concluinte – ingressante são utilizadas.

IDD

Iii iccidd ˆ

iiiIi zwpc .ˆ.ˆ.ˆˆ

Média ‘esperada’ dadas as características de ingresso dos alunos daquele curso

IDD = ‘desempenho observado’ – ‘desempenho que seria esperado em função das características de ingresso dos alunos daquele curso’ = quanto o curso contribui para a formação do aluno

Hipótese

Ideal = utilizar as características de ingresso dos concluintes daquele ano

No entanto, para um dado ENADE, evidentemente os ‘ingressantes’ são diferentes dos ‘concluintes’

Hipótese = os ingressantes daquele ano representam os concluintes no momento do ingresso

Dados para o cálculo Banco com alunos selecionados (amostra

1)

Participantes: São os selecionados com nota positiva em ambas as provas (para estimar a nota ‘potencial’ dos cursos)

Nota_Observada_ING: média ponderada ( ¼ FG e ¾ CE) das notas médias por curso dos Participantes Ingressantes

Nota_Observada_CONC: média ponderada ( ¼ FG e ¾ CE) das notas médias por curso dos Participantes Concluintes

Estimação Mínimos Quadrados Ordinários

As estimativas são realizadas separadamente para cada uma das áreas de avaliação

Todas as variáveis estão medidas em termos de desvios da média – (x – media de x)

Estimação (2) ui = Nota_Observada_CONC -

Nota_Estimada_CONC

IDD Índice = ui padronizado

Padronização: subtrai-se a média e divide-se pelo DP

IDD Conceito: transformação do IDD índice, nos moldes do Enade Conceito

|inf|sup

|inf|*5

ii

iii

IDDIDD

IDDIDDZ

Faixas do Conceito IDD

IDD_fx = 1 se conceito_IDD entre 0 e 0.94

IDD_fx= 2 se conceito_IDD entre 0.95 e 1.94

IDD_fx= 3 se conceito_IDD entre 1.95 e 2.94

IDD_fx= 4 se conceito_IDD entre 2.95 e 3.94

IDD_fx=5 se conceito_IDD entre 3.95 e 5.00

Observações

Todas as estimações foram feitas duas vezes Na primeira foram excluídos os cursos com

menos de 10 Participantes (concluintes ou ingressantes) e participação menor que 20% (idem)

Na segunda foram excluídos, ainda, aqueles que tiveram IDD Índice estimado menor que -3 ou maior que 3, em desvios-padrão

Entretanto, foram calculadas as notas estimadas para todos os cursos com mais de 10 participantes (concluintes ou ingressantes)

Para algumas áreas não foi possível estimar o IDD número reduzido de observações

Resultados - Engenharias

Número de Observações

1.366 cursos

881 tiveram conceito Enade e, portanto, CPC

722 tiveram IDD

Distribuição Enade - Engenharias

11.92%

28.38%

15.66%

9.31%

34.73%

0%5%

10%

15%20%25%30%

35%40%

1 2 3 4 5

Engenharias 57 58 59 60

0.644* 0.718* 0.643* 0.776* Nota Ingressante (0.107) (0.075) (0.107) (0.095)

3.723*** 3.951** 6.6454 4.702 % de pais com superior (2.121) (1.746) (2.6244) (3.119)

-2.272*** -2.495** -0.3562 -1.328 razao concluinte ingressante (1.261) (0.967) (1.5675) (1.649) n obs 140 216 82 79 r ajustado 0.6143 0.6797 0.6219 0.6883

Estimativas – regressão IDD

Estimativas – regressão IDD

Engenharias 61 62 63 64

0.345 0.809* 0.897* 0.809* Nota Ingressante (0.32) (0.109) (0.135) (0.112)

11.81* 1.41 1.894 1.084 % de pais com superior (5.943) (1.73) (3.431) (3.74)

1.358 -2.11*** -7.128* -2.81 razao concluinte ingressante (6.29) (0.9) (1.987) (1.96) n obs 20 103 58 40 r ajustado 0.5596 0.6412 0.6603 0.7246

Distribuição do IDD - Engenharias

6.2%

24.0%

38.0%

23.0%

8.9%

0%

5%

10%

15%

20%

25%

30%

35%

40%

1 2 3 4 5

Distribuição do CPC - Engenharias

1.48%

28.49%

46.20%

19.86%

3.97%

0%5%

10%15%20%25%30%35%40%45%50%

1 2 3 4 5