Nível socioeconômico, qualidade e eqüidade das escolas de ... · Nivel Socioeconómico, calidad e imparcialidad en las escuelas de Belo Horizonte Entre los factores que impactan

Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.50, p. 107-126, jan./mar. 2006

Jose Francisco SoaresPós-doutorado em Educação,University of Michigan, Ann ArborProfessor do Programa de Pós-

Graduação da UniversidadeFederal de Minas Gerais,

UFMG

[email protected]

Renato Júdice de AndradeDoutorando em Educação,

UFMG

Professor do Centro

Universitário Newton Paiva,Minas Gerais

[email protected]

Nível socioeconômico, qualidade

e eqüidade das escolas de

Belo Horizonte

Jose Francisco SoaresRenato Júdice de Andrade

Pesquisa em Síntese

ResumoEntre os fatores que impactam o de-

sempenho cognitivo dos alunos da edu-cação básica destacam-se sua família, asestruturas da sociedade e a escola queele estuda. A forma de medir estes fatoressofreu enorme impactocom a popularização deduas novas técnicas esta-tísticas: a Teoria de Res-posta ao Item (TRI) e osmodelos de regressãopara dados hierárquicos.Nesse trabalho apresen-tam-se três medidas ca-racterizadoras de uma es-cola; sua posição cons-truída com ajuda da TRIa partir de indicadores for-necidos pelos alunos, me-didas da qualidade e me-didas da eqüidade cria-das com ajuda dos mo-delos hierárquicos. A basede dados utilizada é composta por infor-mações provenientes dos questionáriossocioeconômicos e pelas medidas de de-sempenho cognitivo dos estudantes dasescolas de Belo Horizonte presentes no

SIMAVE 2002 e nos vestibulares da UFMGem 2002, 2003 e 2004. A análise da qua-lidade das escolas de Belo Horizonte, atra-vés de modelo onde a influência do nívelsocioeconômico no desempenho dos alu-

nos é controlada, mostrauma dimensão otimistada realidade. Algumasescolas, públicas e priva-das, pelas suas políticase práticas pedagógicasconseguem fazer diferen-ça no desempenho deseus alunos mesmoquando eles são socioe-conomicamente desfavo-recidos. Por outro lado,hoje o sistema de educa-ção básica de Belo Hori-zonte só consegue produ-zir qualidade na presen-ça de alta iniqüidade. Oacesso está garantido,

mas apenas alguns terminam a educa-ção básica com desempenho nos níveisde desempenho adequados.Palavras-chave: Nível socioeconômico.Efeito escola. Avaliação de sistemas.

108 Jose Francisco Soares e Renato Júdice de Andrade


AbstractSocioeconomic status,quality and equity in theschools of Belo Horizonte The family, societal structure and the schoolare the most important factors in explainingthe cognitive performance of basiceducation pupils. The way of measuringthese factors has been greatly influencedwith the popularization of two new statisticaltechniques: Item Response Theory (IRT) andregression models for hierarchical data. Inthis article we present three different ways tocharacterize the school; its position based onIRT using information supplied by the pupils,measures of quality and measures of equityusing hierarchical models. The dataemployed is comprised of information fromthe socioeconomic questionnaire andmeasures of cognitive performance of pupilsfrom those schools of Belo Horizonteparticipating in SIMAVE 2002 and theUFMG entrance exams for 2002, 2003 and2004. Using a model in which the effect ofsocioeconomic background on pupilperformance is controlled for, the analysis ofthe quality of schools in Belo Horizonteallows an optimistic view of reality. As theresult of their policies and pedagogy, somepublic and private schools manage to makea difference to the performance of theirpupils even when they are sociallydisadvantaged. On the other hand, the BeloHorizonte system of basic education is onlycapable of producing quality in thepresence of high inequality. Although accessis guaranteed, only a few finish basiceducation with a level of performance thatcould be considered adequate.Keywords: Socioeconomic background.School effect. System assessment.

ResumenNivel Socioeconómico,calidad e imparcialidaden las escuelas de BeloHorizonteEntre los factores que impactan en ellogro cognitivo de los estudiantes deeducación básica (que comprende laenseñanza primaria y secundaria) sedestaca la familia, las estructuras de lasociedad y la escuela donde ellosestudian. La forma de medir estos factoressufrió un impacto enorme con la adopciónde nuevas técnicas estadísticas: la Teoríade Respuesta al Item (Item ResponseTheory - IRT) y de los Modelos JerárquicosLineales (Hierarchical Linear andNonlinear Modeling - HLM). En estetrabajo se presentan tres medidas quecaracterizan a las escuelas: el resultadodel desempeño obtenido por medio de laIRT, la medida de calidad y la medida deimparcialidad creada a través de los HLM.La base de datos utilizada está formadapor informaciones oriundas de loscuestionarios socioeconómicos y lasmedidas cognitivas de los estudiantes delas escuelas de Belo Horizonte obtenidasen el SIMAVE 2002 y en las pruebas deingreso (vestibulares) para la UFMG en2002, 2003 y 2004. El análisis de lacalidad de las escuelas de BeloHorizonte, cuyo modelo controla lainfluencia del nivel socioeconómico de losalumnos, demuestra una visión optimistade la realidad. Para los efectos de poderutilizar la información para definir políticasy prácticas pedagógicas , se observa quealgunas escuelas públicas y privadasobtienen diferencias en el desempeño delos estudiantes aunque sean

Nível socioeconômico, qualidade e eqüidade das escolas de Belo Horizonte 109


socioeconómicamente desfavorecidos. Porotra parte, en la actualidad, en el sistemade educación básica de Belo Horizontepodemos ver que solamente hay calidaden presencia de alta falta de equidad. Elacceso de los estudiantes a los centroseducativos está garantizado, pero sonpocos los que concluyen la educaciónbásica en presencia de nivelesadecuados de logro.Palabras clave: Nivel socioeconómico.Efecto del escuela. Evaluación de sistemas.

IntroduçãoA sociedade moderna atribui múltiplas

funções à escola. Sem excluir a socializa-ção de seus alunos, a escola deve ensinaros conteúdos cognitivos e propiciar experi-ências que viabilizem a seus alunos adqui-rir as competências necessárias para o aces-so a níveis escolares mais altos e também asua preparação para o trabalho. Assimmuitos esforços são feitos no sentido de secompreender quais fatores escolares podemaumentar o desempenho cognitivo dos es-tudantes. Embora haja comunalidades en-tre os fatores oriundos de estudos realiza-dos em diferentes sociedades, em cada umadelas existem especificidades que precisamser conhecidas e consideradas. No Brasil,por exemplo, não se deve estudar a reali-dade educacional sem considerar o nívelsocioeconômico – NSE, dos estudantes nemcomo os diferentes estabelecimentos tratamas diferenças entre grupos de alunos.

Importantes estudos empíricos realizadosentre as décadas de 50 e 60 mostraram queos fatores extra-escolares são os mais impor-tantes para a explicação dos resultados es-colares. Uma síntese radical destas pesqui-sas foi apresentada na polêmica afirmativaque “a escola não faz diferença”. O sucesso

ou fracasso do aluno estaria ligado apenas àsua origem social e às práticas culturais desua família. Noutras palavras a escola ape-nas reproduziria as diferenças socioeconômi-cas já existentes na sociedade.

O primeiro e mais influente desses estu-dos foi realizado nos Estados Unidos e ficouconhecido como “Relatório Coleman” (CO-LEMAN, 1966) e (MOSTELLER; MOYNIHAN,1972). Apesar de as principais conclusõesdesse estudo terem resistido às re-análisesdos dados e às fortes críticas posteriores,estudos mais recentes têm questionado esse“determinismo sociológico” que sua publi-cação acabou induzindo com o conseqüente“pessimismo pedagógico”. O pioneiro foi“Fifteen Thousand Hours” (RUTTER et al.,1979), que em conjunto com estudos poste-riores como os feitos por Sammons e outros(1995), e Lee (2000), mostram que dentreos vários fatores que influenciam o desem-penho cognitivo dos alunos deve-se desta-car também o “efeito da escola”. Há umacrescente literatura nacional baseada prin-cipalmente nos dados do Sistema Nacionalde Avaliação da Educação Básica – SAEB.Veja, por exemplo, Franco (2001), Soares(2004) e Soares, Alves e Mari (2003).

Hoje, reconhece-se que os fatores quedeterminam o desempenho cognitivo doaluno pertencem a três grandes categorias:a estrutura escolar, a família e característi-cas do próprio aluno. Nesse campo depesquisa educacional as melhores análisesincorporam todos esses fatores ao invés dese apoiar em apenas uma área. Ou seja,nem os fatores extra-escolares conseguemsozinhos explicar o desempenho cognitivo,nem a escola faz toda a diferença comoquerem fazer crer determinadas campanhaspublicitárias de escolas particulares.



Este artigo pretende contribuir para oestudo do efeito da escola propondo e cal-culando uma medida socioeconômica dasescolas de ensino fundamental e médio deBelo Horizonte, Minas Gerais. A medidaapresentada neste artigo pode substituir commuitas vantagens a medida usual baseadana presença de equipamentos na escola,dado coletado pelo Censo Escolar. A limi-tação dessa abordagem fica clara quan-do, por exemplo, se estuda a rede munici-pal de Belo Horizonte. Há anos o governomunicipal vem melhorando o equipamen-to de suas escolas, iniciativa que obvia-mente, não transformou socioeconomica-mente o alunado dessas escolas.

De forma mais precisa neste artigo pro-põe-se implementar uma maneira de medir oNSE das escolas a partir das característicassocioeconômicas de seus alunos. Para istotoma-se o NSE como um traço latente, ouseja, uma característica que não pode sermedida diretamente. Ela se manifesta atravésde indicadores de renda i.e. a presença debens de conforto doméstico na residência doestudante, a ocupação e escolaridade de seuspais. Os dados para a implementação destaproposta vieram do Sistema Mineiro de Ava-liação Educacional – SIMAVE, aplicado em2002 nas escolas estaduais e municipais deBelo Horizonte, e dos vestibulares da Univer-sidade Federal de Minas Gerais – UFMG,referentes aos anos de 2002, 2003 e 2004.

O segundo objetivo desse artigo é, utili-zando-se os mesmos dados, produzir umamedida do desempenho cognitivo para asescolas de ensino básico de Belo Horizonte.Estudos independentes dessas bases levari-am a conclusões parciais e pouco úteis. Porexemplo, analisando-se apenas o SIMAVEnada poderia ser dito sobre as escolas parti-

culares, que não foram incluídas nessa ava-liação. Por outro lado, o vestibular é domi-nado pelos alunos de escolas particulares.

Finalmente de posse das medidas do ní-vel socioeconômico das escolas e de umamedida de sua qualidade acadêmica anali-sou-se a eqüidade da escola, definida comosua capacidade de acirrar ou amortecer oefeito do NSE no desempenho dos alunos.Idealmente não basta que a escola seja boa;ela deve ser boa para todos os seus alunos,independente do nível econômico, cor dapele e gênero. A eqüidade, por ser de maisdifícil caracterização, não é usualmente con-siderada quando a sociedade avalia a es-cola, mas é crucial para os gestores públi-cos interessados em implementar políticaspúblicas educacionais inclusivas.

Descrição dos dadosComo dito, esse trabalho utiliza, de for-

ma complementar, dados do SIMAVE e dovestibular da UFMG.

O SIMAVE foi instituído em 2000, pelaSecretaria de Estado de Educação de Mi-nas Gerais, com a principal atribuição deimplementar, a cada dois anos, o Progra-ma de Avaliação da Rede Pública de Edu-cação Básica (PROEB). Esse programa devemedir o desempenho acadêmico dos alu-nos do ensino básico de Minas Gerais naescala do SAEB e colocar os resultados àdisposição das escolas para o seu planeja-mento pedagógico e também para o públi-co em geral, sem, contudo, incentivar acompetição entre as escolas.

Todas as escolas da rede estadual queoferecem as séries escolhidas para testagemno PROEB, isto é, as 4ª e 8ª séries do EnsinoFundamental e a 3ª série do Ensino Médio,



são incluídas. Como no ano de 2002 a redede ensino municipal de Belo Horizonte ade-riu ao SIMAVE, a base de dados do PROEB,utilizada neste trabalho, tem informações so-bre todas as escolas públicas da capital.

Para se ter um quadro realmente des-critivo das escolas da cidade de Belo Ho-rizonte era preciso, entretanto, incluir in-formações também sobre as escolas darede federal e particular. O vestibular daUFMG supriu esta necessidade, além decomplementar as informações da redepública. Utilizaram-se os dados dos ves-tibulares de 2002, 2003 e 2004. Comoeste trabalho contempla apenas as esco-las de Belo Horizonte, apenas os candi-datos que afirmaram ter concluído o En-sino Médio em uma escola estadual, fe-deral, municipal ou particular da capitalforam incluídos.

Apesar do esforço de incluir o maiornúmero possível de escolas, estas duas basesdeixam de fora as escolas particulares queoferecem apenas o Ensino Fundamental.Por serem particulares não foram incluídasno SIMAVE, por serem de Ensino Funda-mental não têm alunos no vestibular.

A medida de desempenho consideradafoi, para o PROEB, a proficiência do alunoem Língua Portuguesa e, para o vestibular,a soma dos pontos do candidato na pri-meira etapa1 em todas as disciplinas.

Tanto no vestibular quanto no PROEB, osalunos respondem a um questionário contex-tual cujas informações foram usadas para ocálculo da medida de NSE dos estudantes. ATABELA 1 sintetiza essas variáveis, especificandoquais dos indicadores de posição social sãocomuns às diferentes bases de dados.

1 O vestibular da UFMG é organizado em duas etapas. A primeira, realizada por todos os candidatos, é composta por questõesde múltipla escolha de Português, Matemática, Física, Química, Biologia, Geografia, História e Língua Estrangeira. A segundaetapa, só para os aprovados na primeira, constitui-se de provas específicas com questões abertas.

TABELA 1: Indicadores de Posição Social considerados

Nº Variável Identificação Descrição Origem

1 tvcores* 1 = não2 = Sim, 1 televisão a cores Televisão Vestibular3 = Sim, 2 televisões a cores ou mais em cores PROEB9 = ausente

2 vídeo* 1 = não2 = Sim, 1 aparelho Videocassete Vestibular3 = Sim, 2 aparelhos ou mais PROEB9 = ausente

3 maqlav* 1 = não Máquina de Vestibular2 = sim lavar roupa PROEB9 = ausente

4 comput* 1 = não2 = sim Microcomputador Vestibular

9 = ausente PROEB




5 autom* 1 = não2 = Sim, 1 automóvel Automóvel Vestibular3 = Sim, 2 automóveis ou mais PROEB9 = ausente

6 banheiro* 1 = não2 = Sim, 1 banheiro3 = Sim, 2 banheiros Banheiro Vestibular

4 = Sim, 3 banheiros ou mais PROEB

9 = ausente

7 escpai* 1 = Nenhum2 = Até a 4ª série3 = Até a 8ª série4 = Até o Ensino Médio Escolaridade Vestibular

5 = Começou uma faculdade do pai PROEB

ou tem algum curso superior9 = ausente

8 escmae* 1 = Nenhum2 = Até a 4ª série3 = Até a 8ª série4 = Até o Ensino Médio Escolaridade Vestibular

5 = Começou uma faculdade da mãe PROEB

ou tem algum curso superior9 = ausente

9 empreg 1 = não2 = Sim, 1 empregada Empregada Vestibular3 = Sim, 2 empregadas ou mais doméstica9 = ausente

10 aspira 1 = não2 = sim Aspirador de pó Vestibular9 = ausente

11 cabo 1 = não2 = sim Televisão a cabo Vestibular9 = ausente

12 ocuppai 1 = Grupo 1= agrupamentos 4, 5 e 62 = Grupo 2= agrupamento 3 Ocupação do pai Vestibular3 = Grupo 3= agrupamentos 1 e 29 = ausente

TABELA 1: Indicadores de Posição Social considerados (continuação)




13 ocupmae 1 = Grupo 1 = agrupamentos 4, 5 e 62 = Grupo 2 = agrupamento 3 Ocupação da mãe Vestibular3 = Grupo 3 = agrupamentos 1 e 29 = ausente

14 renda 1 = menos de dois salários mínimos2 = de dois a cinco salários mínimos3 = de cinco a dez salários mínimos Renda do Vestibular

4 = de dez a quinze salários mínimos grupo familiar

5 = mais de quinze salários mínimos9 = ausente

15 telefon 1 = não2 = Sim, 1 telefone3 = Sim, 2 telefones Telefone Vestibular4 = Sim, 3 telefones ou mais (fixo ou celular)

9 = ausente

16 geladupl 1 = não2 = sim Geladeira duplex Vestibular9 = ausente

17 telefone 1 = não2 = Sim Telefone PROEB9 = ausente (somente fixo)

18 celular 1 = não2 = Sim Telefone PROEB9 = ausente (somente celular)

19 sala 1 = não2 = sim, 1 sala Salas PROEB3 = sim, 2 salas ou mais9 = ausente

20 freezer 1 = não2 = sim Freezer PROEB9 = ausente

21 rede* 1 = pública2 = privada Dependência Vestibular

9 = ausente administrativa PROEB

22 turno* 1 = noturno2 = diurno Turno Vestibular

9 = ausente PROEB

* Itens comuns às duas bases

TABELA 1: Indicadores de Posição Social considerados (continuação)



Algumas observações adicionais são ne-cessárias para o completo entendimento dasinformações utilizadas neste trabalho. Primei-ramente, deve-se observar que há indicadorespresentes apenas em uma das bases. Os itenscomuns foram recodificados de forma que asopções sejam idênticas nos dados utilizados.

A variável “turno”, no caso do PROEB,refere-se ao turno no qual o aluno está estu-dando naquele ano. Como a maioria dosalunos do Ensino Fundamental estuda du-rante o dia, não é razoável usar o turno comoum indicador de posição social para os alu-nos deste nível. Entretanto no vestibular oscandidatos mais pobres são majoritariamen-te oriundos do ensino médio noturno. Assimtomou-se o “turno” como dado ausente paraos alunos do Ensino Fundamental na base

do PROEB. O item “máquina de lavar” nãorestringiu a opção dos estudantes permitindoque o “tanquinho” fosse também considera-do. Certamente essa imprecisão piora a qua-lidade desse item como indicador de posiçãosocial. A aparente repetição das variáveis “te-lefon”, “telefone” e “celular” se deve ao fatode que elas originam-se de bases diferentesonde a mesma pergunta é feita de forma di-ferente. Nos últimos anos entretanto o perfilde uso do telefone celular mudou muito, jus-tificando seu uso separado.

Além das exclusões das bases do PROEBe do vestibular já apresentadas, todos alunoscom mais de três informações ausentes foramdesconsiderados. A TABELA 2 discrimina aorigem dos 168.340 alunos e 461 escolascujos dados foram utilizados neste artigo.

TABELA 2: Número de casos de cada base de dados

Base de dados Rede Nº de casos Percentual

Federal 2.070 5,4Estadual 16.799 43,7

Vestibular 2002 Municipal 5.339 13,9Particular 14.236 37,0Subtotal 38.444 22,9*





Federal - -Estadual 44.008 63,1

PROEB 2002 Municipal 25.732 36,9Particular - -Subtotal 69.740 41,4*

Total 168.340 100

* Percentual em relação à base de dados total.



Medida dos construtosEmbora contendo informações adequa-

das para os propósitos deste artigo, os da-dos disponíveis, por serem originários deavaliações diferentes, não são os ideais paraestudar a questão colocada. Assim sendo,o objetivo desta seção é apresentar as trans-formações necessárias para tornar os dadosdo PROEB e do vestibular comparáveis e osmétodos usados para a construção das me-didas de nível socioeconômico dos alunos eda excelência e eqüidade das escolas.

Nível socioeconômicoCada item da TABELA 1 é tomado como

indicador do nível socioeconômico, carac-terística latente e não-observável do estu-dante. Assume-se também que cada estu-dante escolhe de forma consistente entre asalternativas de cada indicador aquela quereflete seu maior ou menor NSE.

A relação teórica entre a alternativa es-colhida, e o NSE do estudante, é descritapor funções, denominadas curvas caracte-rísticas do item, introduzidas e estudadasna Teoria de Resposta ao Item – TRI (HAM-BLETON, 1993). Os modelos da TRI ade-quados a uma dada situação variam como tipo de item utilizado. Neste trabalho uti-lizamos o modelo de Samejima (1969),apropriado para itens com respostas gra-duadas, ou ordinais.

A análise da qualidade de cada indica-dor como componente da medida da carac-terística latente é feita analisando-se a suacurva característica. Por exemplo, o GRÁFI-CO 1 apresenta a curva da questão 6: “Nasua casa tem banheiro?”, item que possuiquatro alternativas de resposta e é um bomindicador. No eixo das abscissas está colo-cado o nível socioeconômico dos alunos e

no eixo das ordenadas está colocada a pro-babilidade de uma pessoa com um dado NSEescolher cada uma das respostas. Pode-senotar que as alternativas 1 e 4 (respectiva-mente, não ter banheiro em casa e ter três oumais banheiros) são escolhidas apenas pelosalunos dos extremos da escala. Além disso, àmedida que aumenta o NSE, aumenta a pro-babilidade de se escolher a opção 4 (trêsbanheiros ou mais), e diminui a probabilida-de de se escolher as opções 2 ou 3 (um oudois banheiros, respectivamente).

GRÁFICO 1:Curva Característica do Item 6 (banheiro)

Há outras formas de análise de itens paraverificar a utilidade de cada item no cálculoda medida do fator latente, mas cuja apre-sentação foge ao escopo deste artigo. A es-timação dos parâmetros das curvas carac-terísticas de cada item bem como do valorda medida do fator latente em todos os indi-cadores é feita usando-se softwares específi-cos, como o MULTILOG (THISSEN, 1991),especialmente desenvolvido para análise deitens com respostas graduadas.



A incorporação da TRI como técni-ca de análise de itens e construção deescalas deu-se por volta da década de80, principalmente, pelo fato de que ela“oferece recursos mais flexíveis e efica-zes na confecção, análise e apresenta-ção dos resultados de prova que quais-quer outros recursos equivalentes, deri-vados a partir da Teoria Clássica” (FLE-TCHER, 1994, p. 23). Sua principal uti-lidade é proporcionar medidas invari-antes. No caso deste trabalho isso sig-nifica que a medida do NSE dos estu-dantes independe, sob algumas condi-ções, dos itens que compõem o questi-onário. Como conseqüência uma me-dida do nível socioeconômico dos alu-nos pode ser obtida mesmo que dife-rentes alunos tenham respondido a itensdiferentes. Isso, no entanto, só é possí-vel se os itens comuns e não-comunsmedem o mesmo traço latente e todosos itens são respondidos sob condiçõesidênticas.

Isto não ocorre, entretanto, na situ-ação dos dados usados neste trabalho.Os itens sobre renda e ocupação dospais, excelentes descritores da posiçãosocial da família, foram aplicados ape-nas aos alunos do vestibular. Assim osalunos do PROEB, todos basicamentede escolas públicas, não puderam for-necer uma informação que certamenteindicaria sua menor posição social.Além disso, como mostrado na TABELA3, os alunos de uma mesma escola pú-blica disseram possuir mais bens deconforto doméstico no questionário doPROEB do que no questionário do Ves-tibular. A TABELA 3 sintetiza essa com-paração para um mesmo grupo de es-tudantes de escolas públicas.

TABELA 3: Média dos valores de indicado-res presentes no PROEB e no Vestibular

Variável Vestibular da 3ª série do EMUFMG de 2003 do PROEB 2002

tvcores 2,37 2,48

video 1,71 1,76

maqlav 1,72 1,85

comput 1,35 1,32

autom 1,46 1,56

banheiro 2,38 2,43

escpai 3,09 2,85

escmae 3,16 2,83

Diante disso, fica claro que as informa-ções disponíveis nos questionários contex-tuais do vestibular da UFMG e do PROEB,embora sejam as únicas disponíveis e con-tendo informações que podem ser usadaspara estudar a questão proposta neste tra-balho, não são as melhores. Para obter, apartir delas, uma medida que expresse namesma métrica o NSE de todos os alunosusou-se um procedimento de duas etapas.

Em um primeiro momento, estimou-sevia TRI o NSE de todos os alunos utilizandopara isso os itens que cada aluno respon-deu e mantendo como itens comuns ape-nas a escolaridade dos pais, o turno emque estudam e a rede, pública ou privada,de sua escola. Esse procedimento produziuuma medida que usa de maneira ótima asinformações existentes.

No entanto, para as escolas públicasessa medida não contempla duas especifi-cidades. Por um lado não considera a ex-clusão do vestibular da UFMG de um gran-de número de seus alunos dessas escolasque nem se inscrevem no vestibular, certa-



mente por entender que não têm chance deaprovação. Além disso, o padrão de res-postas dos alunos dessas escolas aos itensde conforto doméstico é diferente daqueleusado, por esses mesmos alunos no vesti-bular, conforme mostrado na TABELA 3.

Para tratar deste problema assumimos queo nível socioeconômico das escolas deveriase manifestar de maneira similar quando seutilizam para sua medida os dados de umaou outra avaliação. Embora o PROEB nãoidentifique os alunos, sabemos em qual es-cola cada aluno está matriculado. Assim,equalizamos os percentis das distribuições dasmedidas de NSE dos alunos do 3O ano doensino médio das escolas públicas no PRO-EB e no vestibular, usando essa última comoreferência. Os valores referentes aos outrosalunos do PROEB foram colocados na esca-la do vestibular usando-se a transformaçãoidentificada no passo anterior.

Desempenho cognitivoDificuldades similares às encontradas

para o cálculo da medida do nível socioe-conômico tiveram de ser enfrentadas parase obter uma medida do desempenho cog-nitivo de cada aluno. Inicialmente dispu-nha-se apenas da proficiência dos alunosnos testes de Língua Portuguesa do PROEBe a nota na primeira etapa do vestibular daUFMG, escalas não comparáveis.

No entanto, a escala usada pelo PROEB éa mesma do SAEB. Soares (2005), no âmbitoda produção do Atlas da Educação de MinasGerais, estabeleceu para cada uma das sériesavaliadas no PROEB uma distribuição de refe-rência. Idealmente a distribuição de referênciadeveria ser construída por meio de estudo dosignificado pedagógico de cada nível da esca-la e da definição da porcentagem esperada de

alunos em cada nível. Como este estudo, naextensão necessária para uma escolha somen-te em base pedagógica destes percentuais, ain-da não foi feito, tomou-se como referência adistribuição de proficiências dos alunos de es-colas de maior média de desempenho no SAEB-2003. Foram incluídas tantas escolas quantasnecessárias para que o número total de alunosno grupo de referência totalizasse 10% do totalde alunos testados. Esta escolha de alunos fei-ta, no entanto, com base em escolas, inclui nogrupo de referência, alunos de amplo espectrode desempenho cognitivo.

De posse das distribuições padrão pode-se calcular o percentil de cada aluno testa-do no PROEB em relação à distribuiçãopadrão de sua série. Este procedimento, aocolocar a nota de todos os alunos que fize-ram o teste do PROEB em uma mesma es-cala, permitiu medir o desempenho cogni-tivo de uma escola usando-se os dados detodos os seus alunos.

Em um segundo momento, equaliza-ram-se os percentis das distribuições dasnotas dos alunos do 3o ano do ensino mé-dio, já expressas em percentis das distribui-ções padrão, com a distribuição das notasdos alunos das escolas municipais e esta-duais obtidas no vestibular. Com isto criou-se uma forma de traduzir a nota no vesti-bular para a escala do PROEB, transfor-mação que foi também utilizada em segui-da para os alunos da escola privada.

Esse procedimento baseia-se na hipó-tese que o padrão da escola é a mesmaindependente da forma de sua manifes-tação ser o vestibular ou o PROEB. Estaopção corrige empiricamente a superes-timação da excelência das escolas públi-cas, baseada apenas nos dados do PRO-



EB e a subestimação de sua proficiênciano vestibular que não inclui na medidade qualidade dessa escola os alunos de4a e 8a série do Ensino Fundamental.

Feitas todas estas transformações ob-tivemos uma nota para cada aluno, equi-valente a um percentil da curva ideal cor-respondente à sua série. Esta medida dodesempenho de cada aluno está na mes-ma métrica para todos os alunos mesmoaqueles que pertençam a séries diferentese avaliações diferentes.

Qualidade e eqüidadeA média do desempenho cognitivo dos

alunos de uma dada escola não pode sertomada como uma medida de sua quali-dade, já que escolas diferentes têm alu-nos com perfis socioeconômicos muito di-ferentes e é amplamente conhecida a in-fluência do nível socioeconômico no de-sempenho dos alunos da educação bási-ca. Diante disso, tomar a medida de de-sempenho como medida de qualidade éfavorecer de forma inaceitável as escolasparticulares que atendem a alunos soci-oeconomicamente mais favorecidos.

O indicador de qualidade da escolausado neste artigo é o efeito da escolaobtido após o ajuste aos dados de ummodelo hierárquico de regressão, onde avariável resposta é a proficiência dos alu-nos. O primeiro nível do modelo refere-se ao aluno e o segundo à escola. O mo-delo usado está descrito de forma geralem (FERRÃO, 2003) e de forma sintética,mas específica, no apêndice desse arti-go. Esse modelo incluiu como variável decontrole no nível 1 o NSE dos alunos e

no nível 2, o NSE da escola. Com o re-sultado do ajuste desse modelo de regres-são obtiveram-se duas medidas para cadaescola. A primeira, que será denomina-da de “qualidade”, sintetiza a excelênciacognitiva de cada escola, após descon-tado o efeito do NSE dos alunos na suanota. Mede quanto a escola, por suaspolíticas e práticas internas, aumenta odesempenho cognitivo de seus alunos. Asegunda, que será denominada de “eqüi-dade”, é uma medida de como cada es-cola acirra ou modera as diferenças so-cioeconômicas de seus alunos.

Caracterização das escolasNível socioeconômico

Utilizando-se a metodologia introdu-zida na seção anterior calculou-se umamedida do nível socioeconômico paracada um dos alunos de todas as escolasconsideradas. O valor médio do NSE dosalunos de uma escola específica foi to-mado como nível socioeconômico da es-cola. O GRÁFICO 2 apresenta o histo-grama dessas medidas para as 461 es-colas de Belo Horizonte incluídas nesteestudo. Como esperado há maior con-centração de escolas com baixo NSE, jáque a grande maioria dos alunos do en-sino básico é de famílias de baixo NSE.O valor do NSE de cada escola pode serusado para planejamento amostral depesquisas educacionais e também paraa escolha de escolas para estudos decaso. Uma tabela com a identificação decada escola e seu respectivo NSE está àdisposição dos interessados para fins aca-dêmicos2. Não pôde ser incluída no tex-to, entretanto, devido a sua extensão.

2 Esta tabela está disponível no GAME/FaE/UFMG e o contato pode ser feito diretamente pelo e-mail dos autores.



GRÁFICO 2:Histograma do NSE das escolas de BH

O gráfico de caixas3, GRÁFICO 3,mostra o NSE das escolas, discrimina-das por dependência administrativa.Pode-se observar que enquanto as es-colas estaduais e municipais, no seuconjunto, atendem a alunos praticamen-te equivalentes em termos de NSE, asescolas particulares atendem a alunos deuma ampla gama de NSE. Ou seja, fa-mílias de recursos econômicos mais mo-destos estão também procurando esco-las particulares. A forma de seleção dosalunos das escolas federais, além de ope-rar no âmbito cognitivo, influencia o seunível socioeconômico, maior do que dasoutras escolas públicas.

GRÁFICO 3:Variação NSE por dependência administrativa

É informativo considerar também a varia-ção dentro das escolas. Isto é feito através doGRÁFICO 4, onde cada escola é caracteriza-da pela sua medida de NSE e pelo desviopadrão dessa medida entre todos os seus alu-nos. Como o desvio padrão é uma medida dedispersão dos dados, esse gráfico mostra queas escolas públicas têm não só baixo nívelsocioeconômico como também baixa disper-são. As escolas particulares têm, por outro lado,alta variação. Isto indica que seus alunos têmposição social em uma ampla faixa de varia-ção. Isto pode ser explicado em algumas es-colas pela sua política de bolsas de estudo eem outras pelo oferecimento de cursos técni-cos ou mesmo da baixa mensalidade.

3 O gráfico denominado “Gráfico de caixas” consiste em uma caixa e dois suportes. O meio da caixa é identificado pela medianados dados e marcado por uma linha horizontal. O extremo inferior é identificado pelo primeiro quartil (Q1) e o topo pelo terceiroquartil (Q3). Os suportes são as linhas que estendem do topo e do fundo da caixa até os valores mais baixos e mais altos, dentroda região definida pelos limites: inferior = Q1 – 1,5(Q3 – Q1) e superior = Q1 + 1,5(Q3 – Q1).



GRÁFICO 4:NSE das escolas e respectivo desviopadrão dos alunos de cada escola

QualidadeComo explicado na seção anterior utilizou-

se um modelo hierárquico para obter, paracada uma das escolas incluídas no estudo,uma medida de qualidade e outra de eqüida-de. O objetivo deste artigo é, principalmente,contribuir para a análise de políticas públicase escolares. Assim, não apresentaremos listasou tabelas que as classifiquem individualmentesegundo a sua qualidade ou eqüidade4. Istotem sido feito pela grande imprensa semprecom um efeito ruim sobre as escolas, além dafragilidade intrínseca desse tipo de classifica-ção, como mostrado por Goldstein (1994).

O GRÁFICO 5 apresenta um gráfico decaixas da medida de qualidade para as escolasincluídas no estudo. Como o conjunto dos efei-tos de todas as escolas tem média zero, ficaclaro que as escolas particulares tipicamente têmmais efeitos negativos do que positivos. Isto querdizer que, o desempenho observado nas esco-las particulares é devido mais ao NSE de seusalunos e não as suas práticas e políticas inter-

nas. Há naturalmente entre elas escolas de altaqualidade, mas também muitas outras de qua-lidade relativa muito baixa. Neste caso é preci-so explicitar que há escolas, por atenderem aum alunado muito especial, com projeto peda-gógico que não privilegia o desempenho cog-nitivo. O resultado acima apenas constata quesua qualidade cognitiva é baixa. Não há ne-nhum julgamento de valor sobre a escola comoum todo. Como o estudo conta apenas comtrês escolas federais observa-se uma variaçãopequena para esta rede administrativa.

GRÁFICO 5:Medida da qualidade pordependência administrativa

EqüidadeO GRÁFICO 6 apresenta a medida de

eqüidade de todas as escolas, discriminando-as por dependência administrativa. Deve-selembrar que a medida de eqüidade é na rea-lidade uma medida de acirramento do efeitosocioeconômico. Ou seja, idealmente o valorda medida de eqüidade deveria ser grande.Exceto as escolas federais que têm um baixovalor de eqüidade, i.e., acirram o impacto doNSE na medida do desempenho, as outras

4 O resultado individual de cada escola está disponível para finalidades acadêmicas.



escolas, no seu conjunto, têm eqüidade emtorno de zero. Ou seja, não acirram nem mo-deram o efeito do NSE. Este resultado é parti-cularmente frustrante para as escolas públicascujo projeto pedagógico enfatiza a eqüidadecomo uma de suas metas mais importantes.

GRÁFICO 6:Medida da eqüidade pordependência administrativa

Uma outra forma de análise das escolasé apresentar conjuntamente a medida dequalidade e a medida de eqüidade. O GRÁ-FICO 7 mostra que há uma grande associ-ação entre as medidas de qualidade e deeqüidade, a qualidade caindo com o au-mento da eqüidade. Isso pode ser observa-do com a reta de regressão linear acrescen-tada de forma auxiliar. Ou seja, não existem

em Belo Horizonte escolas com alta eqüida-de e alta qualidade. Esse resultado, emboratípico nos estudos de eficácia escolar no Brasilé socialmente muito perverso.

GRÁFICO 7:Qualidade versus eqüidade paratodas as escolas da pesquisa

Grupos homogêneos de escolasUtilizando as três medidas de caracteri-

zação das escolas, i.e o NSE, a qualidadee a eqüidade, criaram-se, usando a técni-ca estatística de análise de conglomerados5,cinco grupos homogêneos de escolas. Onúmero de grupos foi escolhido de formasubjetiva, porém cuidadosa. A TABELA 4mostra o número de escolas em cada gru-po e o ponto médio das escolas que osconstituem nas três variáveis.

5 Utilizou-se o método denominado KMEANS, conforme implementado no software SPSS, fixando o número de conglomerados em5 e usando-se os valores padrão das outras opções.

TABELA 4: Características dos grupos homogêneos de escolas

Grupos 1 2 3 4 5

NSE 0,75 - 0,11 - 0,16 0,79 0,73

Qualidade 2,01 0,43 - 0,30 0,03 - 1,34

Eqüidade - 0,32 - 0,04 0,04 - 0,03 0,17

Número de escolas 7 163 233 44 13



Os grupos 2, 3, e 4, exatamente os quecontém a maior parte das escolas têm médiade eqüidade muito parecida. Isto mostra queessa variável pouco influenciou a formaçãodos grupos. Fato esperado considerando-sea associação existente entre a qualidade eeqüidade. Assim sendo, apresentam-se, apro-ximadamente, os grupos através do GRÁFI-CO 8, onde cada escola é identificada ape-nas pelo seu NSE e sua qualidade.

GRÁFICO 8:Grupos homogêneos de escolaspor qualidade e NSE

As escolas do grupo 5 são quase todas,escolas particulares com baixa qualidade,mesmo atendendo alunos de maior nívelsocioeconômico. Esta é uma combinaçãoperversa. No entanto, estas escolas têm umacapacidade discreta de moderar o efeito doNSE no desempenho de seus alunos.

O grupo 4 é constituído basicamentepor escolas particulares que, embora ten-do um NSE médio para alto, nada agre-gam em termos cognitivos a seus alunos,nem têm capacidade de moderar os efeitosdas diferenças socioeconômicas sobre odesempenho. Uma situação pouco confor-

tável para qualquer escola. Os casos maispreocupantes, entretanto, referem-se àque-las escolas públicas que estão próximas afronteira entre a região 2 e 4. São as esco-las públicas de Belo Horizonte que possu-em os alunos de maior NSE e, no entanto,são de baixa qualidade. Essas são escolasque justificam estudos de caso.

No grupo 3 encontram-se escolas combaixo NSE e baixa qualidade e com eqüidadeneutra. A grande maioria das escolas dessegrupo é ou estadual ou municipal e, portantoé a escola tipicamente disponível para a gran-de maioria da população. As escolas destegrupo não agregam qualidade cognitiva enem moderam os efeitos da posição social.

O grupo 2 agrega as escolas que, em-bora atendendo a alunos de baixo nível so-cioeconômico, têm um efeito positivo, ain-da que moderado, sobre eles. Embora es-sas escolas não consigam mediar o efeitodo NSE são as melhores opções existenteshoje para os alunos provenientes de clas-ses populares. Aqui também tem-se boasopções para estudos de caso.

O grupo 1 é formado pelas 3 escolasfederais e algumas particulares, considera-das as melhores escolas da cidade, poisagregam muito a seus alunos, que são, en-tretanto, quase todos de alto NSE. Além dis-so, no seu conjunto estas escolas acirram asdiferenças do nível socioeconômico.

ConclusãoNeste artigo, usando-se dados prove-

nientes de duas avaliações educacionaisdas quais participaram tanto os alunos dasescolas públicas quanto os das escolasparticulares, produzimos uma caracteriza-



ção socioeconômica e cognitiva de 461escolas de Belo Horizonte. Cada escola foicaracterizada através de três medidas: o seunível socioeconômico, uma medida de suaqualidade, e de sua eqüidade.

Para o cálculo do NSE foi necessáriousar métodos da Teoria de Resposta ao Item– TRI, além de métodos clássicos de equa-lização de escalas. A medida produzida ébaseada em características individuais dosalunos e não na estrutura física da escola.Isto permitiu uma melhor caracterizaçãosocioeconômica das escolas, principalmentedas públicas.

Ao construir uma medida de qualidadedas escolas de Belo Horizonte, onde a in-fluência do NSE no desempenho dos alu-nos é retirada através de modelos estatísti-cos apropriados, desvenda-se uma dimen-são otimista na realidade. Algumas esco-las, públicas e privadas, pelas suas políti-cas e práticas pedagógicas conseguem fa-zer diferença no desempenho de seus alu-nos mesmo quando são socioeconomica-mente desfavorecidos. Estes casos de su-cesso podem ser estudados no sentido dese descobrir quais práticas fazem diferençana escola. A existência destas escolas é umforte argumento para quebrar uma certa

inércia e pessimismo pedagógico existenteno meio educacional.

Por outro lado, constatou-se que em BeloHorizonte a qualidade escolar está associ-ada à presença de iniqüidade. Por vias ain-da não estudadas constatamos que a qua-lidade das escolas foi obtida esquecendo-se da eqüidade. Em outras palavras, hojeo sistema de educação básica de Belo Ho-rizonte só consegue produzir qualidade napresença de alta iniqüidade. O acesso estágarantido, mas apenas alguns terminam aeducação básica com desempenho nos ní-veis de desempenho adequados. Deve-sepensar políticas públicas educacionais quenão excluam6 o aluno durante o processo.

A educação básica brasileira avançounos últimos anos, principalmente, no quese refere à garantia de acesso para todasas crianças e adolescentes. Porém, ainda épreciso melhorar a qualidade. Não só me-lhorar a qualidade, mas melhorá-la de for-ma eqüitativa. Trabalhos como este surgemjustamente para que esses avanços sejamconstruídos baseados em pesquisas empí-ricas. Daí a importância da disponibilida-de da base de dados e da manutenção eaprimoramento dos sistemas de avaliaçãoimplantados no país.

6 Exclusão, neste caso, não está sendo utilizado no sentido do aluno deixar a escola. Mas o fato de que alguns alunos estão sendodiscriminados dentro da própria escola, através de práticas que favorecem aqueles de maior NSE ou ausência de práticas para osdesfavorecidos.



ReferênciasCOLEMAN, J. S. et al. Equality of educational laboratory, 1996. Disponível em: <http://www.nwrel.org/scpd/esp/esp95.html>. Acesso em: abr. 2004.

FERRÃO, M. E. Introdução aos modelos de regressão multinível em educação.Campinas, SP: Editora Komedi, 2003. 106 p.

FLETCHER, P. R. A Teoria da Resposta ao Item: medidas invariantes do desempenhoescolar. Ensaio: avaliação e políticas públicas em educação: revista da FundaçãoCesgranrio, Rio de Janeiro, v. 1, n. 2, p. 21 – 28, jan./mar. 1994.

FRANCO, C. O SAEB: potencialidades, problemas e desafios. Revista Brasileira deEducação, São Paulo, n. 17, p. 127-132, 2001.

HAMBLETON, R. K. Principles and selected applications of Item Response Theory. In: LINN,R. L. (Ed.). Educational measurement. 3. ed. Washington, DC: American Council onEducation and the National Council on Measurement in Education, 1993. p.147-200.

GOLDSTEIN, H.; THOMAS, S. Using examination results as indicators of school andcollege performance. J. R. Statistic. Soc., London, Series A, n. 159, p. 149-163, 1996.

LEE, V. E. Using hierarchical linear modeling to study social contexts: the case of schooleffects. Educational Psychologist, London, n. 35, p. 125-141, 2000.

MISLEVY, R. J.; BOCK, R. D. Bilog: Item analysis and test scoring with binary logisticmodels. 2. ed. Chicago: Scientific Software, Inc., 1990.

MOSTELLER, F.; MOYNIHAN, D. P. On equality of educational opportunity. New York:Random House, 1972.

RUTTER, M. et al. Fifteen thousand hours: secondary schools and their effects onchildren. Cambridge: Harvard University Press, 1979.

SAMEJIMA, F. Estimation of latent ability using a response pattern of graded scores.Psychometrika, New York, v. 17, 1969. Monograph Supplement , n. 4, Part 2.

SAMMONS, P. et al. School effectiveness: coming of age in the twenty-first century. Lisse;Exton, PA: Swets and Zeitlinger Publishers, 1999.

SOARES, J. F. Cognitive achievement inequalities in Brazil: the role of SES, gender, raceand region of residence. In: GLOBAL CONFERENCE ON EDUCATION RESEARCH INDEVELOPING COUNTRIES, 2005, Praga. Trabalhos apresentados ... Praga, 2005.Disponível em: < www.preal.org/FIE, 2005>. Acesso em: mar. 2005.



SOARES, J. F. O efeito da escola no desempenho cognitivo de seus alunos. RevistaElectrónica Iberoamericana sobre Calid, Eficácia y Cambio en Educación, Madrid, v. 2,n. 2, p. 83-104, 2004. Disponível em: <http://www.ice.deusto.es/rinace/reice/vol2n2/Soares.pdf>. Acesso em: mar. 2005.

SOARES, J. F.; ALVES, M. T. G.; MARI, F. Avaliação de escolas de ensino básico. In:FREITAS, L. C. (Org.). Questões de avaliação educacional. Campinas, SP: Komedi, 2003.

SOARES, J. F. et al. Fatores associados ao desempenho em língua portuguesa ematemática: a evidência do SAEB 2003: relatório técnico. Belo Horizonte: Laboratório deMedidas Educacionais, ICEx, UFMG, 2004.

THISSEN, D. Multilog: multiple, categorical item analysis and test scoring: Using ItemResponse Theory. Chicago: Scientific Software, Inc., 1991.

Recebido em: 29/09/2005Aceito para publicação em: 21/02/2006



ApêndiceModelo hierárquico utilizado para regressão multinívelOs modelos de regressão multinível foram desenvolvidos para a análise de dadoseducacionais onde os alunos estão organizados em turmas, e estas em escolas, que porsua vez estão organizadas em sistemas. O ajuste de modelos desse tipo permite obteruma medida da qualidade e da eqüidade de cada escola. Ferrão (2003) descreve emlinguagem acessível estes modelos. Neste trabalho a equação do modelo utilizado é:

respostaij = β

0j + β1j*(NSE)

ij + e

ij

β0j = γ

00 + γ

01*(NSE_m)

j + u

0j

β1j = γ

10 + u

1j

onde:o resposta

ij é a medida de desempenho equalizado fornecida pelo i-ésimo aluno da

j-ésima escola;o β

0j e β

1j são os interceptos. Como cada um deles possui o sub-índice j significa que

existe um intercepto diferente associado a cada escola j;o NSE

ij é o nível socioeconômico do i-ésimo aluno da j-ésima escola;

o eij é o efeito aleatório associado ao nível 1 do modelo (aluno i da escola j);

o γ00

é a média global da variável dependente;o γ

01 é o coeficiente de inclinação associado ao status socioeconômico do grupo de

alunos da escolao NSE_m

j é o nível socioeconômico médio da j-ésima escola;

o u0j representa o afastamento da proficiência média da escola j à média global γ

00, ou

seja, é a medida da qualidade da escola;o γ

10 é a média global no nível socioeconômico;

o u1j representa o afastamento do nível socioeconômico médio da escola j à média

global γ10

, ou seja, é a medida da eqüidade da escola.

O arquivo disponível sofreu correções conforme ERRATA publicada no Volume 14 Número 51 da revista.

Documents

Nível socioeconômico, qualidade e eqüidade das escolas de ... · Nivel Socioeconómico, calidad e imparcialidad en las escuelas de Belo Horizonte Entre los factores que impactan