GOVERNO DO ESTADO DO PARANÁ SECRETARIA DE … · e/ou uma priorização dos aspectos mais técnicos ... a febre avaliatória ganha di- ... quisa avaliativa para o sucesso da reforma

GOVERNO DO ESTADO DO PARANÁ

ROBERTO REQUIÃO

Governador

SECRETARIA DE ESTADO DO PLANEJAMENTO E COORDENAÇÃO GERAL - SEPL

NESTOR CELSO IMTHON BUENO

Secretário

INSTITUTO PARANAENSE DE DESENVOLVIMENTO ECONÔMICO E SOCIAL - IPARDES

JOSÉ MORAES NETO

Diretor-Presidente

NEI CELSO FATUCH

Diretor Administrativo-Financeiro

MARIA LÚCIA DE PAULA URBAN

Diretora do Centro de Pesquisa

SACHIKO ARAKI LIRA

Diretora do Centro Estadual de Estatística

THAÍS KORNIN

Diretora do Centro de Treinamento para o Desenvolvimento

4

CONTEÚDO

A POLÍTICA DA AVALIAÇÃO DE POLÍTICAS PÚBLICAS

Carlos Aurélio Pimenta de Faria

SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA

AÇÃO GOVERNAMENTAL

Ronaldo Coutinho Garcia

O PROCESSO DE IMPLEMENTAÇÃO DE POLÍTICAS PÚBLICAS NO

BRASIL: CARACTERÍSTICAS E DETERMINANTES DA AVALIAÇÃO DE

PROGRAMAS E PROJETOS

Pedro Luiz Barros Silva e Marcus André Barreto de Melo

COMBATER A POBREZA ESTIMULANDO A FREQÜÊNCIA ESCOLAR:

O ESTUDO DE CASO DO PROGRAMA BOLSA-ESCOLA DO RECIFE

Lena Lavinas e Maria Ligia de Oliveira Barbosa

6

A POLÍTICA DA AVALIAÇÃO DEPOLÍTICAS PÚBLICAS


Em um plano normativo, a década de 1990testemunhou, nas democracias ocidentais de umamaneira geral, e na América Latina particularmen-te, a busca de fortalecimento da “função avalia-

ção” na gestão governamental. Com efeito, foramimplementados, em diversos países da AméricaLatina, sistemas de avaliação das políticas públi-cas de escopo variável. Tal processo tem sido jus-tificado pela necessidade de “modernização” dagestão pública, em um contexto de busca de di-namização e legitimação da reforma do Estado.

Os argumentos que justificam a necessidadede institucionalização da avaliação da atividade go-vernamental na América Latina também fazem ecoà visão mais canônica do processo de avaliação depolíticas públicas, aquela muitas vezes adotada emmanuais e apreciações mais introdutórias, os quaisapresentam a avaliação como “última etapa” dochamado “ciclo das políticas”, definindo-a como:(a) atividade destinada a aquilatar os resultados deum curso de ação cujo ciclo de vida se encerra; (b)a fornecer elementos para o desenho de novas in-tervenções ou para o aprimoramento de políticas eprogramas em curso; e (c) como parte da presta-ção de contas e da responsabilização dos agentes

A POLÍTICA DA AVALIAÇÃO DE POLÍTICAS PÚBLICAS*


* O autor agradece à Fundação Vitae, Programa de Coo-peração Científico-Acadêmica Argentina, Brasil e Chile,pelo financiamento da pesquisa que deu origem a estetrabalho. Partes deste trabalho foram apresentadas noSeminário Temático “Processo decisório e implementa-ção de políticas públicas no Brasil”, durante o 28º En-contro Anual da Anpocs, Caxambu, outubro de 2004, eno Seminário Nacional Avaliação de Políticas Públicasem Saúde e Direitos Sexuais e Reprodutivos, São Pau-lo, Cebrap/Nepo-Unicamp/ISC-UFBa, maio de 2005. Oautor gostaria de agradecer os comentários e sugestõesfeitos pelos pareceristas anônimos da RBCS e pelos se-guintes colegas participantes do referido encontro daAnpocs: Eduardo César Marques, Marta Arretche, Sora-ya Côrtes, Telma Menicucci e Washington Bonfim.

Artigo recebido em janeiro/2005Aprovado em julho/2005

RBCS Vol. 20 nº. 59 outubro/2005

98 REVISTA BRASILEIRA DE CIÊNCIAS SOCIAIS - VOL. 20 Nº. 59

estatais, ou seja, como elemento central da ac-countability. Mesmo que essa concepção reconhe-ça, ainda que implicitamente, o caráter inextrica-velmente político da avaliação, podemos observarnos debates e nos estudos correlatos mais recentesa prevalência de um viés francamente normativoe/ou uma priorização dos aspectos mais técnicosda avaliação das políticas públicas, bem como umaênfase em seu papel de instrumento gerencial.

Reconhecendo o caráter incipiente da pesqui-sa e da prática da avaliação no Brasil, o presentetrabalho tem como objetivos: (1) analisar os fatoresque têm justificado e condicionado a implantaçãodos sistemas de avaliação, sobretudo nos países daAmérica Latina; (2) averiguar as razões da preva-lência, no âmbito estatal e também no plano ana-lítico, de uma concepção “tecnicista” da avaliação,vista hoje quase exclusivamente como instrumentoda gestão governamental; e, finalmente, (3) enfati-zar o caráter eminentemente político da avaliaçãode políticas públicas, elencando e categorizando assuas distintas formas de utilização. Será ressaltada,assim, a virtual subordinação do uso gerencial daavaliação e de sua suposta capacidade de encer-rar, reiniciar ou revitalizar o ciclo das políticas àsinjunções políticas mais abrangentes e às estraté-gias e interesses dos tomadores de decisão e dosdemais envolvidos (aqueles que a literatura espe-cializada denomina, desvelando suas matrizes in-telectuais, stakeholders).

A institucionalização da “função avaliação” na América Latina: pre-missas, expectativas e motivações

Diga-se, logo de início, o essencial: nas déca-das de 1980 e 1990 a avaliação de políticas públi-cas foi posta a serviço da reforma do Estado.1 Separece haver consenso quanto a essa questão, há,contudo, uma diversidade de maneiras de se pen-sar a evolução do papel atribuído à pesquisa ava-liativa desde o início do boom da avaliação de po-líticas e programas públicos, ocorrido nos EstadosUnidos na década de 1960. Guba e Lincoln (1989),por exemplo, tendo como foco os Estados Unidose fazendo uma caracterização desde os anos de1930, detectaram a emergência de quatro sucessi-vas “gerações” de pesquisas avaliativas, quais se-

jam: (1) um início com um viés mais técnico, noperíodo do New Deal; (2) uma “geração” mais“descritiva”, predominante desde a Segunda Guer-ra Mundial até meados da década de 1960; (3) umaque enfatizava a oferta de “julgamentos” abaliza-dos, prevalecente entre meados dos anos de 1960e meados da década seguinte, ou seja, quando daavaliação dos polêmicos programas da “Guerra àPobreza” (War on Poverty) e da “Grande Socieda-de” (Great Society); e, finalmente, (4) uma “gera-ção” “reativa”, característica dos anos Reagan.

Albaek (1998), por seu turno, afirma que,quando do início da massificação da avaliação nosEstados Unidos, na década de 1960, a pesquisa ava-liativa era encarada predominantemente como fer-ramenta de planejamento destinada aos formulado-res de políticas e aos gerentes de mais alto escalão.Em um contexto de expansão sem precedentes dogasto público no país, de escasso conhecimentoacerca do impacto da ação governamental e da bus-ca de um maior controle sobre os burocratas/imple-mentadores, a avaliação é institucionalizada, tendocomo característica predominante o seu desenhotop-down. A expectativa era, ainda, a de que a ava-liação, ao superar o problema de déficit de com-preensão acerca desses processos e de seu impac-to, pudesse garantir a racionalidade dos processosdecisórios e a legitimação das políticas e dos pro-gramas. Essa “era de ouro” da avaliação, assim de-nominada por Rossi e Wright (1984), que, de acor-do com Oakley (1998), teria durado até o final dadécada de 1980, foi dominada por um paradigmametodológico experimental – “randomizado” e con-trolado (“randomised, controlled experimental pa-radigm”, Oakley, 1998, p. 95) – tendo sido dinami-zada por uma Ordem Executiva do presidentenorte-americano, que determinava que os progra-mas sociais fossem avaliados.

Segundo Albaek (1998), na década de 1970avolumaram-se as evidências acerca do excessode otimismo no que dizia respeito à plena utiliza-ção e incorporação, de forma racional/instrumen-tal, dos resultados das avaliações. O paradigmatop-down foi assim progressivamente revertido,abrindo espaço para o desenvolvimento de abor-dagens e metodologias bottom-up. Nas décadasde 1980 e 1990, como se verá em detalhe adian-te, a avaliação das políticas públicas foi posta aserviço da reforma do setor público.

A POLÍTICA DA AVALIAÇÃO DE POLÍTICAS PÚBLICAS 99

Uma terceira forma de se pensar a maneiracomo têm variado as motivações do Estado para avalorização da avaliação de políticas é sugerida porDerlien (2001), em artigo particularmente interes-sante e provocativo. Partindo da distinção das trêsfunções básicas atribuídas à avaliação – informa-ção, realocação e legitimação –, o autor defende atese de que, dos anos de 1960 aos anos de 1990,os objetivos buscados com a avaliação teriam pas-sado da função de informação para a de realoca-ção. Tal deslocamento teria sido acarretado por fa-tores políticos e econômicos específicos, tendohavido também uma mudança nos atores políticosdominantes. Segundo Derlien, na década de 1990passou a predominar em muitos países a função derealocação, associada ao movimento do New Pu-blic Management, tendo os avaliadores se conver-tido em auditores que privilegiavam a medição dosresultados. Vale a pena reproduzirmos aqui, emuma longa citação, a apresentação que o autor fazda função de (re)alocação, a qual, segundo suatese, passa a pautar a ênfase na avaliação duranteas duas últimas décadas:

A função predominante da avaliação nos anos de1980, durante a segunda etapa de institucionaliza-ções, estava claramente destinada a apoiar umaalocação racional dos recursos. Nesse momentoos atores principais já não são mais os administra-dores dos programas (como quando prevalecia afunção de informação), mas os escritórios de au-ditoria, os ministérios da Fazenda e as unidadescentrais, a quem compete a elaboração global doorçamento e sua estrutura interna. As questões bá-sicas que passaram a ser enfatizadas são:– Quais programas podem ser suprimidos ou re-duzidos a partir dos resultados negativos da ava-liação?– Quais são as conseqüências do retrocesso dasfronteiras do Estado, ou seja, da privatização dedeterminadas atividades públicas?– Como se pode obter ‘mais rendimento pelo di-nheiro’ a partir da reorganização dos programasindividuais e das atividades públicas em seuconjunto?As questões induzidas dos motivos da alocaçãotendem a dar mais ênfase na quantidade do quena qualidade (Derlien, 2001, p.106).

É precisamente essa associação da “funçãoavaliação” à reforma gerencialista do Estado, comênfase nos resultados e na desresponsabiliza-ção/devolução/privatização da provisão de bens e

serviços sociais, que torna compreensíveis mani-festações como estas de Vieira (1997):

[...] [no] Brasil, desde o tempo da elaboração daConstituição de 1988, a febre avaliatória ganha di-mensão de epidemia e os avaliadores metamorfo-seiam-se em festejados demiurgos [...]” (p.70).Esta nova fase de acumulação capitalista não seimporta com direitos. Seus filhos mais queridos,os recentes avaliadores, nutrem-se do relativismotão a gosto da meritocracia (p.71).

Diga-se, de passagem, que reações comoessa, que beiram a fobia, obscurecem a necessáriapercepção de que a avaliação “não é, por nature-za, característica de um tipo específico de Estadoou cultura administrativa” (Thoenig, 2000, p. 57).

A seguir apresentaremos, de maneira sucin-ta, as premissas, as expectativas e as motivaçõespara a institucionalização da “função avaliação”na América Latina. Tal processo ocorreu tardia-mente, apenas na década de 1990, tendo prevale-cido a perspectiva de instrumentalização da pes-quisa avaliativa para o sucesso da reforma doEstado. Tal discussão pavimentará o nosso cami-nho para que possamos, na seção subseqüente,analisar a postura da academia brasileira diante dahegemonia da perspectiva “gerencialista” sobre opapel da avaliação de políticas públicas.2

Como destacado por diversos autores, a me-dição e a avaliação do desempenho governamen-tal e das políticas públicas tornaram-se parte inte-gral da agenda de reformas dos anos de 1980 e1990, as quais, como se sabe, estiveram longe dese circunscrever aos países latino-americanos.Tanto por razões pragmáticas como ideológicas –e não nos parece pertinente arrolarmos aqui os fa-tores de ordem econômica, política e ideológicaque têm dado sustentação aos processos de refor-ma do Estado em grande parte das democraciasocidentais –, o desenho dessas reformas privile-giou dois propósitos básicos. Em primeiro lugar, aadoção de uma perspectiva de contenção dos gas-tos públicos, de busca de melhoria da eficiência eda produtividade, de ampliação da flexibilidadegerencial e da capacidade de resposta dos gover-nos, bem como de maximização da transparênciada gestão pública e de responsabilização dos ges-tores, em um processo no qual o “consumidor”dos bens e serviços públicos estaria, supostamen-


te, em primeiro plano. O segundo propósito ouexpectativa é de que tais reformas pudessem con-tribuir para uma reavaliação da pertinência das or-ganizações governamentais preservarem todo oseu leque tradicional de atribuições, prevalecendoum contexto de valorização da provisão privadade bens e serviços (Caiden e Caiden, 2001, p. 79).

Como corretamente assinalado por Caiden eCaiden, “a medição de desempenho, o monitora-mento e a avaliação não foram apenas ornamentaisnem tiveram uma significação incidental nas refor-mas. Foram (ou deveriam ter sido) as alavancas es-senciais da mudança” (Idem, p. 80). Vale lembrarque Wiesner Duran chama a avaliação de “proxydo mercado na administração pública” (apud Mo-kate, 2002, p. 90). A centralidade da avaliação jus-tifica-se, assim, porque se esperava que essas “fun-ções” garantissem a credibilidade do processo dereforma e a sustentabilidade política das diretrizesde desregulamentação e de redução do tamanhodo governo, quer pela via da chamada “devolu-ção”, ou seja, do deslocamento das funções e dosserviços para as instâncias subnacionais, quer pelavia da privatização. Esperava-se, também, que pu-dessem ser fomentadas a transparência na gestãopública e a satisfação dos usuários/clientes.

Parece por demais óbvio, pois, o carátereminentemente político do projeto de “moderni-zação” do Estado vinculado à “revolução” geren-cialista que se deseja implantar, no qual o moni-toramento e a avaliação de políticas ocupam lugarde destaque. Contudo, como se discutirá adiante,a política da avaliação das políticas públicas estálonge de se restringir a questões e disputas relati-vas à definição dos interesses prioritários e do es-copo do Estado, posto que a avaliação pode tam-bém, por exemplo, ser elemento central nadisputa eleitoral, no controle das interações inter-governamentais e na busca de acomodação deforças e de interesses no âmbito intraburocrático.

A hegemonia inconteste da perspec-tiva “gerencialista”: uma discussãoexploratória acerca do papel da aca-demia brasileira

Pode parecer contraditório o fato de a novaênfase dada à avaliação de políticas no Brasil apa-

rentemente não ter despertado um interesse equi-valente por parte da comunidade acadêmica dosanalistas de políticas públicas, notadamente nasáreas da ciência política e da sociologia, no senti-do de se abrir novas frentes de investigação. Omesmo parece não se dar, contudo, na seara daadministração pública, como demonstrado, porexemplo, pela freqüência com que periódicos na-cionais, como a Revista do Serviço Público e a Re-vista de Administração Pública, têm encampadoa temática.3 Note-se, ainda, que a questão tem ga-nhado destaque também em publicações doIpea,4 da Fundação Seade (Carvalho, 2003) e daFundação Carlos Chagas, como os Cadernos dePesquisa e os Estudos em Avaliação Educacional.É importante destacarmos aqui o viés acentuada-mente normativo da maior parte destes trabalhos,bem como o fato de a Revista do Serviço Públicorepublicar trabalhos de consultores internacionaismuitas vezes produzidos a partir de demandasdos organismos multilaterais, o que evidencia oforte caráter de indução externa a vincar o pro-cesso de institucionalização dos sistemas de ava-liação na América Latina.

Se for possível justificar esse panorama apartir do fato de a avaliação de políticas públicasser tarefa eminentemente multidisciplinar, como éamplamente reconhecido, resta-nos buscar com-preender o que pode ser denominado como aomissão da ciência política brasileira.5 Um primei-ro elemento para se pensar tal omissão é a postu-ra assumida por Michael Scriven, um dos primei-ros e principais teóricos da avaliação, para quema “investigação avaliativa deve produzir comoconclusão exatamente o tipo de afirmação que oscientistas sociais dizem ser ilegítima: um juízo devalor ou mérito” (Scriven, 1974, apud Ballart,1996, p. 325). Esse viés normativo talvez possanos ajudar na compreensão do seguinte parado-xo: se as investigações conduzidas na subárea daanálise de políticas públicas são fortemente con-dicionadas pela conjuntura, como apontado porMelo (1999), tal condicionamento parece não tersido suficiente para que a questão da avaliaçãoganhasse lugar de destaque na agenda de pesqui-sa dos profissionais da área, aqui entendida comosubárea da ciência política.

Cabe recordarmos, ainda, que apesar do boomdas duas últimas décadas, a estruturação do campo


da análise de políticas públicas ainda é bastante in-cipiente no Brasil, o qual padece, como tambémmostrado por Melo (1999), de grande fragmentaçãoorganizacional e temática, tendo uma institucionali-zação ainda precária. Porém, se essas característicaspodem tornar compreensíveis determinadas lacu-nas, a notória ausência de investimentos mais siste-máticos no estudo dos processos de implementaçãoe avaliação parece evidenciar também o status pri-vilegiado de que desfrutam os processos decisóriosna ciência política do país. No entanto,

[...] a escassez dos estudos “pós-decisão” no paísparece explicada não apenas pela frágil institucio-nalização da área no Brasil, que faz com que aanálise de políticas públicas continue gravitandona órbita das questões analíticas mais tradicional-mente valorizadas pela Ciência Política, mas tam-bém pela debilidade no país do campo de estu-dos da Administração Pública (Faria, 2003, p. 22).

Se a administração pública, como área detrabalho acadêmico, é extremamente débil nopaís, tendo, porém, ganhado certo vigor na déca-da passada com a abertura de Escolas de Gover-no em diversos estados da Federação, sua intera-ção com a ciência política e com a sociologiatalvez ainda seja por demais frágil.

Retratado e explicado, assim, este panoramade omissão, cabe recordarmos, como discutido naseção anterior, que a atual “gerencialização” daavaliação de políticas públicas é, antes de tudo, de-rivada de sua instrumentalização no processo/pro-jeto de reforma do Estado. Contudo, a concepçãohoje prevalecente da avaliação como instrumentoadministrativo e, portanto, como função suposta-mente alheia às disputas propriamente políticas tal-vez fique ainda mais evidenciada em função dapostura da ciência política brasileira, que acaba, as-sim, por endossar esse viés distorcido do princípiorepublicano da desvinculação entre política e ad-ministração pública.

Reconhecida, portanto, a hegemonia quaseinconteste da perspectiva gerencialista – e recor-de-se que essa é a tônica dada à implantação dossistemas de avaliação pelos organismos multilate-rais, que têm investido sistematicamente nesseprocesso ao disponibilizar assistência técnica e fi-nanciamento, ao articular redes de profissionais,

ao sensibilizar lideranças políticas e acadêmicas eao atrelar o financiamento de projetos à exigênciade avaliação –, parece-nos oportuno inventariar-mos as distintas formas de uso esperado e poten-cial da avaliação de políticas públicas, para quepossamos ampliar a nossa percepção do viés po-lítico da pesquisa avaliativa. Antes, contudo, cabealertarmos para o fato de que, evidentemente,não se espera aqui que a ciência política seja ca-paz, por si só, de “(re)politizar” a avaliação de po-líticas públicas. Cabe a ela, isto sim, a análise doimpacto e das implicações de tal hegemonia.

Os usos e a política da avaliação depolíticas públicas

Parte significativa dos estudos sobre os pro-cessos de avaliação de políticas públicas realizadosdesde a década de 1960, os quais, via de regra, ti-veram (e ainda têm) o seu epicentro na academianorte-americana, refere-se às questões de ordemmetodológica e/ou às distintas maneiras de se clas-sificar a avaliação. A avaliação tem sido, usualmen-te, classificada em função do seu timing “(antes, du-rante ou depois da implementação da política ouprograma), da posição do avaliador em relação aoobjeto avaliado (interna, externa ou semi-indepen-dente) e da natureza do objeto avaliado (contexto,insumos, processos e resultados)” (Cotta, 2001, p.91). Como discutido na primeira seção deste en-saio, os estudos avaliativos tinham originalmenteum acentuado viés top-down, sendo via de regraencarados como ferramenta de planejamento desti-nada aos formuladores de políticas e aos gerentesde mais alto escalão. Nesses primórdios, partia-seda premissa que os resultados da avaliação seriamautomática e necessariamente encampados pelostomadores de decisões para a melhoria da políticaou do programa em questão. A discussão acerca douso da avaliação restringia-se, assim, ao que hoje sedenomina uso “instrumental”.

Logo se percebeu, uma vez que se avoluma-vam as evidências de que o esperado efeito defeedback da avaliação era freqüentemente obstruí-do, a flagrante ingenuidade das expectativas de seproduzir “melhores e mais sábias decisões” combase apenas na realização da avaliação. É a partirdesse momento que se passa a investigar os deter-


minantes do uso da avaliação, sendo constituída,assim, uma nova e vicejante seara de pesquisa.6

A ênfase nos fatores que condicionam a uti-lização da avaliação e a mitigação do “furor posi-tivista” da época do primeiro boom dos estudosavaliativos (já que se pode dizer que vivemos hojeo seu segundo boom) abriu espaço para um maiorquestionamento, ainda hoje incipiente, diga-se,acerca do que chamo “política da avaliação de po-líticas públicas”

Vale lembrar que tal denominação é pensadaneste ensaio como abarcando as questões e as dis-putas relativas à definição dos interesses prioritá-rios e do escopo do Estado, à competição eleitoral,ao controle das interações intergovernamentais e àbusca de acomodação de forças e de interesses noâmbito intraburocrático, entre muitas outras ques-tões relacionadas às disputas de poder entre agen-tes e principais os mais diversos. Essa concepçãomais abrangente engloba, assim, as três dimensõesdo uso da avaliação normalmente evocadas: instru-mental (relativa ao apoio às decisões e à busca deresolução de problemas); conceitual (ou função“educativa”); e simbólica (uso “político”) (Shulha eCousins, 1997).

A percepção da vasta diversidade e da inten-sidade dos fatores que obstaculizam uma plenaou mesmo freqüente utilização da avaliação parao seu propósito “original” (melhorar a qualidadedas decisões e garantir a maximização da conse-cução dos objetivos definidos pelas políticas eprogramas) produziu reações muito diferencia-das. Aaron Wildawsky, por exemplo, desalentadodiante de tantos obstáculos, questiona, em umquase desabafo, o valor de toda a empreitada: “eucomecei pensando que era ruim não avaliar as or-ganizações e terminei me perguntando por queelas têm que fazê-lo” (apud Caiden e Caiden,2001, p. 94). Thoenig, por seu turno, parece pro-por, em algumas circunstâncias, o uso de “avalia-ções informais”, as quais poderiam tornar possívela introdução de “ajustes e mudanças sem atrair aatenção de grupos interessados internos ou exter-nos, que podem ser tentados a usar uma avalia-ção formal como uma oportunidade para resistirà reforma” (2000, p. 66). Muitas das análises maisrecentes, contudo, ao reconhecer que as condi-ções para o aproveitamento das informações dis-ponibilizadas pela avaliação quase nunca estão

dadas a priori, sugerem, a exemplo de Cotta, quea avaliação “é uma atividade que, por suas pró-prias características, exige que estas condições se-jam intencional e meticulosamente criadas, sobpena de se comprometer todo o esforço despen-dido” (2001, p. 94).7

Mas quais seriam, mais especificamente, osfatores que podem interferir na utilização dos re-sultados da avaliação? Entre tantos outros possí-veis, podem ser destacados os seguintes: existênciade crenças e interesses conflitantes na organizaçãoque gerencia o programa; ocorrência de conflitosde interesses entre as distintas unidades do progra-ma; mudanças no pessoal encarregado, quando,por exemplo, os novatos têm prioridades diferen-tes daquelas vigentes na época do início da avalia-ção; eventual inflexibilidade das regras e dos pa-drões operacionais da organização encarregada,que pode impedir a adoção das recomendaçõesfeitas quando da avaliação; e mudanças nas con-dições externas, tais como cortes orçamentários ealterações no ambiente político, que podem tor-nar impossível para a organização responder ànecessidade de mudança revelada pelos avalia-dores (Weiss, 1998, p. 22).

Como o objetivo deste ensaio, mais do que aanálise de qualquer caso específico, é ressaltar a es-treiteza da concepção gerencialista da avaliação eexpandir a nossa percepção das múltiplas implica-ções políticas da pesquisa avaliativa, buscaremos aseguir elencar e categorizar as distintas formas desua utilização. Seguindo de perto a proposta de Ca-rol Weiss (1998), serão discutidas não apenas as for-mas de uso, mas também os elementos da avaliaçãoque podem ser utilizados e, por fim, o papel e os in-teresses dos vários usuários potenciais da avaliação.8

É possível distinguir pelo menos quatro ti-pos de uso da avaliação, quais sejam: (a) instru-mental; (b) conceitual; (c) como instrumento depersuasão; e (d) para o “esclarecimento”. O usoinstrumental para a tomada de decisão dependenão apenas da qualidade da avaliação, mas tam-bém da adequada divulgação de seus resultados,de sua inteligibilidade e da factibilidade das reco-mendações eventualmente propostas. SegundoWeiss (1998), o uso instrumental seria comum empelo menos quatro situações: (1) quando as impli-cações das descobertas da avaliação não são mui-to controvertidas; (2) quando as mudanças deriva-


das ou sugeridas não são de grande monta e/oufazem parte do repertório do programa em ques-tão ou de sua organização implementadora; (3)quando o ambiente do programa é relativamenteestável no que diz respeito a suas lideranças, or-çamento, tipos de beneficiários etc.; e (4) quandoo programa está em crise e não se sabe bem oque deve ser feito.

O segundo tipo de uso é o “conceitual”,usualmente circunscrito aos técnicos locais doprograma, a quem não é com freqüência atribuí-do um maior poder de decisão. Nesse caso, asdescobertas da avaliação (e o seu próprio proces-so de realização) podem alterar a maneira comoesses técnicos compreendem a natureza, o modode operação e o impacto do programa que imple-mentam. Tal aprendizagem torna-se maximizadaquando os técnicos participam mais ativamentedo processo de avaliação.9 Como notado por Scri-ven (1996), o uso conceitual das descobertas dife-rencia-se do uso instrumental porque, no primei-ro caso, nenhuma decisão ou ação é esperada(pelo menos não imediatamente).

O uso da avaliação como instrumento de per-suasão, por seu turno, dá-se quando ela é utiliza-da para mobilizar o apoio para a posição que ostomadores de decisão já têm sobre as mudançasnecessárias na política ou programa. Busca-se aquilegitimar uma posição e ganhar novos adeptospara as mudanças desejadas. O ponto pode ser ilus-trado pela forma como o ditador Augusto Pinochetfez uso do sistema de avaliação educacional im-plantado por ele no Chile (Simce), em 1988, paradar maior visibilidade e legitimidade ao processode privatização do ensino no país, posto que osprimeiros resultados mostravam com clareza o de-sempenho superior das instituições privadas (Fariae Filgueiras, 2003).

Por fim, há o uso para o “esclarecimento”,que nem sempre é propositado, mas que acarreta,pela via do acúmulo de conhecimento oriundo dediversas avaliações, impacto sobre as redes de pro-fissionais, sobre os formadores de opinião e sobreas advocacy coalitions, bem como alterações nascrenças e na forma de ação das instituições, pau-tando, assim, a agenda governamental. Esse é umtipo de influência que ultrapassa a esfera mais res-trita das políticas e dos programas avaliados.

Ainda que esta distinção das formas de usoda avaliação seja importante e inovadora, é neces-sário que se faça a seguinte ressalva:

Note-se que tal distinção das formas de uso consti-tui avanço significativo em relação à célebre con-traposição entre avaliação “somativa”, que seriajudgement-oriented, e avaliação “formativa”, queseria improvement-oriented. Contudo, ela pareceapenas resgatar, com modificações tópicas, a pro-posição feita por Floden e Weiner (1978) em umtrabalho pioneiro, hoje aparentemente relegado, oqual, destacando também as debilidades e a ideali-zação do “modelo decisionista”, chama a atençãopara o uso da avaliação nos seguintes sentidos: da“resolução de conflitos”; como mecanismo para a“redução de complacência” (complacency reduc-tion), dado o seu potencial de fazer com que opessoal encarregado do programa avalie critica-mente as suas concepções e comportamentos; ecomo “ritual”, cuja função seria “acalmar as ansie-dades do público e perpetuar uma imagem do go-verno como racional, eficiente e accountable” (Fa-ria e Filgueiras, 2003, p. 8).

No que diz respeito aos elementos da avalia-ção que podem ser utilizados, cabe destacar que assuas “descobertas” (ou o relatório final da avaliação)inicialmente monopolizaram a atenção daqueles in-teressados em investigar a questão da utilização dapesquisa avaliativa. Contudo, essas “descobertas”constituem apenas um dos elementos que podemser utilizados. Como se sabe, elas usualmente seconcentram nos processos, nos resultados e no im-pacto das políticas e dos programas.

Vale ressaltarmos, ainda que de maneira bre-ve, que são exatamente as descobertas e/ou o re-latório final da avaliação as informações mais am-plamente divulgadas. A questão da abrangência eda forma de divulgação, que não é objeto demaiores considerações neste trabalho, é, contudo,absolutamente central para que se possa melhoraquilatar o uso dos estudos de avaliação. Discor-rendo sobre a experiência de avaliação de políti-cas na França, Meldolesi afirma que, naquele país,

[...] o problema não é a divulgação [dos relatórios],que é assegurada pela Documentation française,mas a pouca divulgação que eles têm nos jornaise, por conseqüência, na opinião pública: nadacomparável ao canal de televisão especializado,que existe nos Estados Unidos, e à influência daavaliação do GAO (General Accounting Office) so-bre o debate público naquele país” (1996, p.104).


Retornando à necessidade de se distinguir oselementos da avaliação que podem ser utilizados,reportamo-nos uma vez mais a Weiss (1998), quedistingue a possibilidade de uso de outros quatroelementos: (a) idéias e generalizações derivadasda avaliação; (b) o próprio fato de a avaliação tersido ou estar sendo feita; (c) o foco do estudo, es-pecialmente as medidas adotadas; e, finalmente,(d) o desenho do estudo. A seguir discorreremosbrevemente sobre cada um desses elementos.

(a) Uso das idéias e generalizações derivadas daavaliação

Ainda que descobertas específicas da avalia-ção não sejam usadas, os formuladores e o pessoaltécnico do programa podem aplicar idéias e gene-ralizações dela derivadas. É o seguinte o exemplodado por Weiss (1998): a generalização da desco-berta de que agências locais não promovem mu-danças no seu padrão de provisão de serviçosquando elas são as únicas a fazer tais mudançaspode levar a que se pense na necessidade de secoordenar a atuação de todas as agências.

(b) Uso possível do próprio fato de a avaliação tersido ou estar sendo feita

São diversificadas as alternativas aqui. Pri-meiramente, a realização da avaliação pode serutilizada como uma desculpa para a inação. Porque se deveria tomar qualquer atitude no sentidode se operar mudanças antes que se tenha o re-sultado do trabalho de avaliação? O fato de umaavaliação estar sendo ou ter sido feita pode serutilizado também para demonstrar a racionalidadee a predisposição ao aprimoramento e à respon-sabilização por parte dos encarregados da políti-ca ou do programa. Por outro lado, a própria rea-lização da avaliação pode ser pensada comoassegurando uma aura de legitimidade para oprograma ou sugerir que algo não vai bem emsua gestão ou que há problemas no seu desenho.

(c) Utilização do foco do estudoÉ amplamente reconhecido que o público

(interno e o externo) do programa avaliado passa-rá a dar atenção prioritária a todos os focos daavaliação, com destaque para os elementos esco-lhidos para serem mensurados. Esse fenômeno éconhecido como “ensinar para o teste”, dado o

efeito quase universal que a avaliação externa temsobre o comportamento das instituições de ensi-no. Como se sabe, o risco principal aqui é que se-jam negligenciados outros aspectos do programaque não incidem sobre os indicadores de sucessodefinidos. Tal efeito, contudo, não é necessária eforçosamente negativo.

(d) Utilização do desenho da pesquisa avaliativaDestaca-se aqui a possibilidade de que as

categorias de análise utilizadas pelos avaliadores,a metodologia de avaliação e a forma de se ana-lisar os dados tenham influência não apenas so-bre a gestão da política ou do programa em ques-tão, ao fomentar, por exemplo, disputas entredistintos níveis de implementação, mas tambémsobre outras áreas e esferas de governo.

Por fim, é necessário inventariarmos tambémos usuários potenciais da pesquisa avaliativa. Ori-ginalmente, a comunidade de avaliadores era qua-se unânime na percepção de que os usuários daavaliação se restringiam aos financiadores do pro-grama (e da própria avaliação), aos gerentes e en-carregados de mais alto escalão e, por vezes, aostécnicos e profissionais que lidavam de maneiramais direta com os beneficiários. Esses são os ato-res que, inclusive, muitas vezes ajudam a definir oescopo, a abrangência, a metodologia e o âmbitode divulgação dos resultados da avaliação.

A crítica ao desenho hierárquico da avaliaçãoe a percepção das limitações de seu planejamentotop-down levaram, primeiramente, a que se pres-tasse mais atenção nos agentes encarregados daimplementação ou na chamada street level bureau-cracy, percebidos a partir da década de 1970 comocapazes de muito mais autonomia do que aquelaconcebida pelos modelos tradicionais de planeja-mento (Pressman e Wildavsky, 1973; Lipsky, 1980).

Posteriormente, com a popularização das me-todologias participativas de avaliação e com o cres-cente reconhecimento (e propaganda) da avaliaçãocomo instrumento de “empoderamento” dos bene-ficiários, a avaliação começou a levar em conside-ração, de maneira mais sistemática, as necessida-des e as expectativas dos beneficiários dosprogramas. A reforma gerencialista do Estado, comsua ênfase nos resultados, em detrimento dos pro-cessos, e na satisfação daqueles que passaram a serdenominados “clientes”, viria a sacramentar a ênfa-


se nos beneficiários. Observada a questão de umponto de vista mais abrangente, contudo, não dei-xam de parecer ingênuos comentários como:

Os avaliadores freqüentemente optavam por levarem consideração os valores e os interesses dosclientes [sic], valorizando as suas preocupações.Mais do que reforçar o status quo, esses avaliado-res esperavam produzir mudanças no sentido detornar os programas mais “responsivos” às necessi-dades dos participantes. Eles queriam [...] “desafiaro discurso privilegiado dos poderosos”. A sua pos-tura significava um esforço em transformar a avalia-ção, de um mecanismo capaz de sustentar e refor-çar as práticas correntes por meio de ajustestópicos, em um meio de se remediar as desigualda-des e de se redistribuir o poder (Weiss, 1998, p.27).

É certo que diversos outros usuários, paraalém daqueles envolvidos diretamente nos progra-mas em questão, podem se valer das descobertasou de outros elementos da avaliação. Dentre tan-tos, destacam-se: gerentes de programas similarese/ou de diferentes níveis governamentais; agentesdo governo central e representantes de fundações,interessados em conhecer projetos exitosos quemereçam financiamento ou preocupados em me-lhorar os programas dos quais são responsáveis;membros do legislativo interessados na melhoriade programas existentes ou na elaboração de no-vas propostas; cientistas sociais e outros avaliado-res que buscam aprender com as descobertas ecom as metodologias empregadas. É ainda Weiss(1998) que sugere a existência de dois outrosusuários potenciais: (a) as próprias organizaçõesque administram o programa avaliado ou similares(e aqui deve ser feito não só o contraponto à tra-dicional ênfase no indivíduo como usuário, mastambém deve ser mencionada a importância quetem sido dada atualmente à questão da learningorganization – “organização que aprende” – e aoslimites, tradições e procedimentos cristalizadose/ou impostos pelas organizações); e (b) o públi-co em geral ou a sociedade civil.

A revisão crítica da literatura sobre a utilizaçãoda avaliação feita por Shulha e Cousins (1997)aponta as principais preocupações e questões quetêm sido enfatizadas mais recentemente pelos estu-diosos da área, quais sejam: a centralidade do con-texto para a compreensão e a explicação do uso; a

necessidade de se expandir a idéia de uso da esfe-ra individual para a organizacional; a diversificaçãodo papel do avaliador, que muitas vezes incorporafunções como a de facilitador, planejador e educa-dor; e os impactos e condicionantes da não utiliza-ção ou da sub-utilização. Também passou a sermais amplamente reconhecido o fato de que, paraserem efetivamente utilizadas, as descobertas da ava-liação devem competir com outras propostas e ou-tras fontes de informação pela atenção dos tomado-res de decisão e demais envolvidos, tudo isso sedando em contextos e instâncias decisórias que tal-vez possam ser mais bem caracterizados como plu-ralistas e freqüentemente não racionais. Ademais,não deixa de ser importante recordarmos que o le-gado de Herbert Simon continua a ser evocado noque diz respeito, por exemplo, ao reconhecimentodos incentivos para que o sistema governamentaladote um comportamento “satisfazedor”, em detri-mento de uma postura estritamente racional, nosentido da maximização do impacto de sua atuação.

Breves considerações finais

Várias questões importantes podem ser infe-ridas a partir deste breve mapeamento das distin-tas formas de uso da avaliação, dos seus várioselementos que podem ser utilizados e dos usuá-rios potenciais dos estudos de avaliação das polí-ticas públicas. A primeira delas é que a literaturaespecífica parece ainda essencialmente circunscri-ta às expectativas acerca do papel da avaliaçãoelencadas pelo “modelo decisionista”. Isso por-que, mesmo tendo sido questionado o tradicionalmodelo hierárquico e top-down de planejamentoe de desenho da avaliação, esta maior preocupa-ção com a questão do uso da pesquisa avaliativaparece ainda fortemente restrita à utilização ge-rencial da avaliação e à necessidade de se gerarfeedbacks que justifiquem a relevância da própriarealização de tais estudos. Dito de outra forma, oque se pode verificar na literatura é uma ênfasequase exclusiva na utilização instrumental, intra-burocrática, da avaliação das políticas públicasou, quando muito, nas interações entre decisores,gestores e população beneficiária.

Ficam negligenciadas, assim, questõescomo: o papel da avaliação das políticas no jogo


eleitoral; a reação do legislativo e do judiciário àconcentração do poder de avaliação no executivo(Henry, 2001; Derlien, 2001); a eventual diferençana institucionalização da avaliação entre paísesparlamentaristas e presidencialistas e entre Esta-dos federais e unitários (Derlien, 2001); o signifi-cado da distinta localização institucional dos siste-mas de avaliação e o impacto de seu grau devinculação às autoridades financeiras etc.

Dessa forma, não deixa de ser irônico, masde maneira alguma contraditório, o fato de serjustamente a literatura que adota o enfoque ge-rencialista de valorização da avaliação como ins-trumento da reforma do Estado aquela que estáaparentemente mais disposta a acentuar questõespolíticas mais abrangentes, como, por exemplo, opapel da avaliação na geração de accountabilitypor parte dos agentes estatais, seu potencial de“empoderamento” das comunidades menos privi-legiadas e seu impacto sobre a questão do contro-le social sobre o Estado. O fato não é contraditó-rio porque, como visto, essa literatura advoga umideal regulativo que prescreve ao Estado um pa-pel subsidiário, sendo determinantes os estímu-los, os incentivos e os constrangimentos oriundosou espelhados no mercado.

Uma postura de omissão no tratamento ana-lítico das questões associadas ao processo de ava-liação das políticas públicas e de seu uso, comoaquela detectada no caso da ciência política bra-sileira (a qual, diga-se de passagem, parece nãose singularizar neste aspecto), significa o esvazia-mento da possibilidade de se analisar de formacabal a política da avaliação de políticas, a qualacaba, assim, negligenciada em muitos de seus as-pectos e implicações.

Se há resistências, por parte da ciência polí-tica brasileira, aí incluídos os analistas de políticaspúblicas, em encampar uma agenda de pesquisaque contemple os processos pós-decisão, comosugerimos, não seria possível e pertinente pensar-mos a questão do uso e da política da avaliaçãocomo claramente vinculada aos processos decisó-rios? Caso seja necessária uma nota de cautela,lembramos que estudar o uso e a política da ava-liação não implica, forçosa e automaticamente, atransposição da temida, e muitas vezes tênue,fronteira entre os papéis do analista e daquele quefaz advocacy ou que prescreve cursos de ação.

Contudo, a despeito do ranço positivista queainda pode ser observado na prática avaliativa etambém nas análises sobre esse processo, a ava-liação não deixa de envolver também, necessaria-mente, advocacy, como defende Greene (1997),na contracorrente do pensamento dominante naárea.10 Isso, segundo a autora, se compreender-mos por advocacy não um “partidarismo progra-mático ou um viés contaminador”, mas sim “umaadesão a valores como um ideal regulatório espe-cífico (relativo à racionalidade do processo deci-sório ou ao ativismo comunitário) (p. 25). Se le-varmos também em consideração o fato de que aavaliação e os avaliadores atuam, como quer avertente construtivista, “interpretando o contextoe construindo esse contexto e [que], portanto, am-bos são produtores do espaço público” (Escolar eDomench, 2002, p. 110), torna-se ainda mais las-timável a negligência ou a omissão de nossosanalistas de políticas públicas.

Notas

1 Para uma discussão sucinta a esse respeito, ver,por exemplo, Faria e Filgueiras (2003), Caiden eCaiden (2001) e Albaek (1998).

2 Para uma análise mais aprofundada a respeito dainstitucionalização dos sistemas de avaliação nospaíses latino-americanos, ver Bozzi (2001), que fazuma apreciação da experiência do Chile e da Co-lômbia; Silva (2002), que discute os casos de Ar-gentina, Chile, Colômbia e Costa Rica; Silva e Cos-ta (2002), que apresentam, ainda que muitosumariamente, as experiências de Brasil, Argentinae Chile; Ghirlanda (2002), que também trata docaso brasileiro. No que diz respeito à avaliação dossistemas educacionais dos países latino-america-nos, área em que se avançou muito na região, ver,por exemplo, Horn, Wolff e Vélez (1991); Ravela(2001); Wolff (1998) e Faria e Filgueiras (2003).

3 Ver, na Revista do Serviço Público, Meldolesi(1996); Thoenig (2000); Ala-Harja e Helgason(2000); Caiden e Caiden (2001); Derlien (2001);Bozzi (2001); Cotta (2001); Mokate (2002). Na Re-vista de Administração Pública, ver, por exemplo,Costa e Castanhar (2003).

4 Como, por exemplo, Calmon (1999); Garcia (2001);Escolar e Domench (2002); Silva (2002); e Silva eCosta (2002).


5 Comentando o presente ensaio durante os traba-lhos do Seminário Temático “Processo decisório eimplementação de políticas públicas no Brasil”, du-rante o 28º Encontro Anual da Anpocs, em outubrode 2004, onde uma parte deste trabalho foi apre-sentada, Marta Arretche sugeriu a possibilidade dese pensar a administração pública como detendono país a “hegemonia intelectual” na subárea dosestudos avaliativos, ao passo que economistas eeconometristas teriam uma “hegemonia operacio-nal”. A pesquisadora sugeriu, ainda, que o que ex-plicaria o subdesenvolvimento dos estudos sobreavaliação no Brasil não seria apenas a negligência,por parte da ciência política, dos processos pós-de-cisão (note-se que talvez esse quadro já tenha co-meçado a ser reparado, como sugere o próprio en-foque do seminário mencionado). O problema nãoresidiria apenas na agenda da ciência política, mastambém, ou principalmente, seria decorrente daprópria incipiência das avaliações no país, que nãogeraria polêmicas capazes de pautar a agenda in-vestigativa.

6 Para bons panoramas dessa subárea de pesquisa,ver Shulha e Cousins (1997) e Weiss (1998). NoBrasil esse é um campo ainda sobremaneira inci-piente. Exceções são Cotta (2001), Faria e Filguei-ras (2003) e, tendo como ênfase a questão daaprendizagem organizacional decorrente da utiliza-ção da avaliação, Calmon (1999).

7 Para além do desalento ou da simples incorpora-ção de novas prescrições, acreditamos que podeser dito sobre a pesquisa acerca do uso da avalia-ção o mesmo que Rivlin disse sobre a análise depolíticas: ela pode não ter resolvido problema al-gum, mas pelo menos nos ajudou a determinarmelhor os problemas (apud Weiss, 1998, p. 23).

8 Antes, porém, pode ser útil reproduzirmos aqui asintética apresentação, feita por Ala-Harja e Helga-son, das várias formas de uso, para que se possa teruma visão panorâmica da questão e para que al-guns termos centrais sejam introduzidos de manei-ra ainda mais simples: “A definição do uso de umaavaliação deve fazer distinção entre uso pelo pro-grama e uso organizacional. O primeiro se refere aestudos individuais de avaliação, e o segundo tema ver com o efeito cumulativo (aprendizagem) de-rivado de uma série de avaliações em uma organi-zação. O uso em programas pode ser posteriormen-te dividido em uso instrumental, em que aavaliação dá suporte a ação específica (confirma-ção, modificação ou término), e o uso conceitual,em que não se toma nenhuma ação imediata, mas

no qual os resultados são considerados e a informa-ção é acumulada para uso posterior” (2000, p. 25).

9 Aliás, diga-se de passagem, a chamada avaliação“colaborativa”, na qual avaliadores e corpo técnicodo programa mantêm interação constante e amigá-vel, compartilhando parte das decisões e dos pro-cedimentos necessários, é muitas vezes tratada, naliteratura específica, como a melhor maneira de sefomentar uma mais ampla utilização dos resultadosda avaliação.

10 Vale a pena citarmos a seguinte passagem do traba-lho de Greene: “a própria noção de avaliação comoadvocacy provoca tremores de desagrado e horrorentre a maior parte da comunidade contemporâneada avaliação, tanto entre teóricos como entre prati-cantes. Isso porque o objetivo fundamental da ava-liação era racionalizar a política social por meio daprodução de informação científica desinteressada,relativa às opções de política, o que seria possívelapenas por meio de uma adesão à objetividade e àneutralidade de valores. Advocacy é a antítese daavaliação justa, de acordo com aqueles ideais e vi-sões fundadores. Prescrever [to advocate] é esposare promover uma crença ou postura partidária [par-tisan], abraçar e fazer avançar uma causa. Avaliar é,de acordo com a tradição, julgar de maneira justa aqualidade, o mérito e o valor de um programa, combase em informação imparcial, coletada de manei-ra científica” (1997, p.26).

BIBLIOGRAFIA

ALA-HARJA, M. & HELGASON, S. (2000), “Em di-reção às melhores práticas de avalia-ção”. Revista do Serviço Público, 51 (4):5-60.

ALBAEK, Erik. (1998), “Knowledge, interests andthe many meanings of evaluation: a de-velopmental perspective”. Scandina-vian Journal of Social Welfare, 7: 94-98.

BALLART, Xavier. (1996), “Modelos teóricos parala práctica de la evaluación de progra-mas”, in Quim Brugué e J. Subirats(orgs.), Lecturas de gestión pública. Ma-drid, Instituto Nacional de Administra-ción Pública, pp.321-351.

BOZZI, S. O. (2001), “Evaluación de la gestiónpública: conceptos y aplicaciones em el


caso latinoamericano”. Revista do Servi-ço Público, 52 (1): 25-55.

CAIDEN, G. E. & CAIDEN, N. (2001), “Enfoques ylineamiento, la medición y la evalua-ción del desempeno em programas delsector público”. Revista do Serviço Pú-blico, 52 (1): 78-103.

CALMON, Kátya M. N. (1999), “A avaliação deprogramas e a dinâmica da aprendiza-gem organizacional”. Planejamento ePolíticas Públicas, 19: 3-70.

CARVALHO, Sonia Nahas de. (2003), “Avaliaçãode programas sociais: balanço das ex-periências e contribuição para o deba-te”. São Paulo em Perspectiva, 17 (3-4):185-197.

COSTA, F. L. & CASTANHAR, J. C. (2003), “Avalia-ção de programas públicos: desafiosconceituais e metodológicos”. Revistade Administração Pública, 5.

COTTA, T. C. (2001). “Avaliação educacional epolíticas públicas: a experiência do Sis-tema Nacional de Avaliação da Educa-ção Básica (SAEB)”. Revista do ServiçoPúblico, 52 (4): 89-111.

DERLIEN, H-U. (2001), “Una comparación inter-nacional en la evaluación de las políti-cas públicas”. Revista do Serviço Públi-co, 52 (1): 105-123.

ESCOLAR, Cora & DOMENCH, Patrícia. (2002),“Los proyectos y programas sociales y laevaluación: reflexiones en torno a unaexperiencia”. Políticas Sociais: acompa-nhamento e análise, 5: 106-110, Brasilia,Ipea.

FARIA, Carlos Aurélio Pimenta de. (2003), “Idéias,conhecimento e políticas públicas: uminventário sucinto das principais verten-tes analíticas recentes”. Revista Brasilei-ra de Ciências Sociais, 18 (51): 21-30.

FARIA, Carlos Aurélio P. & FILGUEIRAS, Cristinade A. C. (2003), “A avaliação de políti-cas públicas como instrumento de pla-nejamento: os casos do Sistema de Ava-liação da Educação Básica (Saeb), do

Brasil, e do Sistema de Medición de laCalidad de la Educación (Simce), doChile”. Trabalho apresentado no GT“Políticas Públicas” do XXVII EncontroAnual da Anpocs. Caxambu, MG, 21 a25 de outubro.

FLODEN, Robert E. & WEINER, Stephen S. (1978),“Rationality to ritual: the multiple rolesof evaluation in governmental proces-ses”. Policy Sciences, 9 (1): 9-18.

GARCIA, Ronaldo Coutinho. (2001), “Subsídiospara organizar avaliações da ação go-vernamental”. Planejamento e PolíticasPúblicas, 23.

GHIRLANDA, Marta Penna M. (2002), “A expe-riência do governo federal na avaliaçãodo Plano Plurianual 2000-2003”. Traba-lho apresentado no VII Congreso Inter-nacional del CLAD. Lisboa, Portugal, 8 a11 de outubro.

GREENE, Jennifer C. (1997). “Evaluation as advo-cacy”. Evaluation Practice, 18 (1): 25-36.

GUBA, E. & LINCOLN Y. (1989), Fourth genera-tion evaluations. Nova York, Sage Pu-blications.

HENRY, Gary T. (2001), “How modern democra-cies are shaping evaluation and theemerging challenges for evaluation”.American Journal of Evaluation, 22 (3):419-429.

HORN, Robin; WOLF, Laurence & VÉLEZ, Eduar-do. (1991), “Establecimiento de sistemasde medición del rendimiento académicoen América Latina: un análisis de losproblemas y las experiencias más re-cientes”. Washington, Banco Mundial.

LIPSKY, Michael. (1980), Street-level bureaucracy:dilemmas of the individual in public servi-ces. Nova York, Russel Sage Foundation.

MELDOLESI, Nicoletta S. (1996). “Avaliação depolíticas públicas na França”. Revista doServiço Público, ano 47, 120 (1): 83-111.

MELO, Marcus André. (1999), “Estado, governo epolíticas públicas”, in S. Miceli (org.), O


que ler na ciência social brasileira(1970-1995) [vol. 3: Ciência política],São Paulo/Brasília, Sumaré/Anpocs/Ca-pes, pp. 59-100.

MOKATE, K. M. (2002), “Convertiendo el ‘mons-truo’ en aliado: la evaluación como her-ramienta de la gerencia social”. Revistado Serviço Público, 53 (1): 89-133.

OAKLEY, Ann. (1998), “Public policy experimen-tation: lessons from América”. PolicyStudies, 19 (2): 93-114.

PRESSMAN, J. L. & WILDAVSKY, A. (1973), Imple-mentation. Berkeley, University of Cali-fornia Press.

RAVELA, Pedro (ed.). (2001), “Los próximos pa-sos: ¿cómo avanzar en la evaluación deaprendizajes en América Latina?”. TextosPREAL/GRADE, 20.

ROSSI, P. H. & WRIGHT, J. D. (1984), “Evaluationresearch: an assessment”. Annual Re-view of Sociology, 10: 331-352.

SCRIVEN, Michael. (1996), “Types of evaluationand types of evaluator”. EvaluationPractice, 17 (2): 151-162.

SHULHA, Lyn M. & COUSINS, J. Bradley. (1997),“Evaluation use: theory, research, andpractice since 1986”. Evaluation Practi-ce, 18 (3): 195-209.

SILVA, Ricardo Toledo. (2002), Eficiência e eficá-cia da ação governamental: uma análi-se comparativa de sistemas de avalia-ção. Relatório técnico. Brasília, Ipea.

SILVA, Pedro L. Barros & COSTA, Nilson do Rosá-rio. (2002), A avaliação de programaspúblicos: reflexões sobre a experiênciabrasileira. Relatório técnico. Brasília,Ipea.

THOENIG, J-C. (2000), “A avaliação como conhe-cimento utilizável para reformas de ges-tão pública”. Revista do Serviço Público,51 (2): 54-71.

VIEIRA, Evaldo A. (1997), “As políticas sociais eos direitos sociais no Brasil: avanços eretrocessos”. Revista Serviço Social & So-

ciedade, 18 (53): 67-73.

WEISS, Carol H. (1998), “Have we learned any-thing new about the use of evaluation?”.American Journal of Evaluation, 19,(1): 21-34.

WOLFF, Laurence. (1998), Las evaluaciones edu-cacionales en América Latina: avanceactual y futuros desafios. Santiago doChile, Preal.

RESUMOS / ABSTRACTS / RÉSUMÉS 169

A POLÍTICA DA AVALIAÇÃODE POLÍTICAS PÚBLICAS


Palavras-chaveAvaliação de políticas públicas;Reforma do Estado; Novo geren-cialismo público.

Nos últimos anos, tem prevalecido

nos estudos e nos debates acerca da

avaliação de políticas públicas um viés

francamente normativo e/ou uma

priorização dos aspectos mais técni-

cos da pesquisa avaliativa, bem como

uma ênfase em seu papel de instru-

mento gerencial. Reconhecendo o

caráter incipiente da pesquisa e da

prática da avaliação no Brasil, o pre-

sente trabalho pretende: (1) analisar

os fatores que têm justificado e con-

dicionado a implantação generaliza-

da de sistemas de avaliação, sobre-

tudo nos países da América Latina;

(2) averiguar as razões da prevalên-

cia, no âmbito estatal e também no

plano analítico, de uma concepção

“tecnicista” da avaliação, vista hoje

quase exclusivamente como instru-

mento da gestão governamental; e, fi-

nalmente, (3) enfatizar o caráter emi-

nentemente político da avaliação de

políticas públicas, elencando e cate-

gorizando suas distintas formas de

utilização. Será ressaltada, assim, a

virtual subordinação do uso gerencial

da avaliação e de sua suposta capa-

cidade de encerrar, reiniciar ou revi-

talizar o ciclo das políticas às injun-

ções políticas mais abrangentes, às

estratégias e aos interesses dos toma-

dores de decisões e demais envolvi-

dos.

PUBLIC POLICY EVALUATIONPOLITICS


KeywordsPublic policy evaluation; Reformof the State; New public man-agement.

In the last years, both research and

debates concerning public policy

evaluation have clearly been marked

by a specific normative bias and by

an emphasis upon the technical

aspects of evaluation, as well as by

the valorization of its role as a man-

agement tool. Recognizing the incip-

ient character of both the research

and the practice of public policy

evaluation in Brazil, this paper has

the following objectives: (1) to ana-

lyze the aspects that have justified

and conditioned the generalized

implementation of public policy eval-

uation systems, particularly in Latin

America; (2) to discuss the reasons

behind the prevalence, both in the

state and in the analytical level, of a

“technicist” conception of evalua-

tion, which is regarded today almost

exclusively as an instrument to be

used by the public managers; and

(3) to emphasize the essentially

political character of public policy

evaluation, listing and categorizing

the distinct forms of its utilization.

The virtual subordination of the

management use of evaluation to

broader political projects and to

specific strategies and interests of

decision makers and other stake-

holders will be stressed.

LA POLITIQUE D’ÉVALUATIONDES POLITIQUES PUBLIQUES


Mots-clésÉvaluation des politiques publi-ques; Réforme de l’État; Nouvel-le gestion publique.

Au cours de ces dernières années,

nous avons assisté, dans le cadre des

études et des débats sur l’évaluation

des politiques publiques, à une pré-

dominance du biais normatif et/ou

une primauté des aspects plus tech-

niques de la recherche évaluative, ain-

si qu’à une mise en avant de leur rôle

d’instrument de gestion. Tout en re-

connaissant le caractère initial de la

recherche et de la pratique de son

évaluation au Brésil, ce travail propo-

se: (1) d’analyser les facteurs qui, jus-

qu’à présent, ont justifié et condition-

né la mise en place généralisée de

systèmes d’évaluation, surtout dans

les pays d’Amérique latine ; (2) de

rechercher les raisons de l'importan-

ce, dans le cadre de l’État et aussi sur

le plan analytique, d’une conception

“technisciste” d’évaluation, comprise

aujourd’hui presque exclusivement

comme un instrument de gestion

gouvernementale; et, finalement, (3)

de mettre l’accent sur le caractère

éminemment politique de l’évalua-

tion des politiques publiques, en citant

et en rangeant leurs différentes for-

mes d’utilisation. Nous prétendons,

de cette façon, mettre en avant la su-

bordination virtuelle de l’emploi de

l’évaluation comme instrument de

gestion et de son éventuelle capaci-

té de mettre une fin, de recommen-

cer ou de revitaliser le cycle des po-

litiques aux injonctions politiques les

plus englobantes, aux stratégies et

aux intérêts des preneurs de décision

et des autres acteurs impliqués.

SUBSÍDIOS PARA ORGANIZARAVALIAÇÕES DA AÇÃOGOVERNAMENTAL

Ronaldo Coutinho Garcia

PROGRAMA DO MÓDULO METODOLÓGICOAndré Junqueira Caetano

1.ª sessão

� Políticas públicas: formulação, implementação (operacionalização), ações e gestão

(operação) e avaliação

� Avaliação prévia (ex-ante), durante (monitoramento) e posterior (ex-post)

� Metodologias de avaliação: implementação, focalização, resultados e impactos

GARCIA, R. C. Subsídios para organizar avaliações da ação governamental. Brasília: IPEA,2001. (Textos de Discussão 776).

MOKATE, K. Eficácia, eficiência, equidad y sostenabilidad: ¿Qué queremos decir?Disponível em:<http://indes.iadb.org/verpub.asp?docNum=6216>. Acesso em: 10 maio 2006.

RUBIO, G. et al. Estratégias de redução da pobreza: livro de consulta. Disponível em:<www1.worldbank.org/prem/poverty/portuguese/strategies/srcbook/m&e0118.pdf> Acesso em:10 maio 2006.

2.ª sessão

� Avaliação de implementação - Programa Bolsa-Família

SILVA, P. L. B. e M. A. B. MELO. O processo de implementação de políticas públicasno Brasil: características e determinantes da avaliação de programas e projetos.Cadernos NEPP 48, Campinas, NEPP-UNICAMP, 2000.

3.ª sessão

� Avaliação de focalização e de resultados (eficiência e eficácia) - Programa Bolsa-Escola

LAVINAS, L.; M. L. O. BARBOSA. combater a pobreza estimulando a freqüênciaescolar: o estudo de caso do Programa Bolsa-Escola do Recife. Dados 43(3):447-477, 2000.

4.ª sessão

� Avaliação de impacto - Programas Bolsa-Alimentação e Bolsa-Família

ISSN 1415-4765

TEXTO PARA DISCUSSÃO No 776

Subsídios para OrganizarAvaliações da Ação Governamental

Ronaldo Coutinho Garcia*

* Da Diretoria de Estudos Setoriais (DISET) do IPEA.

Brasília, janeiro de 2001

MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃOMartus Tavares – MinistroGuilherme Dias – Secretário Executivo

Instituto de Pesquisa Econômica Aplicada

PresidenteRoberto Borges Martins

Chefe de GabineteChefe de GabineteLuis Fernando de Lara Resende

DIRETORIADIRETORIA

Eustáquio J. ReisGustavo Maia GomesHubimaier Cantuária SantiagoLuís Fernando TironiMurilo LôboRicardo Paes de Barros

Fundação pública vinculada ao Ministério do Planejamento,Orçamento e Gestão, o IPEA fornece suporte técnico einstitucional às ações governamentais e torna disponíves, paraa sociedade, elementos necessários ao conhecimento e àsolução dos problemas econômicos e sociais do país.Inúmeras políticas públicas e programas de desenvolvimentobrasileiro são formulados a partir dos estudos e pesquisasrealizados pelas equipes de especialistas do IPEA.

TEXTO PARA DISCUSSÃO TEXTO PARA DISCUSSÃO tem o objetivo de divulgar resultadosde estudos desenvolvidos direta ou indiretamente peloIPEA, bem como trabalhos considerados de relevânciapara disseminação pelo Instituto, para informarprofissionais especializados e colher sugestões.

Tiragem: 130 exemplares

COORDENAÇÃO EDITORIALCOORDENAÇÃO EDITORIAL

Brasília – Brasília – DFDF::SBS Q. 1, Bl. J, Ed. BNDES, 10o andarCEP 70076-900Fone: (61) 315 5374 – Fax: (61) 315 5314E-mail: [email protected]

Home pageHome page: http://www.ipea.gov.br

EQUIPE

Coordenação: Marco Aurélio Dias Pires; Secretaria: Gardênia SantosGerência: Suely FerreiraRevisão: Chico Villela (coord.); Carlos Alberto Vieira, Flávia Nunes de Andrade (estag.),Isabel Villa-Lobos Telles Ribeiro, Luciana Soares Sargio (estag.)Edição Gráfica: Iranilde Rego (coord.); Aeromilson Mesquita; Cecília Bartholo, Edineide Ramos, Francisco de Souza Filho, Lúcio Flavo RodriguesDivulgação: Cláudio Augusto Silva (coord.); Edinaldo dos Santos, Mauro FerreiraProdução Gráfica: Edilson Cedro Santos

SERVIÇO EDITORIALSERVIÇO EDITORIAL

Rio de Janeiro – Rio de Janeiro – RJRJ::Av. Presidente Antonio Carlos, 51, 14o andarCEP 20020-010Fone: (21) 804-8118 – Fax: (21) 220 5533E-mail: [email protected]

É PERMITIDA A REPRODUÇÃO DESTE TEXTO, DESDE QUE OBRIGATORIAMENTE CITADA A FONTE.REPRODUÇÕES PARA FINS COMERCIAIS SÃO RIGOROSAMENTE PROIBIDAS.

SUMÁRIO

SINOPSE

1 INTRODUÇÃO 5

2 A DEMANDA POR AVALIAÇÕES 6

3 UMA DEMANDA COM POTENCIAL ORGANIZATIVO SISTÊMICO 18

4 TORNANDO A DEMANDA MAIS PRECISA 24

5 ESBOÇO TENTATIVO DE UM ROTEIRO PRELIMINARPARA ORGANIZAR AS AVALIAÇÕES DO PPA 42

6 DELINEAMENTO APROXIMATIVO DE UM SISTEMA DE AVALIAÇÃO 58

7 PARA FINALIZAR 61

REFERÊNCIAS BIBLIOGRÁFICAS 63

A produção editorial deste volume contou com o apoio financeiro do Banco Interamericano de Desenvol-vimento, BID, por intermédio do Programa Rede de Pesquisa e Desenvolvimento de Políticas Públicas,Rede-IPEA, operacionalizado pelo Projeto BRA/97/013 de Cooperação Técnica com o PNUD.

SINOPSE

reorganização do processo de planejamento, orçamento e gestão do governofederal está em curso. O Congresso Nacional aprovou o primeiro Plano Pluria-

nual elaborado em novas bases conceituais e metodológicas, determinando que seproceda, anualmente, à avaliação global do plano e de cada um dos programas que ointegram. Ademais, era da própria lógica das mudanças introduzidas fortalecer a atividadede avaliação como um requisito para a atualização do plano às mudanças da realidade ecomo um imprescindível instrumento da gestão estratégica dos programas.

Implantar um sistema de avaliação para o planejamento e a gestão governamen-tais, no entanto, não é algo trivial. Inexiste, na administração pública brasileira, umaprática consagrada ou uma cultura institucional de avaliação. Conceitos, metodologi-as, sistemas de informações terão que ser criados e desenvolvidos com a finalidadeespecífica de suportar a implantação do processo regular e recorrente de avaliaçõesda ação governamental. O presente texto é um subsídio a tão necessária construção.

A

O CONTEÚDO DESTE TRABALHO É DA INTEIRA E EXCLUSIVA RESPONSABILIDADE DE SEU AUTOR,CUJAS OPINIÕES AQUI EMITIDAS NÃO EXPRIMEM, NECESSARIAMENTE, O PONTO DE VISTA DO

INSTITUTO DE PESQUISA ECONÔMICA APLICADA/MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO

5 BSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL

1 INTRODUÇÃO**

“Caminante, no hay camino, se hace camino al andar.”

António Machado

m dezembro de 1994, com a edição da Medida Provisória no 1 548, foi insti-tuído o que, informalmente, passou a ser denominado de Ciclo da Gestão Públi-ca: um conjunto de carreiras e categorias funcionais − os técnicos de planeja-

mento e pesquisa do IPEA; analistas de planejamento e orçamento; técnicos de pla-nejamento P-1501; analistas de finanças e controle; e especialistas em políticas públi-cas e gestão governamental. A idéia de um ciclo de gestão pública advinha do fato deseus integrantes lidarem com o planejamento governamental, a preparação e execu-ção do Orçamento da União, a administração financeira dos recursos, a gestão dasações governamentais e o controle interno dos gastos públicos do Executivo federal.Uma boa idéia que ainda não se materializou de forma plena no que diz respeito afuncionar de maneira integrada e recorrente.

A 36a reedição da referida Medida Provisória (MP), em 2 de outubro de 1997, foiampliada para estabelecer atribuições específicas aos integrantes do ciclo, todas, noentanto, entendidas como atividades que comporiam a gestão governamental, comdestaque para a avaliação. A MP foi convertida em lei no ano seguinte, Lei no 9 625,de 7 de abril de 1998, e, em seu artigo no 24, diz que “aos ocupantes de cargos efeti-vos de Técnico de Planejamento e Pesquisa do IPEA compete o exercício de ativida-des de gestão governamental nos aspectos relativos ao planejamento, à realização depesquisas econômicas e sociais e à avaliação das ações governamentais para subsidiara formulação de políticas públicas”. O que segue é uma modesta tentativa de contri-buir para a construção de um processo sistemático e apropriado de avaliações dasações de governo. São adotados aqui dois supostos: um efetivo sistema de avaliaçõesé sempre o produto de uma construção deliberada com vistas a atender necessidadesespecíficas em um ambiente institucional particular. Resultará de um esforço coletivode tentativa e erro, de aprender fazendo, pois não existem um modelo universal nemreceitas genéricas aplicáveis a quaisquer situações. O outro suposto é que, sem umprocesso sistemático de avaliação, a verdadeira gestão pública jamais poderá ser exer-cida, o que implica incalculáveis prejuízos para a grande maioria da população brasi-leira que tanto necessita de uma ampla presença do poder público, conduzida comeficiência, eficácia e eqüidade.

** Este texto foi concluído no início de julho de 2000.

E

6 SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL

2 A DEMANDA POR AVALIAÇÕES (e algumas respostas insuficientes)

O alto executivo governamental é, por definição, uma pessoa de ação. Dirigir umainstituição, um programa, um processo é algo que só se faz mediante ações de diver-sas naturezas: declarações, convocações, articulações, emissão de atos normativos, atri-buição de responsabilidades, alocação de recursos, formalização de decisões (processosadministrativos, contratos, convênios, acordos), entre outras. O exercício de direção exi-ge um incessante processo de deliberação e decisão.

Das muitas decisões que um dirigente público é obrigado a tomar diariamente,qual é o percentual daquelas suportadas por conhecimento e informação satisfatóriose elevada segurança sobre a pertinência, oportunidade e intensidade? Qual a seguran-ça sobre as conseqüências da decisão?

Não existem informações que possibilitem respostas confiáveis e precisas às per-guntas. Mas, uma piada freqüentemente repetida na Administração Pública permiteuma aproximação esclarecedora: “o dirigente experiente ou esperto não assina ne-nhum documento sem que pelo menos uma dezena de subalternos tenha aposto oseu correspondente ‘de acordo’ formal. Esta seria a garantia de que não se iria para acadeia sozinho...”. Ou seja, a garantia de que a decisão tomada é legal, e apenas isso, étão maior quanto maior for o número daqueles que não vêem nenhuma norma con-trariada ou desrespeitada. Nada sobre a propriedade, a relevância, o momento ou apretensa eficácia da decisão.

Isso ocorre não porque os dirigentes se sintam melhor procedendo dessa maneirae sim porque os processos praticados não permitem fazer diferente. As decisões sãotomadas porque não podem mais ser prorrogadas, porque o acúmulo de documentose demandas é desconfortável, porque as cobranças se avultam. Mas as incertezas e asinseguranças de diversos tipos crescem em razão direta ao volume de decisões nãotriviais que um dirigente é obrigado a tomar.

Quando o desconhecimento sobre os resulta-dos das ações atinge um elevado patamar de

desconforto, ou quando os indícios de que não são os esperados (podendo ser ooposto), ou ainda quando surgem demandas superiores (ou de organismos internaci-onais e nacionais de financiamento) ou críticas de setores da sociedade sobre o de-sempenho, o andamento, os resultados das ações, os dirigentes optam por uma dasduas mais freqüentes saídas:

(a) determinam aos subordinados a preparação de avaliações das ações sob sua res-ponsabilidade; e

2.1 Deficiências na Demanda

SUBSÍDIOS PARA ORGANIZAR AVALIAÇÕES DA AÇÃO GOVERNAMENTAL 7

(b) contratam consultorias de universidades, institutos de pesquisa, especialistas naárea e, mais recentemente, de ONG (muitas criadas por técnicos governamentais apo-sentados precocemente por conta da irracional política de pessoal e de previdênciaadotada na última década e muitas outras financiadas com recursos públicos pararealizar atividades antes executadas diretamente pelos governos).

No primeiro caso, produz-se um transtorno na rotina dos subordinados que, semas condições apropriadas, irão desenvolver esforços adicionais de monta na busca deinformações não organizadas, de dados defasados e pouco confiáveis, de opiniõespessoais, de evidências factuais esparsas. Conseguido o mínimo, inicia-se um proces-so extremamente criativo e esgotante de construção de uma miscelânea impressio-nista, que após muitas horas extras e finais de semana de trabalho intenso, irá recebero pomposo título de Avaliação do Programa XYZ. Apresentado o documento, tudovoltará a ser como antes, até que, passados muitos meses ou até anos, uma nova de-manda surja e, sempre como um estorvo, provoque mais um espasmo avaliativo.

O conteúdo de tal avaliação estará dedicado a mostrar as realizações positivas doprograma (na verdade estimativas das metas alcançadas), com dados de difícil con-firmação porque, na maioria das vezes, são projeções feitas sob bases precárias e comdistorções quase impossíveis de serem corrigidas: uma decorrência da não-obrigatoriedade do registro sistemático dos fatos relevantes ocorridos durante a im-plementação das ações integrantes do programa. Os demais capítulos da avaliação irãoarrolar dificuldades, sempre referentes à insuficiência de recursos diversos (material,pessoal qualificado, informações atualizadas, vontade política), às restrições legais/administrativas, aos cortes nas dotações orçamentárias e aos implacáveis atrasos nasliberações financeiras. Freqüente será, também, a atribuição de culpa aos outroseventuais atores envolvidos na execução dos programas – a máquina emperrada,outros ministérios, outras secretarias, governos estaduais e municipais – que não teri-am conferido a devida prioridade ao cumprir as ações que lhes tocariam.

Em alguns casos mais pitorescos é possível encontrar reclamações por conta darealidade não ter se comportado conforme o previsto ou de o público-alvo não tercompreendido ou cooperado na execução das ações, com os resultados se apresen-tando muito diferentes daqueles esperados quando do desenho do programa. Asavaliações conduzidas dessa forma têm em comum o fato de quase nunca (e o quase éapenas uma cautela, pois o universo dessas não é conhecido ou publicado) alteraremas condições operacionais e o ambiente decisório sobre os quais dissertam. Não sãoutilizadas para o aprendizado institucional por não terem sido demandadas para ser-virem como instrumento de governo e de aperfeiçoamento. São encaradas comodesvios de uma rotina impensada, de condutas repetitivas e acríticas, de processosconduzidos pelas circunstâncias, nos quais os dirigentes apenas administram aspectosformais ou secundários. São estorvos.


Na contratação de consultorias externas, as razões que as movem são, basica-mente, de três ordens: as exigências formais de contratos de financiamentos externos(BID, Banco Mundial) ou internos (FAT, BNDES, CEF, entre outros); fortes pressões oucríticas de atores sociais interessados (a favor ou contra) no programa que não con-seguem ser respondidas com a produção interna de avaliações; as articulações de inte-resses pessoais/grupais entre os dirigentes públicos e núcleos acadêmicos, institutospúblicos de pesquisa, empresas de consultoria e consultores independentes. Quandoimperam as razões ligadas a articulações de interesses, a avaliação quase nunca é so-bre o conjunto da política governamental sob a responsabilidade do dirigente/ins-tituição contratante, mas sobre programas ou projetos particulares, pois, assim, aautoridade ou a competência do executivo público não será questionada pelos resul-tados apresentados na avaliação, posto que o programa ou projeto estará, sempre,sob a direção de uma autoridade do segundo escalão. Assim, as culpas pelos eventu-ais insucessos poderão ser atribuídas aos de baixo. E se por acaso a avaliação cobrir atotalidade da atuação do contratante, o relatório final dificilmente conterá críticasduras ou mostrará a realidade nua e crua dos resultados encontrados. A atenuação deaspectos negativos, feita muitas vezes de forma um tanto inconsciente, funcionariacomo um seguro para manter abertas as portas para novas encomendas no futuro.

Em quaisquer dos casos, evidencia-se que a demanda não é formulada com vistasa obter respostas orientadas para a melhoria do processo decisório e para o aperfei-çoamento do modelo de gestão institucional. A demanda não é formulada entenden-do a avaliação como poderoso instrumento para elevar a qualidade global das ações.A avaliação é vista ou como estorvo ou como obrigação contratual a ser cumpridaou como forma de ajudar amigos ou instituições.

Quando conduzidas por consultorias exter-nas, serão encontradas principalmente as pes-quisas ou os estudos de avaliação, que constituem

o produto por excelência da cultura e do ‘modus operandi’ dos institu-tos/centros/núcleos de pesquisa acadêmica, estando eles fora ou dentro das univer-sidades. As empresas de consultoria também acabam por produzi-las, pois é comumcontratarem professores e pesquisadores universitários para executarem as avaliações.As pesquisas ou estudos são concebidos com dois objetivos básicos: avaliar os proces-sos (se o programa está sendo implementado conforme seus objetivos, diretrizes eprioridades e se seus produtos estão atingindo as metas previstas, com a necessáriaeficiência) ou avaliar os impactos (verificar se as transformações primárias e/ou secun-dárias na realidade são atribuíveis às ações do programas, estabelecendo as devidasrelações de causalidade). Ambas exigem trabalho de campo, um largo tempo para arealização, um número razoável de pesquisadores, e apresentam custos elevados (so-

2.2 Deficiências dosEnfoques Predominantes


bre os quais incidem as ambicionadas taxas de administração das entidades públicasconveniadas ou as taxas de lucro das empresas privadas contratadas).1

Quais os produtos e as conseqüências dos estudos e pesquisas de avaliação? Al-gumas respostas podem ser encontradas abrindo-se espaço para dar voz a analistasda própria academia ou de institutos de pesquisa que se debruçaram criticamentesobre essas avaliações.

Em Fetichismo da Avaliação, trabalho denso e perspicaz de Ana Maria RezendePinto (1986, p. 88 e 89), encontramos que “os avaliadores ligados ao mundo da pes-quisa, bem mais do que ao do planejamento, são regidos pelo sistema de incentivosda academia, quase nunca coincidentes com os da administração pública. Eles sãomovidos pela busca de novas perspectivas teóricas e metodológicas, nem sempre deinteresse imediato do decisor. Tendem, ao examinar um programa, a propor altera-ções mais substanciais ou de cunho reformador mais nítido, infactíveis na prática,porque ameaçam ou os valores e ideologias e rituais dos órgãos que o implementamou as alianças políticas que dão sustentação ao plano. Muitas avaliações concluemque os programas não vão bem, que as pessoas ou grupos beneficiados continuamnecessitados e/ou desassistidos, oferecendo pouca evidência sobre as possibilidadesde melhorias ou reformulações possíveis. Isto quando os resultados da avaliação nãosão inconclusos e vagos...”, o que, não é arriscado afirmar, engloba a grande maioriados estudos e pesquisas de avaliação conduzidos academicamente.

Aliás, essa é a conclusão a que chegam Argelina Cheibub Figueiredo, da UNICAMP,e Marcos Faria Figueiredo, do IDESP, após analisarem 144 pesquisas de avaliação deprogramas sociais: “é interessante observar que a prática de policy-recommendation não émuito utilizada (...) São poucos os estudos que apresentam de forma sistemática asprovidências necessária para corrigir distorções detectadas ou que apontam alternati-vas” [Figueiredo e Figueiredo, 1986].

Se a maioria dos relatórios finais das pesquisas de avaliação de políticas, progra-mas ou projetos são inconclusos, vagos e não apresentam recomendações para me-lhorar as ações governamentais, isso não quer dizer que aqueles que conduziram aspesquisas de avaliação sejam incompetentes. O mais provável é que sejam profissio-nais responsáveis e não aventureiros formuladores de sugestões e recomendaçõessobre aquilo que não conhecem, ou seja, os meandros e desvãos dos processos deformação, desenho e execução das políticas governamentais. Algo sabidamente ne-buloso, impreciso, muitas vezes não formalizado, que não gera registros sistemáticos.

1 Na situação de penúria em que as universidades públicas se encontram há vários anos, os recursos

financeiros aportados por esses convênios têm representado uma válvula de escape de enorme im-portância, permitindo suplementar salários de professores/pesquisadores, adquirir equipamentos,livros, ‘softwares’ e, até mesmo, cobrir a manutenção de instalações. É verdade que, em algumasdelas, existem fundações de direito privado – de fato clubes de amigos – que administram esses re-cursos de forma bem pouco pública e transparente.


As dificuldades de se conhecerem de fora esses processos são quase intransponíveis.Estar dentro, por outro lado, é ser capturado pela dinâmica quase caótica2 que impe-ra em nossas administrações públicas, e representa uma impossibilidade para o pes-quisador acadêmico enquanto tal. Talvez valha, aqui, a analogia com os buracos ne-gros,3 um fenômeno cuja existência ainda carece de cabal comprovação científica (oque não é o caso dos realmente existentes processos de governo), ainda pouco co-nhecido e para o qual não se dispõe de teoria suficiente e testada em sua capacidadeexplicativa. Seria o caso de se perguntar se os pesquisadores acadêmicos não olhampara os complexos processos de governo de modo semelhante aos astrônomos paracom os buracos negros: de longe e sem teoria apropriada.

As argutas observações de Rezende Pinto se estendem, também, sobre esses as-pectos: “os pesquisadores acostumados à largueza do tempo próprio da academia,nem sempre oferecem respostas no timing adequado ao decisor. Formulam muitasperguntas, encontram muitas respostas, sem considerar as expectativas das audiênciasde avaliação, supondo uma certa isenção do conhecimento científico frente às neces-sidades práticas e imediatas de quem decide (...). Esta maneira peculiar de trabalharou a lógica do trabalho acadêmico é bastante diferenciada daquela que orienta a açãode outros sistemas que conduzem à atividade de planejamento – o de decisão e deimplementação. Os decisores, com sua equipe de assessoria, constituem o segmento,por excelência, em condições potenciais para se apropriarem dos achados avaliativos.Ao decidirem sobre a pertinência de mudanças, são, contudo, orientados por critérios

2 Uso aqui a palavra caótico com o sentido proposto pela teoria do caos, isto é: complexos sistemas

abertos, aparentemente aleatórios e imprevisíveis mas que obedecem a certas regras organizativasbastante precisas. Ver Lorenz, 1996.

3 Os buracos negros são objetos extraordinários, verdadeiros abismos do espaço e do tempo, gera-dos pelas fusões nucleares das estrelas que, ao longo de bilhões de anos, vão formando núcleoscada vez mais pesados. A compressão desenfreada daí resultante faz a estrela ficar progressiva-mente menor e mais densa. Quanto maior a densidade, maior a atração gravitacional. Quando oburaco negro se constitui, deixa de haver emissão e radiação de luz. A partir de um determinadoraio, nada é capaz de fugir de sua irresistível atração e tudo que é atraído pelo buraco negro jamaisretorna, sendo inevitavelmente destruído. “A fronteira que delimita a região de não-retorno, sepa-rando o interior do exterior de um buraco negro é denominada horizonte de eventos. Assim como ummarinheiro não pode enxergar além da linha do horizonte, não podemos ver nada do que se passadentro de um horizonte de eventos de um buraco negro, inclusive em sua parte central onde se es-condem os maiores mistérios. Toda a massa de um buraco negro está condensada em seu centroem forma hiperdensa; tão densa que, para obtê-la, precisaríamos concentrar, por exemplo, toda amatéria do sol num único ponto. Tal região é denominada singularidade. Em suas proximidades, ocampo gravitacional é tão intenso que até mesmo o espaço e o tempo perdem o significado, tor-nando-os verdadeiros abismos espaço-temporais” [Matsa e Vanzella, 2000, p. 8]. Todo o conheci-mento parcial obtido sobre os buracos negros advém de formulações teóricas e observações indi-retas (movimento atípico dos corpos celestiais próximos, desaparecimento de energia). “Nós sópodemos observar o exterior de buracos negros, mas em seu interior há a singularidade, onde ascondições são extremas e é preciso uma teoria da gravitação quântica para entender o que ocorre”[Rees, 2000, p. 6]. Ou seja, será necessário compatibilizar a teoria da relatividade geral (que corrigea teoria gravitacional) com a mecânica quântica.


políticos e, não propriamente, pelas evidências ou descobertas científicas. São dirigi-dos pela lógica dos fatos políticos, necessitando resolver problemas sob pressão, ecom agenda apertada, os recursos para um novo programa, por exemplo, podemsurgir sem que a avaliação de um outro similar tenha terminado. Neste caso, conside-ra-se preferível assegurar a posse dos recursos, corrigindo o fluxo de ação à propor-ção que ela acontece. Os decisores, além disso, não são eternos. Ao contrário, elesmudam com freqüência, bem como seus auxiliares. A demanda, ou questão por trásdo estudo avaliativo, pode estar de acordo com a prioridade de um decisor que acabade sair, e em desacordo com a perspectiva do recém-ingressado; resultado: engaveta-se o relatório, restando a possibilidade de sua ‘descoberta’ muito tempo depois”[Pinto, 1986, p. 89].

Além de todas essas dificuldades, a própria linguagem dos relatórios de pesquisasavaliativas configura, por si só, uma outra restrição à utilização no processo decisório. Ojargão “técnico-científico dos relatórios acadêmicos e a forma de consolidação dos re-sultados constituem-se em obstáculos adicionais ao seu aproveitamento imediato na prá-tica. A pesquisa não pode ser imediatamente apropriada como insumo-estratégico naformulação e acompanhamento de programas públicos” [Abranches, 1985].

Os comentários e observações até aqui expendidos podem ser exemplificadoscom as detalhadas informações produzidas em trabalho recentemente conduzidopelo IPEA, sobre as avaliações do Programa Nacional de Qualificação Profissional(PLANFOR) [Barros, 1999]. O modelo operacional desse programa supõe a execuçãodescentralizada mediante convênio com as Secretarias Estaduais do Trabalho (ouequivalente) e exige a realização periódica de avaliações. Estas deverão verificar:

• a eficácia – “benefício das ações de educação profissional em termos de em-pregabilidade, melhoria do desempenho profissional, geração ou elevação de renda,integração ou reintegração social”; e

• a efetividade social – definida “nos mesmos parâmetros de eficácia, mas doponto de vista mais amplo das populações, comunidades ou setores beneficiadospelo programa”.

No período compreendido entre 1996 e 1999, foram realizadas 361 avaliações es-taduais e 38 avaliações nacionais. No primeiro ano da série, foram avaliadas sete uni-dades da Federação; em 1997, 14 unidades federadas; e, em 1998 e 1999, 15 unida-des. No total gastaram-se R$ 28,5 milhões. As avaliações estaduais foram executadas“preferencialmente por universidades federais (6), estaduais (1) e fundações/insti-tutos públicos de pesquisa (10). As avaliações nacionais ficaram a cargo daUNITRABALHO”. Os levantamentos que produzem as informações utilizadas nos es-tudos são feitos em três momentos: no ato da matrícula; ao final do curso; e, no mí-nimo, três meses após o término do curso. A conclusão do trabalho do IPEA é que agrande maioria das avaliações não examina os principais fatores condicionantes daeficácia dos treinamentos e não produz recomendações para o aperfeiçoamento do


PLANFOR. O programa, após quatro anos de execução, continuava apresentando pra-ticamente as mesmas deficiências iniciais.

Avaliações externas e pesquisas avaliativas sobrepolíticas, programas e projetos que não foram desenha-

dos para serem avaliados são necessariamente precárias e inconclusas, por mais compe-tentes e dedicados que sejam os avaliadores. Isto porque não é possível, passado otempo da implementação, mapear, de forma precisa, a situação inicial que deveria seralterada pela política/programa/projeto, contrastando-a com a situação presente oucom a final. Também não é possível reconstruir todo o processo de intervenção, emsuas múltiplas dimensões, nem os contextos particulares nos quais seus diversossegmentos ocorreram. De igual maneira, não é possível reconstituir os caminhos e ascircunstâncias que levaram ao erro ou ao acerto, prescrevendo sugestões corretivas.Torna-se, portanto, extremamente difícil, senão temeroso, estabelecer relações cau-sais entre as ações desenvolvidas e os resultados alcançados, sejam estes previstos ounão, desejados ou não, primários ou secundários, restritos ou ampliados.

Ademais, existe uma outra grande dificuldade a ser superada pelas avaliações denatureza acadêmica, referente à compreensão e enfrentamento dos complexos pro-blemas quase-estruturados [Mitroff, 1984; Matus, 1993] que predominam nas agen-das governamentais (ver quadro 1). Se a “complexidade é a união entre a unidade e amultiplicidade, há complexidade quando elementos diferentes são inseparáveis cons-titutivos do todo (como o econômico, o político, o sociológico, o psicológico, o afe-tivo, o cultural) e há um tecido interdependente-interativo e inter-retroativo entre oobjeto do conhecimento e seu contexto, as partes e o todo, o todo e as partes, aspartes entre si” [Morin, 2000, p. 38]. Assim, compreender e avaliar as intervençõessobre os problemas complexos exige saberes que não são encontrados nas disciplinasacadêmicas e menos ainda em seus subconjuntos, nos quais se aprofundam os espe-cialistas4 convocados a participar das equipes de avaliação. A especialização começa aser reconhecida, no próprio ambiente acadêmico, como um processo que leva a umaredução dos horizontes intelectuais, e tanto mais quanto mais precoce se der [CastroSantos, 1998].

De novo, Morin põe o dedo na ferida: “os problemas essenciais nunca são parce-lados (...) e a cultura científica e técnica disciplinar parcela, desune e compartimentaos saberes, tornando cada vez mais difícil sua contextualização (...) o recorte das dis-ciplinas impossibilita apreender o que está ‘tecido junto’, o sentido original do termo,o complexo. O conhecimento especializado é uma forma particular de abstração. Aespecialização ‘abs-trai’, em outras palavras, extrai um objeto de seu contexto e deseu conjunto, rejeita os laços e as intercomunicações com seu meio, introduz o ob-

4 A definição jocosa de especialista que diz ser “aquele que sabe cada vez mais de cada vez menos”,

não deixa de ter o seu fundo de verdade.

2.3 Deficiências Cognitivas


jeto no setor conceitual abstrato que é o da disciplina compartimentada, cujas fron-teiras fragmentam arbitrariamente a sistematicidade (relação da parte com o todo) e amultidimensionalidade dos fenômenos; conduz à abstração matemática que opera desi própria uma cisão com o concreto, privilegiando tudo que é calculável e passível deser formalizado” [Morin, 2000, p. 41, 42].

QUADRO 1Problema Estruturado Problema Quase-Estruturado

1. As regras do sistema que o produz são preci-sas, claras, invariáveis e predeterminadas. Elasexistem antes da solução do problema e per-manecem iguais após a solução.

2. O homem está fora do problema e se relacio-na com ele somente para tentar resolvê-loconforme regras predeterminadas; e, se o pro-blema é solucionado, ninguém terá dúvidasquanto à eficácia da solução.

3. As fronteiras do problema e do sistema que ogera estão perfeitamente definidas. Não hádúvidas sobre onde começa e onde acaba cadacoisa.

4. As regras do sistema tornam explícitos oucontêm implicitamente os conceitos (possibi-lidades e restrições) pertinentes à resolução doproblema.

5. O problema está isolado de outros problemase, havendo uma seqüência com outros, a solu-ção de cada um não afeta a solução dos se-guintes.

6. O espaço e o tempo pertinentes ao problemasão definidos nas regras como fixos, ou tor-nam-se fixos para quem se relaciona com ele.

7. As variáveis que constituem o problema sãodadas, enumeráveis, conhecidas e finitas.

8. Qualidade e quantidade não se combinam, oproblema se move em um ou outro âmbito.

9. As possibilidades de solução do problema es-tão contidas nas suas premissas e são finitasem número. As soluções são conhecidas ouconhecíveis mesmo não sendo evidentes.

10. O problema coloca um desafio científicoou técnico, podendo supostamente ser tratadocom objetividade.

1. O problema está determinado por regras, masestas não são precisas, nem invariáveis e nemiguais para todos. Os atores sociais criam as re-gras, e às vezes as mudam para poder solucio-nar os problemas.

2. O homem (ou ator social) está dentro do pro-blema e é aí que o conhece e o explica, mesmoque não tente solucioná-lo. A eficácia de umasolução é discutível e relativa aos problemasque seguem.

3. As fronteiras do problema e do sistema que ogera são difusas.

4. Os atores sociais (ou os homens) criam possi-bilidades de solução, que não existem previa-mente. Os conceitos para compreender as pos-sibilidades de solução e suas restrições não sãodados necessáriamente previamente.

5. O problema está sincrônica e diacronicamenteentrelaçado a outros; a solução de um proble-ma facilita ou dificulta a solução de outros.

6. O espaço e o tempo são relativos a quem serelaciona com o problema a partir de diferentesposições.

7. O sistema é criativo e suas variáveis não sãodadas, não são todas enumeráveis, nem conhe-cidas e nem finitas.

8. Qualidade e quantidade combinam-se insepa-ravelmente.

9. As possibilidades de solução do problema sãocriadas pelo homem e são potencialmente infi-nitas em número.

10. O problema coloca um desafio múltiplo queabrange sempre o âmbito sociopolítico, mesmotendo uma dimensão técnica. A objetividadenão é possível, mas deve-se procurar o rigor.

Fonte: Matus, 1993.

Isso fica bastante evidenciado nas chamadas avaliações de impacto de programassociais, realizadas com o uso de técnicas de controle, sob a crença de que tais técnicaspodem ter alguma validade ou adequabilidade aos processos sociais. “Avaliar pro-


gramas sobre a perspectiva clássica significa, basicamente, isolar seus impactos. Estaconcepção referenda-se no pressuposto de que determinada realidade recebe, duranteum período de tempo definido, influxo sistemático de ações específicas e, portanto,concomitantemente diferenciadas de outras. Essa realidade atua de forma linear,permitindo, em momento adequado, retirar, em bloco, o conjunto de ações desenca-deadas, isolá-las do contexto, para, então, examinar seus reflexos.

Se as situações de experimento controlado são difíceis em laboratórios, tornam-seimprodutivas em campo. Assim, o curso da ação de um programa é definido emcontexto dinâmico e interativo onde se observa simultaneidade de ações diferencia-das que traduzem formas distintas de apropriação dos recursos disponíveis. Aindaque se suponha controlar as condições do projeto, as variáveis ambientais, determi-nantes do seu impacto, são incontroláveis pelo avaliador.

Os benefícios sociais resultam, não apenas de uma soma de fatores, mas de suacombinação, cuja determinância é quase sempre espúria. Os elementos de um projetoque explicam impactos distintos são inúmeros e diferenciados, o que torna quasenula a possibilidade de isolamento de impacto. Mesmo que se consiga levar a termo aanálise, obtendo-se alguma evidência estatística, o resultado pode ser frutífero doponto de vista acadêmico, mas mínimo do prático, da aprendizagem do sistema deplanejamento. Ainda assim, a causalidade do impacto ficará a descoberto, dada amulticolinearidade que acompanha ações sociais” [Pinto, 1986, p. 87].

As exigências teóricas, metodológicas e técnicas apropriadas à avaliação de pro-blemas complexos e das intervenções, igualmente complexas, com as quais devem seratacados, não são supridas pelas disciplinas acadêmicas e suas especializações e nempelas técnicas de pesquisas convencionais oriundas das ciências da natureza. O co-nhecimento e as informações pertinentes e úteis para a gestão de intervenções com-plexas em problemas complexos não serão produzidos por equipes multidisciplinaresexternas à intervenção. Estas são capazes apenas de captar evidências e indícios par-ciais e indiretos, que podem ser selecionados e entendidos pelos conceitos fragmen-tados e técnicas reducionistas fornecidos pelas disciplinas compartimentadas, livresdas interferências dos fatores pertencentes às especialidades vizinhas.

As avaliações produzidas por consultorias externas e as conduzidas internamente,do modo como foi descrito, pouco ajudarão o executivo do setor público na condu-ção de ações governamentais. O próprio governo, auxiliado pela universidade e pelosinstitutos de pesquisa, terá que coordenar um grande e extenso esforço de produção deconhecimento, apropriado (e apropriável) ao trabalho com os objetos e sujeitos envolvi-dos nas práticas de governo e nas transformações concretas da realidade social.

Conhecer a complexidade dos processos quase-estruturados exige a produção deconceitos e teorias que correspondam à sua natureza complexa; que sejam capazesde lidar com o difuso, o impreciso, o insuficiente, o relacional, as misturas de quali-dade com quantidade, a ação criativa e imprevista, a subjetividade e os interesses dos


atores sociais, e a incerteza daí resultante. A avaliação dos resultados obtidos porintervenções em complexos problemas quase-estruturados deve levar em conta oscontextos nos quais acontecem (compreender significa apreender em conjunto: açãoe contexto; as partes e o todo; o múltiplo e o uno), as referências valorativas e ideo-lógicas dos que as empreendem, os interesses materiais e políticos dos decisores,entre muitos outros aspectos. Essas exigências não são atendidas pelas disciplinassegmentadas e tampouco pelas técnicas de pesquisa fragmentadoras da realidade. Háa evidente necessidade de se produzir conhecimento apropriado caso se queira com-preender e melhorar (afinal este é o objetivo da avaliação) os processos de governo.Tal como a cosmologia terá que criar teorias novas para dar conta dos buracos ne-gros, as ciências sociais terão que desenvolver teorias e técnicas de forma que trans-disciplinarmente superem as especialidades compartimentadas, o pensamento disjun-tivo, as formulações reducionistas, habilitando-se a lidar com o complexo do mundo.Ciências e técnicas que permitam ultrapassar o horizonte de eventos e adentrar nassingularidades do ambiente e das ações governamentais5 [Dror, 1999; Mateus, 1997;Ackoff, 1987; Santos, 1996; Bronowski, 1997; Wagensberg, 1985].

O avolumar de ineficiências, de desperdícios, deequívocos na condução das ações governamentais,o crescimento das críticas sobre a qualidade, quan-

tidade e oportunidade dos serviços e produtos oriundos da Administração Pública, ointerminável ajuste fiscal que exige fazer mais com o mesmo recurso financeiro ou omesmo com cada vez menos, a insuportável insegurança que preside os processosdecisórios, a sensação dominante de que se esforça muito para obter resultados pí-fios, tudo isso em interação acaba por produzir um verdadeiro clamor por avaliações.

A medida provisória citada no início do texto (atual Lei no 9 625, de 7 de abril de1998), distribui competências e atribuições avaliativas prodigamente:

a) aos especialistas em políticas públicas e gestão governamental, as atividades deapoio à formulação de implementação e avaliação de políticas públicas;

b) aos analistas de finanças e controle, as atividades de apoio à formulação, de im-plementação de políticas na área econômico-financeira e patrimonial, de auditoria ede análise e avaliação de resultados;

c) aos analistas de planejamento e orçamento e técnicos de planejamento p-1501do grupo TP-1500, as atividades de apoio à formulação de implementação e de avali-ação de políticas nas áreas orçamentárias e de planejamento.

5 As conclusões e recomendações da Comissão Gulbenkian para a Reestruturação das Ciências

Sociais, presidida por Immanuel Wallerstein, aportam sugestões muito interessantes para a supera-ção da estrutura disciplinar compartimentada. O relatório final foi publicado no Brasil [ComissãoGulbenkian, 1996]. Latour (1994) também faz considerações instigantes sobre o tema.

2.4 Deficientes Tentativas deRespostas Sistêmicas


Todos a avaliar tudo sem especificar sob quais perspectivas seriam realizadas asavaliações pelas diversas carreiras e pelos técnicos de planejamento e pesquisa doIPEA. Mas, o que importa é o reconhecimento de que a avaliação é necessária à gestãogovernamental e à formalização da idéia do ciclo de gestão.

Os exemplos de que a avaliação é um instrumento do qual não se abre mão, se oobjetivo é efetivamente conduzir (e não ser conduzido por) processos de governo,não se esgotam na atribuição de responsabilidades entre as carreiras. Nos anos 90,foram desenvolvidas diversas tentativas de organizar sistemas de avaliações. Sem serexaustivo e sem considerar iniciativas de âmbito setorial, destacam-se o Programa deAcompanhamento das Ações Orçamentárias (PROGORCAM), o Sistema de Acompa-nhamento do PPA (SIAPPA), o Sistema de Acompanhamento do Brasil em Ação, to-dos do atual Ministério do Planejamento, Orçamento e Gestão; a Casa Civil da Presi-dência da República organizou o Sistema de Acompanhamento dos Projetos Prioritá-rios; o Ministério da Fazenda e o extinto MARE implantaram o Sistema de Acompa-nhamento Gerencial e Avaliação Institucional (PAGG), além de diversos outros siste-mas ou programas desenvolvidos pelo MARE, pelas Secretarias do Tesouro Nacionale Federal de Controle, do Ministério da Fazenda. Ainda que vários programas inclu-am a palavra acompanhamento em seu título, este é sempre tomado como requisito parao exercício da avaliação. Infelizmente, muitos desses sistemas não funcionaram acontento e foram desativados, outros se mostraram insuficientes e nenhum deles foicapaz de constituir-se em base apropriada à organização de processos de avaliaçãoenquanto instrumento de gestão.

Apesar das demandas por avaliação, dasfreqüentes afirmações dos dirigentespúblicos sobre a importância e necessi-

dade da avaliação, há reconhecimento internacional de que existem “mais exemplosde ineficiência e fracasso da avaliação do que de contribuições efetivas da avaliaçãopara a tomada de decisões” [Capitani, 1993].

Alberto de Capitani, diretor de administração do setor público do Banco Mundial,com a experiência que o cargo lhe confere, de posse de vários estudos sobre o tema efazendo um apanhado da bibliografia, apresenta uma lista dos sinais clínicos das causasde fracasso dos processos de avaliação (‘op. cit.’, p. 3 e 4): (i) ela é evitável quandopossível; (ii) mais provoca ansiedade e defensiva do que receptividade; (iii) os órgãosresponsáveis pela condução da avaliação não são capazes de especificar critérios jus-tos e objetivos para fazê-la; (iv) a avaliação não consegue proporcionar informaçõesúteis; (v) os resultados da avaliação extrapolam com demasiada freqüência o contextoem que são aplicáveis; (vi) é comum a falta de uma definição compartilhada dos obje-tivos da avaliação; (vii) falta uma teoria de avaliação adequada; (viii) faltam conheci-mentos sobre os processos reais de decisão; (ix) há insuficiente clareza sobre os crité-rios a serem utilizados na avaliação; (x) não há suficiente distinção entre as aborda-

2.5 Outras Deficiências que Levamas Avaliações a Falharem


gens de avaliação para refletir as diferenças na complexidade dos objetos; (xi) faltammecanismos adequados para organizar, processar e relatar as informações avaliativas;e, a não menos importante, (xii) falta de pessoal devidamente treinado.

É uma lista extensa, mas que, segundo o próprio autor, não é completa. “O queimporta, entretanto, é o fato de que virtualmente em todos os casos de fracasso daavaliação há uma desconexão entre a avaliação e a tomada de decisão” (‘op. cit.’, p. 8 e9). Ou, em outras palavras, as avaliações não possibilitam ao dirigente e à organizaçãoreconhecerem seus erros e acertos e agirem para corrigir os primeiros e confirmar,reproduzir e ampliar os segundos.

Uma das importantes causas dessa desconexão é identificada como a muito fre-qüente suposição adotada pelos avaliadores de que a qualidade da decisão e doaprendizado organizacional é determinada pelo acesso à informação de melhor nível.“Esse é o tipo de erro que os economistas cometem ao adotar um mundo de infor-mações completas, de perfeita racionalidade, amigável e sem fronteiras” (‘op. cit.’, p.5), mundo que não tem qualquer correspondência com a realidade governamental.

A informação completa sobre problemas quase-estruturados e processos comple-xos é inalcançável, independentemente do quão custoso, do ponto de vista financei-ro, seja tentar obtê-la. A pretensão da informação completa é, antes de mais nada, umauto-engano que conduz ao reducionismo inconsciente e à não-consideração de vari-áveis críticas, iludindo o destinatário da avaliação. Ademais, as capacidades individu-ais e institucionais de processamento de informações são limitadas. Muita informaçãodesinforma. Por outro lado, a grande maioria das decisões está voltada para a buscade soluções satisfatórias e não de soluções ótimas.

No ambiente governamental, “a avaliação interessará como um instrumento degestão do setor público apenas se ela se encaixar nos processos reais de tomada dedecisão, isto é, nos processos que estão inseridos na realidade das políticas e institui-ções e são sempre afetados pela escassez e incompleteza das informações necessárias.Nestas, forças múltiplas além da informação influenciam a tomada de decisão e aoportunidade da informação é crucial”.6

A avaliação será um elemento fundamental na condução de políticas, programas eprojetos se, ao lado de outras fontes de informação de mesma natureza – como aanálise de contexto, a pesquisa socioeconômica por problemas, a execução orça-mentária e a contabilidade públicas −, integrar-se no processo decisório. Para tanto, énecessário que seja consistente com os processos de produção institucionais, com acultura organizacional, com a dinâmica decisória particular de cada instituição, e seinsira com naturalidade no ciclo de criação e internalização de conhecimento da or-ganização.

6 Conforme Rist (1993), citado por Capitani (1993, p. 6).


Fazendo uso dos achados e conclusões de uma pesquisa conduzida por Rist,‘apud’ Capitani (1993, p. 8), propõe uma série de pré-condições para que a avaliaçãointegre o aprendizado institucional, ou seja, contribua para a melhoria da qualidadeda condução técnico-política das ações governamentais:

(a) os órgãos governamentais são sempre mais receptivos às informações produzi-das internamente do que àquelas originadas em fontes externas;

(b) há sempre uma correlação positiva entre a credibilidade da fonte e a aceitaçãoda informação e do julgamento produzidos pela avaliação;

(c) a aceitação da avaliação depende não só de como é percebido quem a realiza,mas também de quão influente é o receptor interno;

(d) a avaliação interinstitucional deve ser legitimada institucionalmente pelo avaliado;

(e) a forma pela qual a informação é compartilhada com os órgãos avaliados é degrande relevância;

(f) sendo a avaliação um meio para o aprimoramento institucional e a melhoria daqualidade das ações, deve suportar o aprendizado organizacional como um processocontínuo.

Todavia, seja qual for o modo como essas pré-condições se realizam, a variável prin-cipal é o processo particular de tomada de decisão a ser sustentado pela avaliação, e omais importante para tornar a avaliação imprescindível “é assegurar que a informaçãocorreta esteja disponível para as pessoas certas no tempo exato” (‘op.cit.’, p. 11).

3 UMA DEMANDA COM POTENCIALORGANIZATIVO SISTÊMICO

A reorganização do processo de planeja-mento do governo federal, cujo início foi

formalizado com a publicação do Decreto no 2 829, de 29 de outubro de 1998, ensejaa conformação de uma demanda que pode vir a ter conseqüências com conteúdosdistintos daqueles anteriormente comentados.

O decreto estabelece que, para a elaboração e execução do PPA 2000-2003, e dosOrçamentos da União (OGU), a partir do exercício do ano 2000, toda ação finalísticaserá estruturada em programas orientados para a consecução dos objetivos estratégi-cos estabelecidos para o período do plano. O programa é definido (Portaria MOG no

42, de 14 de abril de 1999) como “o instrumento de organização da ação governa-mental visando à concretização dos objetivos pretendidos”. Cada programa estarávoltado para o enfrentamento de um problema precisamente identificado, devendoconter: “objetivo; público-alvo; justificativa; órgão responsável; valor global; prazo deconclusão; fonte de financiamento; indicador que quantifique a situação que tenha por

3.1 O Contexto da Demanda


fim modificar; metas correspondentes aos bens e serviços necessários para atingir oobjetivo; ações não integrantes do Orçamento Geral da União necessárias à consecu-ção do objetivo; regionalização das metas por Estado” (Dec. no 2 829, de 29 de outu-bro de 1998, art. 2o). Os programas serão coordenados por gerentes, designados pelosministros a que estiverem vinculadas as unidades responsáveis pelos programas.

Os programas compõem-se de ações: projetos e atividades orçamentárias; opera-ções especiais (despesas que não geram contraprestação direta na forma de bens ouserviços) e outras ações (aquelas que contribuem para a realização dos objetivos doprograma mas não exigem recursos financeiros do OGU). Para as ações deverão serindicados os produtos resultantes, as unidades de medida, as metas físicas, os custos;a unidade responsável e a forma de implementação (direta, descentralizada, linha decrédito).

Todos os novos elementos conceituais, a metodologia que os organiza e a exigên-cia de maior precisão, conduzem a possibilidades de uma programação mais fidedig-na e realista. Com isso abre-se espaço para a construção de indicadores, coeficientes,parâmetros que constituem componentes importantes de qualquer sistema de produ-ção de informações orientadas para a avaliação e a gestão. São, portanto, inovaçõespromissoras.

O Plano Plurianual 2000-2003 (PPA 2000) foi produzido no bojo dessa reorgani-zação com uma orientação que pôs forte ênfase nos aspectos relacionados à gestão e,por conseguinte, em um de seus principais instrumentos: a avaliação. Para a elabora-ção do plano, o presidente da República emitiu orientação estratégica que contémseis diretrizes (de fato eram as quatro primeiras, apresentadas a seguir, que foramacrescidas em mais duas, por determinação do Congresso Nacional quando da vota-ção da Lei de Diretrizes Orçamentárias para o ano de 2000):

a) consolidar a estabilidade econômica com crescimento sustentado;

b) promover o desenvolvimento sustentável voltado para a geração de emprego eoportunidade de renda;

c) combater a pobreza e promover a cidadania e a inclusão social;

d) consolidar a democracia e a defesa dos direitos humanos;

e) reduzir as desigualdades inter-regionais;

f) promover os direitos das minorias vítimas de preconceitos e discriminação.

Permeiam a orientação estratégica diversas menções ao novo estilo de gestão dasações de governo, centrado na melhoria da qualidade do gasto público, na ampliaçãodas capacidades de gerenciamento e de coordenação e na busca de resultados. “OPlano Plurianual e os Orçamentos da União transformaram-se nos principais instru-mentos para estender os elementos de gerência moderna a todo o Governo” [Brasil,Projeto de Lei do PPA 2000, Anexo I, Orientação Estratégica, 1999, p. 3].


Além das diretrizes, a orientação estratégica estabelece 28 macroobjetivos conce-bidos como alvos a serem atingidos pela atuação setorial e que “apontam para o quedeve ser feito e, por decorrência, o que não se deve fazer” (‘op.cit.’, 1999, p.2). Osmacroobjetivos são acompanhados de orientações e prioridades que visam balizar osprogramas setoriais e multissetoriais com os quais se procura alcançá-los.

A título de exemplificar como estão definidos os macroobjetivos do PPA e suasorientações, é apresentado, a seguir, o primeiro:

“CRIAR UM AMBIENTE MACROECONÔMICO FAVORÁVEL AO CRES-CIMENTO SUSTENTADO. As perspectivas da política econômica deverão estarcada vez mais ligadas à consolidação do novo padrão de crescimento, com ênfase noaumento da produtividade, das exportações e do investimento. Com as reformas deordem econômica, o Governo abriu espaço ao capital privado na modernização dainfra-estrutura do País. São essenciais, nessa nova etapa, as ações de regulação e fis-calização da participação privada, de modo a garantir o atendimento das demandasdo consumidor e assegurar as condições de competitividade do setor produtivo. OGoverno buscará:

• Simplificar o sistema tributário e desonerar a produção, o investimento e a ex-portação.

• Criar condições para que o sistema de crédito se oriente para as operações delongo prazo com vistas à reestruturação produtiva, crescimento das exportações e doinvestimento.

• Reforçar a regulação e fiscalização da atuação privada e dar continuidade aoprograma de privatização” (‘op.cit.’, 1999, p. 4).

São os seguintes os macroobjetivos do Plano Plurianual 2000-2003:

1) criar um ambiente macroeconômico favorável ao crescimento sustentado;

2) sanear as finanças públicas;

3) elevar o nível educacional da população e ampliar a capacitação profissional;

4) atingir US$ 100 bilhões de exportações até 2002;

5) aumentar a competitividade do agronegócio;

6) desenvolver a indústria do turismo;

7) desenvolver a indústria cultural;

8) promover a modernização da infra-estrutura e a melhoria dos serviços de tele-comunicações, energia e transportes;

9) promover a reestruturação produtiva com vistas a estimular a competição nomercado interno;


10) ampliar o acesso aos postos de trabalho e melhorar a qualidade do emprego;

11) melhorar a gestão ambiental;

12) ampliar a capacidade de inovação;

13) fortalecer a participação do país nas relações econômicas internacionais;

14) ofertar escola de qualidade para todos;

15) assegurar o acesso e a humanização do atendimento na saúde;

16) combater a fome;

17) reduzir a mortalidade infantil;

18) erradicar o trabalho infantil degradante e proteger o trabalhador adolescente;

19) assegurar os serviços de proteção à população mais vulnerável à exclusão social;

20) promover o desenvolvimento integrado do campo;

21) melhorar a qualidade de vida nas aglomerações urbanas e regiões metropolitanas;

22) ampliar a oferta de habitações e estimular a melhoria das moradias existentes;

23) ampliar os serviços de saneamento básico e de saneamento ambiental das ci-dades;

24) melhorar a qualidade do transporte e do trânsito urbano;

25) promover a cultura para fortalecer a cidadania;

26) promover a garantia dos direitos humanos;

27) garantir a defesa nacional como fator de consolidação da democracia e dodesenvolvimento;

28) mobilizar governo e sociedade para a redução da violência.

Para atingir esses macroobjetivos, o PPA organiza 365 programas, entendidoscomo unidades de gestão, sendo que todos devem ter “clara definição de objetivos eresultados esperados” (‘op.cit.’, 1999, Orientação Estratégica, p.1) além dos atributosmencionados anteriormente.

As demandas por avaliação estarão presentes empraticamente todos os atos normativos que regulama reorganização do processo de planejamento fede-

ral, nas orientações metodológicas e técnicas, nos manuais de instrução. No Decretono 2 829, de 29 de outubro de 1998, encontramos:

− Art. 5o: Será realizada avaliação anual de consecução dos objetivos estratégicosdo Governo Federal e dos resultados dos Programas, para subsidiar a elaboração delei de diretrizes orçamentárias de cada exercício.

3.2 A Formalizaçãoda Demanda


− Art. 6o: A avaliação física e financeira dos programas e dos projetos e atividadesque os constituem é inerente às responsabilidades da unidade responsável e tem porfinalidade:

I - aferir seu resultado, tendo como referência os objetivos e metas fixadas;

II - subsidiar o processo de alocação de recursos públicos, a política de gastos pú-blicos e a coordenação das ações de governo;

III - evitar a dispersão e o desperdício de recursos públicos.

− Art. 7o : Para fins de gestão da qualidade, as unidades responsáveis pela execu-ção dos Programas manterão, quando couber, sistema de avaliação do grau de satis-fação da sociedade quanto aos bens e serviços ofertados pelo Poder Público.

Para o desenho dos programas e montagem do PPA, a Secretaria de Planejamentoe Investimentos Estratégicos do Ministério do Planejamento fez publicar, entre ou-tros, o Manual de Elaboração e Gestão (MEG) [Brasil, SPI/MPO, 1999]. No capítuloreferente à gestão dos programas, afirma-se que será adotada uma visão gerencialvoltada para a obtenção de resultados, o que pressupõe objetivos e responsabilidadesclaramente definidos e a aferição dos processos de trabalhos, dos produtos, dos custos,dos prazos, bem como do grau de satisfação das populações atendidas. As informa-ções sobre a execução das ações deverão estar disponíveis em meio eletrônico, demodo a permitir a avaliação da execução e a divulgação dos seus resultados[‘op. cit.’ p.15]. Ali, também, é definido que o sistema de informações do programa deve conterum mínimo de informações que permita avaliar a evolução do indicador do programa,a realização das metas, o grau de satisfação da sociedade (quando couber), o alcancedas metas de qualidade e produtividade e dos resultados globais do programa.

No mesmo manual, o capítulo dedicado à avaliação revela que, em relação ao Pla-no Plurianual, a avaliação será feita em duas etapas (‘op.cit.’, 1999, p. 21 e 22):

- a avaliação do desempenho físico-financeiro dos programas estará sob a respon-sabilidade dos gerentes;

- a avaliação do conjunto dos programas em relação aos objetivos, diretrizes e ma-croobjetivos do governo será coordenada pela SPI/MPO.

A primeira etapa, conduzida pelos gerentes, deverá propiciar o aperfeiçoamentodo programa, de seus métodos e sistemas de gerenciamento. Os resultados dessaavaliação serão utilizados como subsídios para a avaliação do PPA. Esta, por sua vez,estará orientada para:

“a) desempenho do conjunto de programas de cada área de atuação do governo,em relação aos macroobjetivos estabelecidos no Plano;

b) consolidação da realização física e financeira das metas de projetos e atividadesde cada um dos programas de cada Ministério.”


A segunda etapa da avaliação será utilizada para suportar “decisões quanto ao ge-renciamento do PPA, para a elaboração do projeto de lei das diretrizes orçamentárias(inclusive alterações no Plano Plurianual) e a alocação de recursos, mediante créditossuplementares e a elaboração de lei orçamentária”.

As demandas por avaliação não param aí. A Lei no 9 989, de 21 de julho de 2000, queaprova a PPA, diz, em seu artigo 6o: o Poder Executivo enviará ao Congresso Nacional,até o dia 15 de abril de cada exercício, relatório de avaliação do Plano Plurianual.

§ 1º O relatório conterá, no mínimo:

I - avaliação do comportamento das variáveis macroeconômicas que embasaram aelaboração do Plano, explicitando, se for o caso, as razões das discrepâncias verifica-das entre os valores previstos e observados;

II - demonstrativo, por programa e por ação, de forma regionalizada, da execuçãofísica e financeira do exercício anterior e a acumulada, distinguindo-se as fontes derecursos oriundas :

a) do orçamento fiscal e da seguridade;

b) do orçamento de investimento das empresas em que a União, direta ou indire-tamente, detenha a maioria do capital social com direito a voto; e

c) das demais fontes.

III - demonstrativo, por programa e para cada indicador, do índice alcançado aotérmino do exercício anterior comparado com o índice final previsto;

IV - avaliação, por programa, da possibilidade de alcance do índice final previstopara cada indicador e do cumprimento das metas físicas e da previsão de custos paracada ação, relacionando, se for o caso, as medidas corretivas necessárias.

§ 2º Para fins do acompanhamento e da fiscalização orçamentária a que se refere oart. 166, § 1º, inciso II, da Constituição Federal, será assegurado, ao órgão responsá-vel, o acesso irrestrito, para fins de consulta, ao Sistema de Informações Gerenciais edo Planejamento do Plano Plurianual (SIGPLAN) ou ao que vier a substituí-lo.

Do ponto de vista formal e normativo, apresenta-se um quadro novo. Estamosdiante de uma demanda por avaliações que: (i) se origina da cúpula do governo; (ii)engloba toda a administração pública federal; (iii) deverá orientar os processos con-cretos de gestão e decisão; e (iv) representa compromissos perante o poder legislati-vo e deverá estar disponível para a sociedade. Se levada a efeito, esta demanda enseja-rá a organização de um sistema de avaliações que poderá colocar o processo de go-verno em patamar superior de qualidade e racionalidade. Mas, para se chegar lá, umlongo, tortuoso e difícil caminho tem de ser percorrido.


4 TORNANDO A DEMANDA MAIS PRECISA

Entre os primeiros passos da caminhada consta, necessariamente, um esforço paratornar mais claro e melhor delimitar os tipos e objetivos das avaliações que estãosendo demandadas. Como se pode constatar no capítulo anterior, existem impreci-sões nas formulações contidas nos atos normativos e nos manuais. Fala-se em: avali-ação da consecução de objetivos estratégicos e avaliação dos resultados dos progra-mas; aferição dos resultados dos programas tendo como referência os objetivos fixa-dos; avaliação do conjunto dos programas em relação aos objetivos, diretrizes e ma-croobjetivos do governo; avaliação do desempenho dos programas de cada área deatuação do governo em relação aos macroobjetivos do plano; avaliação da execuçãodos projetos e atividades que integram os programas, entre outras referências. O quese segue resulta de uma leitura e interpretação particulares. Sem dúvida, muitas outrassão possíveis. A exigência é que, independentemente de quais forem a leitura e inter-pretação feitas, sejam explicitados os entendimentos e formulados os conceitos bási-cos. Sem isso, não se torna evidente a lógica que presidirá a organização do sistemade avaliação nem os seus objetivos.

Dada a estrutura do PPA − Orientações Estratégicas → Diretrizes → Macroobjeti-vos → Problemas → Programas (com objetivos específicos) → Ações (com metas,prazos e recursos definidos) − e a ênfase gerencial (gestão dos programas e macro-gestão do Plano) − centrada na aplicação competente dos recursos, com vistas à ob-tenção de resultados pretendidos −, acredita-se que as avaliações requeridas são asseguintes:

a) avaliação de desempenho dos programas;

b) avaliação dos resultados alcançados, por macroobjetivos;

c) avaliação global do PPA quanto ao cumprimento dos objetivos e diretrizes es-tratégicos.

Se assim for, e levando-se em conta que isso decorre de uma interpretação pessoaldos documentos referentes ao PPA, é necessário definir os termos que compõem ostrês enunciados ou os três supostos tipos de avaliação. Primeiramente, deve ser reco-nhecido que, apesar de muito se falar, quase nada existe de prática avaliativa sistemá-tica e organizada na Administração Pública federal. Não há, portanto, uma cultura deavaliação, com conceitos estabelecidos, procedimentos conhecidos, métodos e técni-cas consagrados. Mesmo no discurso, não raro as referências à avaliação aparecem deforma inadequada. “Avaliação não é palavra que venha sozinha, precisando estaracompanhada do seu objeto para ganhar inteligibilidade. É preciso, também, declararo sujeito da avaliação, pois este lhe imprimirá sentidos e enfoques particulares, dis-tintos dos de outros sujeitos, consistentes com seus interesses e propósito. Daí queum mesmo objeto poderá ser avaliado em vários dos seus aspectos e de múltiplasperspectivas, tantos quantos forem os atores singulares que as realizam. E o fazem


porque delas precisam para poderem agir com oportunidade e direcionalidade, se-gundo seus propósitos e interesses específicos” [Garcia, 2000b].

A atividade mesma de avaliar é compreendida de diferentes maneiras. Não é raroque pessoas ligadas a instituições, programas e projetos, na posição de objeto da ava-liação, considerem-se a caminho do cadafalso. Muitos avaliadores, por outro lado,sentem-se mais realistas do que os reis, mais poderosos e oniscientes que os deusesdo Olimpo. Entre os que se dedicam ao tema, há razoável consenso de que o proces-so avaliativo exitoso possui quatro características fundamentais: (i) deve ser útil paraas partes envolvidas no processo; (ii) tem que ser oportuno, ou seja, realizado emtempo hábil para auxiliar a tomada de decisão, que é um processo incessante; (iii) temque ser ético, isto é, conduzido de maneira a respeitar os valores das pessoas e insti-tuições envolvidas, em um processo de negociação e de entendimento sobre os crité-rios e medidas mais justas e apropriadas; (iv) tem que ser preciso, bem feito, adotan-do-se os cuidados necessários e os procedimentos adequados para se ganhar legitimi-dade [Firme, 1997].

Mas, o que é avaliar? “Avaliar deriva de valia que significa valor.Portanto, avaliação corresponde ao ato de determinar o valor de

alguma coisa. A todo o momento o ser humano avalia os elementos da realidade que ocerca. A avaliação é uma operação mental que integra o seu próprio pensamento – asavaliações que faz orientam ou reorientam sua conduta” [Silva, 1992].

Seja individual ou socialmente, seja de uma perspectiva privada, pública ou estatal,avaliar significa determinar o valor, a importância de alguma coisa. Avaliar será sem-pre, então, exercer o julgamento sobre ações, comportamentos, atitudes ou realiza-ções humanas, não importa se produzidas individual, grupal ou institucionalmente.Mas, para tanto, há que se associar ao valor uma capacidade de satisfazer alguma ne-cessidade humana. E à avaliação compete analisar o valor de algo em relação a algumanseio ou a um objetivo, não sendo possível avaliar, conseqüentemente, sem se dis-por de uma referência, de um quadro referencial razoavelmente preciso.

Se a avaliação requer um referencial para que possa ser exercitada, este deverá ex-plicitar as normas (valores, imagem-objetivo, situações desejadas, necessidades satis-feitas) que orientarão a seleção de métodos e técnicas que permitam, além de averi-guar a presença do valor, medir o quanto do valor, da necessidade satisfeita, da ima-gem-objetivo se realizaram. Há de se ter em mente, todavia, que a mensuração possi-bilitará apenas um conhecimento parcial, limitado pela possibilidade restrita de ob-tenção de dados e informações quantitativas, determinada pela definição de objeti-vos, metas e de recursos (de toda natureza) envolvidos.

7 O que vem a seguir sobre o entendimento de avaliação foi retirado de Garcia (1997).

4.1 Avaliação7


A avaliação tem que ser trabalhada com visão ampla, orientada por um julgamento devalor, algo eminentemente qualitativo, focalizada sobre processos complexos, em que oselementos em interação nem sempre produzem manifestações mensuráveis, podendo,inclusive, alguns desses elementos, não apresentarem atributos quantificáveis.

Não se pode descuidar de que “os julgamentos de valor são sempre mais comple-xos do que meras operações de medição, em conseqüência, a tarefa de avaliar, maisdo que saberes técnicos, exige competência, discernimento e o equilíbrio de um ma-gistrado” [Machado, 1994] para que e possa alcançar a legitimidade necessária paravalidar ou impor correções ao objeto de avaliação.

Ou seja: avaliar não significa apenas medir, mas, antes de mais nada, julgar a partirde um referencial de valores. É estabelecer, a partir de uma percepção intersubjetiva evalorativa, com base nas melhores medições objetivas, o confronto entre a “situaçãoatual com a ideal, o possível afastamento dos objetivos propostos, das metas a alcan-çar, de maneira a permitir a constante e rápida correção de rumos, com economia deesforços (de recursos) e de tempo. Sua função não é (necessariamente) punitiva, nemde mera constatação diletante, mas a de verificar em que medida os objetivos pro-postos estão sendo atingidos” [Weneck, 1996] para tomar a melhor decisão subse-qüente e agir com máxima oportunidade.

Evidencia-se, então, ser de fundamental importância dispor de clara e precisa vi-são da finalidade do valor que se busca alcançar com uma determinada ação ou reali-zação, para que se possa instituir critérios aceitáveis com os quais estas serão avalia-das. Mais ainda, é igualmente fundamental ter clareza do objetivo mesmo da avalia-ção, que aspectos do valor, da ação, da realização estarão sendo aferidos, pois as de-cisões que as validam ou as corrigem podem se dar em espaços distintos (legal, téc-nico, administrativo, político, etc.), e requerer informações e abordagens tambémdistintas.

De toda a argumentação precedente, pode-se perceber que, seja do ponto de vistagovernamental ou do da sociedade, avaliar é julgar a importância de uma ação emrelação a um determinado referencial valorativo, explícito e aceito como tal pelosatores que avaliam. E que o conceito de avaliação “é sempre mais abrangente do queo de medir porque implica o julgamento do incomensurável. Diferentemente de ava-liar, medir é comparar tendo por base uma escala fixa. A medida objetiva pode ajudarou dificultar o conhecimento da real situação. Ajuda, se é tomada como um dadoentre outros e se for determinado com precisão o que está medindo. Caso contráriopode confundir a interpretação por considerar-se a parte como todo” (‘op.cit.’, 1996,p. 374 e 375).

Com base no exposto, acredita-se que é possível e desejável tentar elaborar umconceito de avaliação, de modo a permitir que outros se posicionem favorável, críticaou contrariamente e, nesse último caso, construam conceitos superiores. Isso é ne-cessário porque concepções distintas expressam diferenças ético-filosóficas, além das


de ordem metodológica, devendo ser explicitadas para tornar mais transparentes eprofícuas as contribuições para se organizarem sistemas de avaliações com base emum legítimo entendimento comum. O que vem a seguir toma como referência asformulações de José Anchieta E. Barreto (1993) e de Thereza Penna Firme (1994),que, em dois pequenos grandes artigos, trazem inestimáveis contribuições para pen-sar processos de avaliação das ações governamentais. Propõe-se:

Avaliação é uma operação na qual é julgado o valor de uma iniciativa organizacional, apartir de um quadro referencial ou padrão comparativo previamente definidos. Pode ser conside-rada, também, como a operação de constatar a presença ou a quantidade de um valor desejadonos resultados de uma ação empreendida para obtê-lo, tendo como base um quadro referencial oucritérios de aceitabilidade pretendidos.

A definição do quadro referencial e dos elementos constitutivos do processo deavaliação requer um trabalho paciente de negociação cooperativa, com vistas a obter,pelo convencimento racional, um entendimento compartilhado dos pontos comunsaceitos por todos: avaliadores e avaliados. Disto dependerá, em larga medida, a legi-timidade da avaliação e, também, a sua validade. Esta, por sua vez, não é um critériogeral, mas um critério específico para cada avaliação, que pode ser válido em umasituação e inválido em outras.

Barreto sugere três postulados para a avaliação, que podem ser adaptados para ocaso em foco da seguinte forma:

(a) a avaliação das ações governamentais é, atualmente, um valor proclamado pelogoverno e uma demanda da sociedade;

(b) a avaliação é basicamente um julgamento de valor;

(c) a avaliação não se confunde com o ato ou processo de medir atributos de pla-nos e programas, mas sim de verificar se eles realizam (e em quanto) os valores queanunciam explícita ou implicitamente.

O autor faz, adicionalmente, dois alertas fundamentais aos quais denomina mitosda avaliação. O primeiro seria o mito da facilidade, resultante do desconhecimento dacomplexidade envolvida no processo, fazendo que este seja, muitas vezes, entregue aequipes ou pessoas de boa vontade, mas sem o devido preparo. A estes chama dediligentes incompetentes, considerando-os extremamente prejudiciais às instituições.O combate e a exorcização desse mito se fazem com a formação de recursos huma-nos. O segundo é o mito da impossibilidade de julgar ações complexas, cheias de inten-cionalidades incognocíveis, por não existirem instrumentos capazes de fazê-lo. Talmito se constituiria em apenas um mecanismo de defesa daqueles que temem a avali-ação, seja por acomodação e resistência à mudança, por medo de que a avaliaçãoponha em relevo a mediocridade dos trabalhos institucionais ou pessoais ou pelodesejo de preservar as instituições.


Thereza Penna Firme (1994) também faz alertas. Para ela, as verdadeiras avalia-ções são aquelas que subsidiam decisões, que procuram resolver preocupações e pro-blemas dos que conduzem políticas, programas ou projetos, que examinam e julgama ação governamental e que se dirigem, também, ao usuário/beneficiário, concen-trando-se nos valores e necessidades sociais. As avaliações são úteis quando reque-rem juízos de valor que melhor orientam o curso das ações. Por isso, têm que serágeis, presentes, e continuamente iluminar a implementação e os objetivos, que po-dem se defasar, sendo necessário criticá-los e mudá-los. Aqueles que fazem a verda-deira avaliação seriam, em essência, educadores, com o sucesso do avaliador sendomedido pelo que aprende do processo de avaliação e pelo que ensina. Se não com-partilha o que apreende e aprende, melhor será que não avalie.

E, para concluir esta seção, são muito apropriadas as observações de Capitani(1993, p. 11, 12 e 13).

• a avaliação não é um elemento agregado ao ‘design’ organizacional de institui-ções do setor público, mas é parte integrante da função de aprendizado institucional;

• a distinção entre avaliação cumulativa e formativa é ilusória: avaliações cumu-lativas visam à melhoria da administração do setor público, exatamente como a avali-ação formativa. Uma avaliação cumulativa que não seja formativa (isto é, que nãocontribua para a tomada de decisão aprimorada) é irrelevante e constitui uma perdade recursos;

• a responsabilidade é uma condição que permite governar melhor e a avaliaçãoé um dos instrumentos mais importantes para a melhoria do setor público, pois pos-sibilita a tomada e a prestação de contas pela atribuição de responsabilidade;

• para ser eficiente a avaliação precisa ser sustentada por uma cultura de apren-dizado: sem esta, corre o risco de se tornar um exercício irrelevante, ou pior, umarestrição burocrática sufocante;

• como parte integrante do aprendizado organizacional, a avaliação é um pro-cesso contínuo e interativo – uma conversa ou um discurso crítico com as pessoas en-volvidas na execução ou atingidas pelas políticas, programas, projetos avaliados e,principalmente, com os que podem tomar decisões pertinentes;

• no setor público, a avaliação é ao mesmo tempo um medidor de eficácia e umveículo de responsabilidade. Nesse sentido, é um instrumento indispensável ao go-verno.

Se a avaliação é entendida como foi pro-posto na seção anterior, fica evidente suaintegração ao processo de gestão que, por

sua vez, consiste na condução cotidiana de um conjunto articulado e integrado deações rumo a objetivos definidos, que prevê a tomada de decisões operacionais emmeio a restrições impostas por circunstâncias que o dirigente/gerente não escolhe

4.2 Monitoramento: Condição para aAvaliação


nem controla. As decisões devem ser tomadas com suporte de oportunas avaliaçõesde desempenho (eficiência e eficácia), relativas ao cumprimento das programaçõespertinentes a cada nível organizacional. Assim, um dos requisitos fundamentais paraa gestão de um programa é estar permanentemente informado sobre aspectos cruci-ais de sua implementação, o que demanda a organização de um sistema de monitora-mento de tudo o que for técnica e politicamente relevante em um programa e dasações pelas quais se realiza. O mesmo se aplica à macrogestão do plano.

O monitoramento é um processo sistemático e contínuo que, produzindo infor-mações sintéticas e em tempo eficaz, permite a rápida avaliação situacional e a inter-venção oportuna que confirma ou corrige as ações monitoradas.

“O monitoramento da gestão pública responde ao seguinte princípio elementar:não se pode conduzir com eficácia se o dirigente não conhece de maneira contínua ea mais objetiva possível os sinais vitais do processo que lidera e da situação na qualintervém. Um sistema de informações casuístico, parcial, assistemático, atrasado,inseguro, disperso e sobrecarregado de dados primários irrelevantes, é um aparatosensorial defeituoso que limita severamente a capacidade de uma organização parasintonizar-se com os processos concretos, identificar os problemas atuais e potenci-ais, avaliar os resultados da ação e corrigir oportunamente os desvios com respeitoaos objetivos traçados” [Matus, 1994, p. 2].

Quem não monitora os problemas que deve resolver e o resultado das ações com asquais pretende enfrentá-los não sabe o que acontece por conta do seu agir e nem que mu-danças provocou com a sua ação. Não sabe por onde anda, não consegue avaliar a eficiên-cia e a eficácia de suas intervenções. Para monitorar é necessário tornar preciso o proble-ma, demarcá-lo e medi-lo com rigor, conhecer suas principais determinações e desenharações específicas com o poder de eliminar ou minimizar as causas fundamentais que ogeram. Ao se implementarem as ações, deverão ser produzidos indicadores pertinentes −porque são úteis para quem responde por sua execução − e, portanto, passíveis de seremtrabalhados (analisados e avaliados) para poder informar a quem tem o dever de coordenaras ações e o poder de corrigi-las, caso necessário.

Somente problemas bem definidos e ações bem desenhadas e programadas, am-bos identificados por precisos e detalhados indicadores, são passíveis de monitora-mento, podendo ser avaliados de forma conseqüente e oportuna. Do contrário, o queexistirá serão apenas tentativas de acompanhamento e avaliações superficiais sob aforma de relatórios não orientados para a tomada de decisão, produzidos com enor-mes lapsos de tempo, sem nenhuma sintonia com os processos reais exigentes daatenção e intervenção dos gerentes de programas e dos condutores do plano.

O monitoramento apresenta-se, então, como um requisito imprescindível para oexercício da avaliação que se pretenda um instrumento de gestão. Quem monitora,avalia. Quem avalia, confirma ou corrige, exercendo o poder de dirigir consciente edirecionalmente.


O monitoramento requer a produção sistemática e automatizada de informações rele-vantes, precisas, sintéticas. Informações oportunas para lidar com cada processo particu-lar, com as peculiaridades que lhe são próprias. Essas informações existirão apenas quan-do a ação tiver sido desenhada e programada de forma a permitir que se cumpra a exi-gência de produzir informações apropriadas e a um ritmo adequado à tomada de deci-sões. E isso se consegue criando condições favoráveis (técnica e informacionalmente)para se estabelecer a obrigatoriedade do registro das informações necessárias que compõem osistema de monitoramento. Informações que, em larga medida, serão elaboradas no pro-cesso de produção de ações.

QUADRO 2Contraste entre o Monitoramento e a Produção Estatística

CARACTERÍSTICA SISTEMA ESTATÍSTICO SISTEMA DE MONITORAMENTO

1. USUÁRIO INDEFINIDO. O usuário é inde-finido, muito variado e até mesmopotencial, pois trata-se de gerarinformações úteis para interessesmuito diferentes e para propósitosatuais ou futuros.

BEM DEFINIDO. No monitoramento, o usuário é umator concreto, atual, muito bem definido, que necessitade informações para orientar a ação cotidiana, para co-nhecer seus resultados e compará-los com o planejado.

2. MASSA DE INFORMAÇÃO

DIVERSIFICADA. A informaçãoestatística é sempre extensiva ediversificada para atender umagrande variedade de usuários poten-ciais com interesses muito variados.

ULTRA-SELETIVA. Os sistemas de monitoramentosão projetados para atender um usuário concreto, res-ponsável por um plano/programa/projeto específico. Ainformação necessária é ultra-seletiva.

3. ATRASO ACEITÁVEL ALTO. O atraso permitido é bas-tante grande, pois a informaçãoestatística não está comprometidano ‘feed back’ de um processo emandamento.

INFORMAÇÃO EM TEMPO EFICAZ.O monitora-mento tem que atuar em tempo eficaz e, no limite, emtempo real, pois é usado para corrigir com oportunidadeações em andamento. Informação fora do prazo eficazdesinforma.

4. PERECIBILIDADE NÃO PERECÍVEL. Não tendodemanda peremptória, a informaçãoestatística não é perecível. Seu valoré mais histórico, não sofrendodeterioração com o tempo. Suafunção é mais a de registrar o quepassou, e não alimentar de imediatoo que vem a seguir.

PERECÍVEL. O monitoramento serve como ‘feedback’ para a ação, produzindo informações perecíveis.Se chegarem fora do tempo terão valor igual ao de umjornal velho.

5. PRODUÇÃO E USO PRODUÇÃO CENTRALIZADAE USO GENERALIZADO. Ainformação estatística tende a serproduzida de forma muito centrali-zada, mediante um fluxo vertical deprodução. Em compensação, seuuso é generalizado em todos osníveis.

PRODUÇÃO DESCENTRALIZADA E USOESPECÍFICO. O monitoramento é totalmente descen-tralizado, produzindo informações que permitam corri-gir oportunamente ações no nível em que ocorram. Seuuso é muito particular para as necessidades do usuário.

6. TIPO DE INFORMAÇÃO

PRIMÁRIA. A informação estatísti-ca é basicamente primária, nãoprocessada, para poder atenderdemandas muito variadas de trata-mento por parte de usuários muitodiversificados.

INDICADORES E SINAIS. O monitoramento operacom indicadores e sinais significativos para um usuárioespecífico. Resultam de um processamento complexodas informações básicas e é dirigido para atender neces-sidades decisórias referentes aos planos/programasconduzidos pelo usuário.

Fonte: Matus (1996, p. 3).

Os sistemas de informações tradicionais, baseados em estatísticas e em registrosdescontínuos e inorgânicos, muitas vezes quase aleatórios, tentam oferecer muitainformação não pertinente e não processada. Desse modo, provocam uma congestão


no sistema sensorial das organizações e, “em último termo, acabam por desinformar aodirigente. Muitas antenas anulam a capacidade e nitidez de recepção da informaçãoque importa. Se confunde a enorme massa de informação gerada na base, que cons-titui a matéria-prima informativa que deve ser processada pelo monitoramento, com onúmero reduzido de informações relevantes que, mediante filtros inteligentes, geramos sinais que devem guiar o processo de direção. O sistema de monitoramento deveser capaz de manejar em forma ágil e flexível uma grande massa de informação sobrea gestão de uma organização pública, reduzindo esta grande massa que desinformapor sobrecarga de dados a um grupo reduzido de sinais e informação filtrada e inteli-gente” [Matus, 1994, p. 14] que permite a tomada de decisões com rapidez e maiorsegurança. O quadro 2 mostra, com precisão e síntese, as principais diferenças entreos sistemas de estatística e de monitoramento.

Assim como um alto dirigente responde pelo conjunto do plano, um gerente é oresponsável pelo enfrentamento global do problema que o programa busca resolver.Isso significa que a ele cabe coordenar o conjunto de ações concebidas como neces-sárias e suficientes, para que sejam implementadas de forma convergente, na seqüên-cia temporal apropriada, com a intensidade adequada, atingindo as causas críticas doproblema. Da mesma forma, o alto dirigente precisa saber, no seu nível, do anda-mento global do plano para poder conduzi-lo com propriedade, tomando as decisõescorretas, no tempo certo. Para assim procederem, é imprescindível que estejam, am-bos, permanentemente aptos a tomarem as decisões necessárias em cada momentoque elas se apresentarem, com segurança e oportunidade. Isso se concretiza comcontínuas avaliações de desempenho [Garcia, 2000c, p. 17].

“Como se consegue isso?

A resposta é simples: estando informado sobre tudo o que é importante, para po-der avaliar e agir. Mas alcançar essa condição não é algo simples. Supõe que as in-formações de base (menor unidade operativa de cada ação) estejam sendo registradas,agrupadas (para conformar um conjunto significativo), agregadas (para compor tare-fas e, posteriormente ações), relacionadas (para construir os indicadores), analisadas eavaliadas. Importa, também, estar informado sobre o contexto no qual se desenvol-vem as ações (restrições, imprevistos, surpresas, oportunidades), pois a informação(ou indicador) somente ganha sentido e torna-se inteligível quando referida ao cená-rio no qual se realizou. Ademais, é fundamental dispor de informações em tempooportuno para poder agir com eficácia e, é bom lembrar, as ações acontecem emritmos de tempo diferentes, exigindo decisões em tempos também distintos.”

Mas o que é um indicador e como ele integra um sistema de monitoramento? Umexemplo prosaico pode ajudar.

Em uma viagem rodoviária, parte-se de um ponto no espaço com o objetivo dechegar a outro. Quem dirige o veículo automotor precisa estar, permanentemente,informado sobre aspectos cruciais do veículo (quantidade de combustível, consumo


médio, velocidade, temperatura, nível do óleo etc.), da estrada (distância percorrida,existência de buracos, áreas de escape, curvas, declives, posição em que se encontra,postos de serviços, referências importantes, etc.), do tráfego (mais ou menos intenso,velocidade média do trânsito, possibilidades de ultrapassagem, tipos de veículos pre-dominantes, etc.), do clima (chuva, neblina, calor, frio, etc.). São informações obtidasvisualmente por meios diretos ou indiretos (sensores do painel do veículo, marcos eavisos na estrada, mapas, entre outros). Essas informações indicam se o caminhocerto está sendo percorrido e permitem avaliações contínuas que orientam o com-portamento e as decisões do condutor, com vistas a conseguir o melhor desempe-nho, em condições mais seguras.

O motorista dirige o carro porque o conhece e o faz funcionar mediante coman-dos precisos e oportunos. Ele o conduz rumo a um destino porque conhece o cami-nho e obtém informações confiáveis, em tempo eficaz, sobre todos os aspectos rele-vantes do carro, das estradas, do trânsito, do clima. Se assim não for, não alcança seuobjetivo.

Conduzir um plano de governo, dirigir uma instituição pública, gerenciar um pro-grama, exige conhecer a evolução da situação problemática enfrentada e avaliar osresultados das ações desenvolvidas para modificá-la a tempo. Trata-se de algo muitomais complexo do que realizar uma viagem rodoviária. Aqui as possibilidades de mo-nitoramento visual direto são muito limitadas, requerendo o monitoramento indiretomediante o uso adequado de indicadores apropriados ao processo de direção. Osindicadores indicam os movimentos significativos de todas as variáveis técnica e po-liticamente relevantes para a condução estratégica de um plano, programa, projeto ouinstituição. O indicador deve mostrar movimentos que precisamos conhecer mas quenão podemos observar diretamente. São obtidos pelo processamento de informaçõesrelativas aos aspectos importantes dos processos que compõem a realidade proble-mática e às ações com que se busca mudá-la.

As informações necessárias a compor indicadores têm fontes variadas. Parte expres-siva destas virá de registros administrativos concebidos com esse propósito, confor-mando sistemas de informações gerenciais, base para a organização do monitoramento.Outras fontes importantes são: atas regulares de inspeção (andamento de obras, cum-primento de normas, etc.); amostragens estatísticas periódicas ou especiais; pareceresde peritos; mídia; opiniões de usuários sistematicamente aferidas, entre outras.

Tipos de Indicadores

1. Sobre os Problemas

- Indicador(es) do Problema

- Indicadores das Causas Críticas

- Indicadores das Conseqüências do Problema


2. Sobre os Atores Pertinentes ao Problema

- Indicador de Interesse

- Indicador de Motivação

- Indicador dos Recursos Controlados

3. De Execução

- Indicadores de Recursos (financeiros, humanos, materiais, etc.)

- Indicador de Eficiência

. intermediária

. terminal

- Indicador de Eficácia

. intermediária

. terminal

- Indicador de Oportunidade (cronograma de execução)

- Indicador da Execução Orçamentária

4. De Contexto

Indicadores referentes às variáveis relevantes para o sucesso do programa e queestão fora da capacidade de predição e controle do gerente/ator.

5. De Resultados

Indicadores sintéticos que evidenciam as transformações produzidas na realidadesocial (sobre o público-alvo) por conta da execução do programa.

A Cadeia de Produção de Indicadores8

A produção de indicadores é realizada mediante uma cadeia de geração de infor-mações em níveis cada vez mais agregados. Cada elo da cadeia tem um responsávelpela realização de uma função específica que irá, obrigatoriamente, registrando cadafato relevante, de forma previamente estipulada. Assim, é gerado um produto infor-mativo a ser entregue, a tempo, ao responsável pelo elo seguinte da cadeia. A cadeiacompleta tem cinco elos básicos:

1. fonte primária de informação – registro do evento ou captação particular da in-formação;

2. processamento primário – agregação sistemática da informação primária para obteruma totalidade significativa da descrição do movimento da variável monitorada; 8 Conforme Matus (1994, p. 24 e 25).


3. construção de indicadores – estabelecimento de relações entre variáveis;

4. elaboração de sinais numéricos no ponto terminal do monitoramento – relaçãoentre o indicador obtido a cada momento e o indicador-norma ou o enquadramentodo indicador real na faixa de normalidade estabelecida (na faixa ou fora dela);

5. transformação do sinal numérico em ícone, gerando capacidade de uma com-preensão gráfica visual e rápida do seu significado.

FIGURA 1Fluxograma Ilustrativo da Construção e Leitura de Indicadores

O tempo, por outro lado, é o recurso mais escasso para um decisor, devendo sermuito bem usado. Uma forma interessante de economizar tempo é dispor de indica-dores sintéticos sobre todas as variáveis relevantes de um programa. Quando é possí-vel estabelecer um indicador-norma ou uma faixa de normalidade, a avaliação podeser feita de maneira expedita, possibilitando rapidez na tomada de decisão. Com essesartifícios são reduzidos os riscos de entulhar o dirigente com informações não pro-cessadas, acelera-se o processo decisório e são asseguradas condições para a cobrançae prestação de contas.

A transformação de um grande volume de informações primárias em um pequenovolume de informações relevantes e sintéticas é feita, dessa forma, mediante a con-versão dos registros simples de fatos em indicadores e sinais. A informação primáriaarmazenada nunca será exposta diretamente ao olhar do gerente/dirigente, porquenão é relevante e porque muita informação desinforma e distrai o decisor do seu focode atenção. Mas a informação básica deve ficar armazenada na memória do sistema.

Exemplo 1:

- Indicador: relação aluno/professor

- Indicador norma: 25/1

Registro PrimárioA

Registro PrimárioB

Registro PrimárioC

ProcessamentoPrimário



INDICADORREAL

Indicador-Norma

SINAL ÍCONE

Plano Cenário

Atenção - Alarme


- Indicador real: 38/1

- Sinal: fora da normalidade

Exemplo 2:

- Indicador: taxa de aprovação

- Faixa de Normalidade: 80% a 90%

- Indicador Real: 62%

- Sinal: fora da faixa de normalidade

A gestão de um programa integrante do PPA é sinônimo de obtenção de resultadosque confluam para a realização dos macroobjetivos do plano. Um gerente estará, per-manentemente, em busca do melhor desempenho possível e, em simultâneo, procu-rando alargar os espaços de possibilidade, para a plena execução das ações. A gestãocompetente, portanto, é aquela que consegue assegurar cotidianamente as condiçõesadequadas para a produção eficaz e eficiente dos resultados intermediários ou de uni-dades de resultado no dia-a-dia da implantação dos programas (ver Garcia, 2000d).

Isso se faz mediante um processo de monitoramento e avaliação que suporte ojulgamento e a pertinente e oportuna decisão. Os sistemas de monitoramento, avalia-ção e decisão são construídos caso a caso, respeitando as peculiaridades dos proces-sos de produção de ações, das instituições responsáveis e dos dirigentes. Exige, por-tanto, a definição prévia de um modelo de gestão que ainda não é preciso e detalha-do. Mas as exigências postas pela macrogestão do PPA e pelo Sistema de InformaçõesGerenciais estão razoavelmente precisas e guiarão a construção do modelo de gerên-cia, sob estreita observância dos problemas e soluções surgidos na prática de im-plantar e gerenciar o PPA. Daí sairão as avaliações de desempenho dos programas,tornando possível a realização das avaliações de resultados, por macroobjetivos.

Empenhar é contrair uma dívida mediante o oferecimentode garantia real de pagamento. O penhor é o elemento

móvel ou mobilizável que constitui essa garantia. Daí vem o significado de desempe-nho, qual seja, o de retirar o que foi empenhado. No caso da Administração Públicao desempenho se refere à realização de compromissos assumidos, ao cumprimentodaquilo a que estava obrigado pelas competências inerentes à função ou cargo ouainda pela responsabilidade atribuída circunstancial ou permanentemente a uma fun-ção dirigente ou a um órgão.

Para se realizar uma avaliação de desempenho é necessário, no entanto, explicitare precisar a que se refere a avaliação, quais os aspectos do desempenho interessam.Sem buscar a exaustão mas sim o mínimo comum a ser obtido na avaliação de qual-quer ação, sugere-se a seguinte definição: desempenho é resgate do compromisso de execução

4.3 Desempenho


de uma programação formalmente estabelecida como desejável e factível, a partir de parâmetros confi-áveis surgidos da aplicação do conhecimento técnico-científico sobre a experiência prática.

Uma programação, por mais elementar que seja, deverá conter o que e quanto sepretende fazer, com quais montantes de recursos, em qual prazo. Deve-se conhecer oprocesso de produção do bem ou serviço resultante da ação, a capacidade operacio-nal do órgão responsável, os insumos necessários e as proporções nas quais se com-binam e os custos de elaboração de cada unidade do bem ou serviço. Uma progra-mação bem feita estará amparada em elementos técnicos e conhecimentos empíricos,que permitirão a construção de coeficientes e normas operacionais e programáticasconstituidores de bases de comparação entre ações semelhantes, desenvolvidas emespaços ou instituições diferentes.

A própria execução da programação deve produzir regular e automaticamente asinformações (cuja definição será prévia ou simultânea ao desenho da programação)necessárias para se conhecer e julgar sua qualidade, possibilitando intervenções cor-retoras em tempo oportuno. Para que isso ocorra, colocando a avaliação da execuçãodas ações governamentais a serviço da gestão estratégica conduzida pela alta direçãode governo, é necessário definir o referencial a ser adotado nesse processo. Se umdos objetivos de gestão estratégica competente é atuar com segurança e em tempooportuno e as possibilidades de assessoramento técnico estão limitadas (inclusive)pela especificidade e atualidade das informações básicas requeridas, a avaliação dedesempenho que aqui se propõe há de ter como referência a busca da eficiência e daeficácia, entendidas, ambas, como valores importantes para a Administração Pública.O bom governo é o que faz o que anuncia, no prazo certo, com a melhor qualidade,para o maior número de pessoas, ao menor custo possível. Para saber se isso estáocorrendo, podem ser utilizadas as avaliações de desempenho das ações e dos pro-gramas do PPA, contribuindo para a consecução dos macroobjetivos estabelecidos.

A avaliação poderá ser organizada como um processo “sistemático de aprenderempiricamente e de analisar as lições aprendidas para melhorar as ações em curso epara a realização de um planejamento mais satisfatório, mediante uma seleção rigoro-sa entre as distintas possibilidades de ação futura. Isso supõe uma análise crítica dosdiferentes aspectos do desenho e da execução de um programa e das ações que oconstituem, de sua pertinência, de sua eficiência e eficácia, dos custos nos quais in-corre e de sua aceitabilidade por todas as partes envolvidas” [OMS, 1981, p. 81]. Des-se modo, aumentam-se as probabilidades de realização do objetivo de qualquer planogovernamental, qual seja, o de apresentar a máxima resolutibilidade no enfrenta-mento dos problemas, aproveitando competentemente as oportunidades surgidas eminimizando o impacto das surpresas. Mais ainda, são ampliadas as possibilidades deimprimir maior agilidade e direcionalidade à gestão estratégica da estrutura organiza-cional e dos recursos envolvidos nas ações que compõem um programa.


Posto isso, dá-se como assentado que a “tarefa essencial daqueles que realizamavaliações de desempenho das intervenções governamentais consiste em proporcio-nar elementos para aumentar a eficiência e a eficácia, isto é, alcançar os objetivosprocurados com uma utilização ótima dos recursos disponíveis” [Cohen e Franco,1993, p. 69].

O passo seguinte é o de conceituar os valores referenciais eficácia e eficiência demodo que, com a maior objetividade conseguida nas condições existentes, possamcumprir, de maneira operacional, os requisitos de validade (medir o que pretende),confiabilidade (qualidade e estabilidade da informação produzida) e suficiência (reco-nhecendo que a exaustibilidade, ainda que desejável, não é factível) se tornem passí-veis de utilização ampla, atendendo às necessidades da gestão estratégica.

Eficaz é o que produz o efeito desejado, diz o Aurélio. Noentender de Ballart (1992, p. 71) “a eficácia examina a medida

da mudança que se produz na direção desejada”, e enquanto, na visão de Cohen eFranco (1993, p. 102), “operacionalmente, eficácia é o grau em que se alcançam osobjetivos e as metas de um projeto na população beneficiária, em um determinadoperíodo de tempo, independente dos custos implicados”.

Propõe-se, com a finalidade de se instituir um processo sistemático de avaliaçãodas ações governamentais, a adoção do seguinte conceito: eficácia é o grau em que seatingem os objetivos e as metas de uma ação orientada para um alvo particular, em um determinadoperíodo de tempo, independentemente dos custos nos quais se incorra.

Nessa definição sobressaem duas variáveis básicas: metas e tempo. Supõe-se que aação é realizada a partir de detalhada programação, orientada por normas e padrõesque permitirão, com a prática, a imposição de coeficientes técnicos na alocação derecursos para o atingimento das metas, em um espaço de tempo estabelecido. Umaoutra suposição verdadeiramente heróica é a de que, com a realização das metas pro-gramadas, estará assegurada a consecução dos objetivos, o que é plausível apenas emsituações de baixa complexidade, lidando com problemas estruturados, com os prin-cipais recursos e variáveis críticas estando sob o controle do dirigente ou responsávelpela ação ou programa.

Para a medida do grau de atingimento de eficácia, pode ser aplicada a seguintefórmula9

Mr MrEa = Tr = Mp = Mr. Tp

Mp Tr Mp.TrTp Tp

9 Proposta por Orozco (1986) e citada por Cohen e Franco (1993, p. 102).

4.3.1 Eficácia


em que:

Ea = eficácia;

Mr = unidades realizadas da meta programada;

Mp = meta programada;

Tr = tempo real gasto para a realização das unidades da meta obtidas;

Tp = Tempo planejado para realizar a meta total.

Os resultados da aplicação da fórmula devem ser interpretados como se segue:

Se Ea > 1, a ação é mais do que eficaz;

Se Ea = 1, a ação é eficaz;

Se Ea < 1, a ação é ineficaz.

Evidentemente, essas relações se dão a partir do suposto de que a programaçãofoi realizada em bases seguras, com conhecimento técnico e operacional das condi-ções de execução da ação. Caso contrário, estaremos diante da ignorância e do arbí-trio, e o cálculo da eficácia não terá validade nem sentido para a gestão estratégica.

Recorrendo aos mesmos autores citados na subseção an-terior, encontramos, no mestre Aurélio, que eficiência é a

virtude de produzir um efeito ao menor custo. Para Ballart (1992, p. 77 e 78), é “amedida dos custos em que se tem efetivamente incorrido para produzir os resultadospretendidos por um determinado programa”. Em Cohen e Franco (1993, p. 103 e104), “a eficiência pode ser definida como a relação existente entre os produtos e oscustos dos insumos”, sendo que o “conceito de eficiência pode ser considerado apartir de duas perspectivas complementares: se a quantidade de produto está pré-determinada, procura-se minimizar o custo total ou o meio que se segue para a suageração; se o gasto total está previamente fixado, se procura otimizar a combinaçãode insumos para maximizar o produto”.

Para os propósitos aqui esposados, pode ser admitido o seguinte conceito: eficiênciaé a relação existente entre os produtos resultantes da realização de uma ação governamental progra-mada e os custos incorridos diretamente em sua execução.

Assim, e sob a mesma orientação utilizada no tratamento de eficácia, teremos:

Mr MrEe = Tr.Cr = Mp = Mr. Tp.Cp = Ea Cp

Mp Tr.Cr Mp.Tr.Cr CrTp.Cp Tp.Cp

em que:

Ee= eficiência;

4.3.2 Eficiência


Cr= custo real da ação;

Cp= custo programado da ação.

E, tal como no item anterior, quando:

Ee > 1, a ação é mais do que eficiente;

Ee = 1, a ação é eficiente;

Ee < 1, a ação é ineficiente.

Como aqui se adotou um conceito reducionista da ação governamental, igualan-do-a aos projetos e atividades orçamentários com destinação finalista, fica asseguradoque todos os insumos necessários à produção das ações terão expressão monetária.Para que os produtos e os prazos sejam devidamente mensurados, haverá necessida-de de adotar critérios precisos e confiáveis quando se elaborar a programação.

O uso das fórmulas apresentadas nos itens nas sub-seções 4.3.1 e 4.3.2 exige que se considere o se-

guinte [Cohen e Franco, 1993, p. 105]:

1. as ações que buscam objetivos similares são comparáveis apenas quando foremprogramadas do mesmo modo. Ao contrário, a comparação não terá uma base comum;

2. a eficácia e a eficiência podem e devem ser apreciadas em diversos níveis, refe-rentes às atividades necessárias à realização de produtos finais ou objetivos interme-diários;

3. as fórmulas Ea e Ee serão adequadas para medir (parcialmente, é importantelembrar) a eficácia e a eficiência de ações governamentais somente se a experiênciaacumulada permitir o estabelecimento de normas (padrões, parâmetros, coeficientestécnicos, etc.) válidas.

A respeito desse último ponto, é bastante evidente o fato de não dispormos, naatualidade, dos padrões, parâmetros e coeficientes técnicos necessários e suficientes.Isso impõe que as primeiras programações e avaliações conterão deficiências de vulto,mas o simples programar sob critérios bem definidos e sob o esforço de precisar, apartir de conceitos adequados à produção de informações úteis à avaliação, irá geran-do, com o tempo, elementos confiáveis e seguros, possibilitando o estabelecimentode normas cada vez mais válidas.

A análise da eficiência e da eficácia de ações governamentais, conforme se sugeriu,possui consideráveis limitações. Temos que ter consciência destas para não incorrer-mos em erros no assessoramento à tomada de decisões e para não esperarmos obter,mais do que é possível, de instrumentos de natureza quantitativa. Devemos semprelembrar que a avaliação significa determinar o valor de alguma coisa, por meio dejulgamentos, sendo a mensuração um auxílio a essa tarefa.

4.3.3 Condicionalidades


A opção feita foi contribuir para avançar no conhecimento da execução das ações degoverno e de seus resultados, com todos os riscos conceituais, metodológicos, técnicos eoperacionais existentes. A crença que suporta tal opção é a de ser possível utilizar a pro-gramação do PPA, o Orçamento da União e a sua execução financeira (o SIG/PPA, oSIDOR e o SIAFI, respectivamente) como fontes de dados para a análise e a avaliação, des-de que suportados por procedimentos conhecidos e uniformes de programação. Paratornar viável essa utilização, algumas mudanças adaptadoras deverão ser introduzidas naspráticas hoje correntes de programação e orçamentação.

A avaliação de desempenho de um programa do PPA consistiria, então, em verifi-car em quanto e como foi cumprida a programação, e se o indicador (ou indicadores)do problema/programa movimentou-se na direção e na intensidade esperadas, comvistas a atingir o objetivo estabelecido para o horizonte temporal do plano.

Na linguagem cotidiana (talvez algo próximo do senso co-mum), resultado é a conseqüência ou o efeito de uma ação soci-

al, sendo que a ação seria uma atividade sob a responsabilidade de um sujeito (indivi-dual ou coletivo) com vontade consciente de criar ou promover mudanças na reali-dade. Matus (1993, v. I, p. 81) define ação social nos seguintes termos: “é uma ativida-de intencional e reflexiva, com a qual um ator social espera conscientemente logrardeterminados resultados em uma situação concreta, envolvendo cooperação ou con-flito com outros atores”. O processo de produção de ações consiste em combinarrecursos diversos (econômicos, materiais, conhecimento e informação, poder políti-co, capacidade organizativa, etc.), elaborando produtos (bens e serviços, normas, informa-ção, conhecimento, relações sociais, instituições, etc.) com os quais se espera obter atransformação ou mudança desejada. Daí: resultado seria a transformação ou mudança em umarealidade concreta, conseguida ou influenciada pela ação (ou conjunto de ações) de um ator social particularem cooperação ou conflito com outros.

Se esses argumentos forem minimamente razoáveis, ficará difícil aceitar a noçãode resultado utilizada correntemente, a que estabelece uma relação de causa-efeito,entre ação-transformação. Isso porque apenas em um número muito restrito de ca-sos, referentes a situações de baixa complexidade, em que as forças distintas das doator que conduz a ação são desprezíveis ou estão sob o seu controle, será possívelestabelecer relações de causa-efeito, assegurando que o resultado conseguido deveu-se exclusiva ou predominantemente à ação empreendida.

Na avassaladora maioria das situações, o que vigora é a multiplicidade de atores,com interesses diferentes, senão conflitantes, desenvolvendo ações com conteúdos eobjetivos distintos. Há, ademais, fatores circunstanciais e aqueles oriundos de outrosespaços situacionais (ou macrossituacionais) que também interferem na construçãoda mudança observada. Esta dificilmente poderá ser enquadrada como o resultadoexclusivo de uma ação ou de um programa. No máximo, será um vetor resultante (tal

4.4 Resultado


como na física) de múltiplas intervenções produzidas por atores distintos e de pro-cessos circunstanciais.

Mas isso não inviabiliza a avaliação de resultados, apenas torna-a mais complexa,difícil e trabalhosa, mais exigente em conhecimento, informação e métodos apropria-dos para realizá-la. O ponto de partida para uma eficaz e confiável avaliação de re-sultados é a descrição do problema a ser enfrentado pela ação ou programa, ou seja, aconstrução de descritores.10 Os descritores combinados adequada e pertinentementepoderão conformar os indicadores (compostos ou sintéticos) do problema/progra-ma, como exigido pela metodologia de elaboração dos programas do PPA. O passoseguinte é explicar o problema, identificando suas causas críticas (processos, fatoresresponsáveis – segundo o marco teórico adotado – pelo surgimento, manutenção ouexpansão do problema). O desenho do programa – orientado pela teoria do proble-ma e do próprio programa − compreenderá a concepção e organização das açõesnecessárias e suficientes a superar as causas críticas, identificando e combinando osrecursos apropriados e os produtos esperados. A programação propriamente ditaconsiste em distribuir as ações no tempo em uma seqüência que possibilite criar via-bilidade progressiva para aquelas que se revelem, por várias razões, mais difíceis deserem executadas no momento mais adequado.

Para se proceder à avaliação, é requerido, ademais, a identificação das variáveis-chave do contexto de cada programa que estão fora do controle do ator (condutordo programa/ação), para que possam ser monitoradas e ajudem a compor o pano defundo sobre o qual a avaliação ganha sentido e inteligibilidade. O mesmo haverá deser feito com os outros atores relevantes (com interesses convergentes ou divergen-tes dos do objetivo do programa ou do seu dirigente) mediante o uso de indicadoresque expressem, mesmo de forma aproximada ou indireta, suas motivações em cadacaso particular, os recursos que controlam, as ações que desenvolvem.

Assim, é permitida uma aproximação menos reducionista à complexidade própriadas intervenções sociais transformadoras, estabelecendo associações acauteladas (esempre passíveis de serem revistas) entre ações e seus resultados, informando comoportunidade e relativa segurança sobre os processos produtores de ações, a intensi-dade e seu foco, a eficiência e a eficácia, a consistência das ações, a permanência dosobjetivos, entre outros aspectos imprescindíveis à condução de programas/ação.

10 Conforme Matus (1993, v. II, p. 311 e 312), descritor é o marcador (placar) do problema. São fatos

precisos que verificam ou atestam a existência do problema. Ele cumpre quatro funções: reúne asdistintas interpretações do problema a um só significado para o ator e sua equipe; torna preciso oque deve ser explicado; torna o problema monitorável; verifica a eficácia da ação para enfrentá-lo(se o problema piora ou melhora). REQUISITOS DOS DESCRITORES: são precisos e monito-ráveis; o conjunto dos descritores deve ser suficiente para se construir uma interpretação sem am-bigüidades; não podem ser confundidos nem com causas nem com conseqüências do problema;não podem haver relações causais entre os descritores; um descritor não deve reiterar o que foidito por outro com outra forma.


5 ESBOÇO TENTATIVO DE UM ROTEIRO PRELIMINAR PARAORGANIZAR AS AVALIAÇÕES DO PPA

Como afirma o ditado popular, cautela e caldo de galinha não fazem mal a nin-guém, por isso as ressalvas do título deste capítulo. Afinal, estamos diante de algonovo ( o modo como foi elaborado e deverá ser implementado o PPA), para o qual éexigida uma nova atividade (avaliação como instrumento de gestão), sem que estejaclaro como, quando e onde deverá se realizar para cumprir os objetivos pretendidos.A tarefa que aqui se propõe é, portanto, de alto risco, prenhe de incertezas e tentadacom elevada insegurança. Contudo, é assumida por acreditar-se que, para se podercaminhar rumo à montagem de um modelo institucional de avaliação, um primeiropasso deve ser dado, qual seja: uma proposta incompleta, imprecisa, deficiente deveser posta à discussão para avançarmos na construção coletiva de um projeto necessá-rio e que configura uma oportunidade estratégica para o IPEA. O risco é ampliadotambém por não existir um corpo teórico consensualmente estabelecido, não se dis-por de uma prática metodologicamente consagrada, nem de uma cultura avaliativadisseminada na Administração Pública federal. Se todos esses fatores tornam a tarefatemerosa, ao mesmo tempo a fazem necessária e premente, para que se possa, pelomenos, tentar aproveitar a oportunidade apresentada.

Para isso, vale a pena recordar o encadeamento lógico-temporal adotado para a elabo-ração do PPA 2000-2003, esclarecendo que este nem sempre foi seguido à risca:11

(1) orientação estratégica do presidente da República estabeleceu as quatro (maisduas) diretrizes e 28 macroobjetivos;

(2) orientação estratégica do ministro apresentou as diretrizes setoriais e indicouos problemas selecionados na área;

(3) cerca de 360 programas são concebidos, com vistas à consecução dos macro-objetivos. Cada programa finalístico deveria ser desenhado para resolver um proble-ma específico, delimitado social e espacialmente, com público-alvo e objetivos bemdefinidos. Todos os programas teriam indicadores (medidos na situação inicial t0 ena situação-objetivo t4) e conteriam as ações (atividades e projetos orçamentários eoutras não exigentes em recursos financeiros originados do OGU, tais como atosnormativos e parcerias) para as quais deveriam ser estipulados custos, prazos de exe-cução, metas, sendo que a cada ação corresponderá um produto. Os programas sãocoordenados por gerentes designados pelos ministros aos quais estejam vinculadas asunidades administrativas responsáveis.

11 Muitos programas preexistentes apenas sofreram enquadramento no novo formato; ações que

vinham sendo implementadas há anos foram apresentadas sob o título de um programa; algumasdiretrizes ministeriais foram elaboradas após os programas terem sido concluídos; e, principal-mente, o agrupamento dos programas por macroobjetivos foi feito por critérios de afinidade algosubjetivos, e ‘a posteriori’.


Para fins da macrogestão do PPA, o Ministério do Planejamento (SPI) organizouum Sistema de Informações Gerenciais (SIG) que possibilita (e exige dos gerentes) oregistro das variações dos principais atributos dos programas e de suas ações quandoda implementação. Supõe a existência de um sistema de informações e gestão apro-priado a cada programa, a ser implantado pelos ministérios responsáveis.

A interpretação das demandas por avaliação, feita anteriormente, aponta para: (i) aavaliação de desempenho dos programas e das suas ações; (ii) a avaliação dos resulta-dos alcançados, por macroobjetivos; e (iii) a avaliação global do PPA, quanto à conse-cução da orientação das diretrizes estratégicas, todas produzindo pelo menos uminforme anual para ser encaminhado ao Congresso Nacional. Mas, para serem úteis àgestão estratégica, deverão ser realizadas sempre que forem necessárias à tomada dedecisões importantes (ver quadro 3).

QUADRO 3Componentes Básicos do Sistema de Avaliação

Orientação e DiretrizesEstratégicas

MEGAPROBLEMASDelimitação e descriçãoIndicadorSituação em t0

MEGAOBJETIVOSEm t1, t2, t3, t4

Avaliação Global do PPA

Causas Críticas dosMegaproblemas

MACROPROBLEMASI a XXVIII(carga negativa a sersuperada pela realizaçãodos macroobjetivos)Delimitação e descriçãoIndicadorSituação em t0

MACROOBJETIVOS I a XXVIIIEm: t1, t2, t3, t4

Avaliação de Resultados

Causas Críticas dos Macroproblemas

PROBLEMASOs 365 selecionados pelaOrientação dos MinistériosSetoriaisSituação em t0

PROGRAMASOs 365 contidos no PPA:Objetivos em t1, t2, t3, t4

Cen

ário

s P

ertin

ente

s (c

onte

xtos

)

Avaliação de Desempe-nho

A avaliação de desempenho dos programase ações estará a cargo dos gerentes. Para que

possam realizá-la uma vez por ano, cumprindo o exigido pelas normas do novo pro-cesso de planejamento, o trabalho deverá ser contínuo, pois só assim estarão exercendoa verdadeira gestão. Isso requer que o problema esteja bem descrito e analisado, comsuas causas críticas identificadas, e que os indicadores e o desenho dos conjuntos deações com os quais as causas críticas serão enfrentadas estejam disponíveis.

5.1 Avaliação de Desempenho


Para alcançar essa condição é necessário conhecer, em detalhe, o processo deprodução de cada ação, abrindo-o para evidenciar a menor unidade operativa, pro-gramando-o física e financeiramente quando for o caso, tal como é sugerido de for-ma elementar no quadro 4. Ali são denominadas tarefas as menores unidades operati-vas nas quais se desdobram a ação, alguns as designam por etapas, trabalho, etc. Oque importa é que, no mínimo, todas as ações com expressão orçamentária (projetose atividades) admitem esse desdobramento e podem ter seus custos apurados e suasmetas de produção estabelecidas.

Mas não só. Os programas do PPA foram desenhados sem que fossem explicitadassuas causas-críticas (CC). Sem que estas estejam precisamente identificadas e comindicadores apropriados, não é possível avaliar a eficácia intermediária no enfrenta-mento do problema. E isso é obtido na prática, quando as ações capazes de superaruma CC estão organizadas em um módulo de intervenção e gestão (o que exige a suaespecificação, aglutinando-as em uma operação) e a designação formal de responsá-vel por sua implementação coordenada. Da mesma forma, é de todo necessária aatribuição formal de responsabilidade aos que estarão incumbidos de cuidar da exe-cução da ação, ou seja, deve ser criada a função de coordenador de ação. Estas sãoexigências básicas para a montagem do sistema de gestão (e de avaliação) de qualquerprograma e do conjunto deles.


QUADRO 4Cronograma de Execução Físico-Financeira Ação:

Ação:Tarefa JAN. FEV. MAR. ABR. MAI. JUN. JUL. AGOS. SET. OUT. NOV. DEZ. TOTAL

Mês P. R. P. R. P. R. P. R. P. R. P. R. P. R. P. R. P. R. P. R. P. R. P. R. P. R.

Tarefa1

Meta

Custo

Tarefa2

Meta

Custo

Tarefa3

Meta

Custo

Tarefa4

Meta

Custo

Tarefa5

Meta

Custo

Custo Mensal

Obs.: A divisão temporal da programação deve ser apropriada às características da ação. Aqui foi adotado o recorte mensal apenas como exemplo.P - PrevistoR - Realizado


A avaliação dos resultados alcançados por ma-croobjetivos exigirá um esforço de compreen-

são assemelhado ao que se pratica na engenharia reversa. Isto decorre da existênciade uma lacuna elementar no desenho do PPA: não há um marco referencial precisopara avaliar se os resultados alcançados pelos programas contribuem para atingir osmacroobjetivos. Estes são apresentados como enunciados genéricos, expressandodifusas situações desejáveis a serem obtidas pelo cumprimento de diretrizes e peloatendimento de prioridades, sem que ambas materializem referências objetivas para amensuração ou averiguação da intensidade ou qualidade dos trabalhos realizadospelos programas. No único caso em que o macroobjetivo é apresentado com maiorprecisão – Atingir US$ 100 bilhões de exportação até 2002 – fica evidente a deficiên-cia na sua formulação: o verdadeiro objetivo é a produção de um expressivo saldo nabalança comercial do país. Exportar 100, 200 ou 300 bilhões de dólares pouco adi-antará se as importações forem superiores. Ao passo que, se se conseguir exportar 70ou 80 bilhões e se com isso for gerado um superávit de 10 ou 15 bilhões de dólares,se obterá um considerável alívio no balanço de conta corrente, reduzindo a depen-dência à entrada de capitais especulativos de curto prazo.

A razão de ser dessa deficiência pode ser encontrada no fato de não ser anunciadoo macroproblema a que o macroobjetivo corresponderia. Sem que o macroproblemaseja descrito e delimitado, construído o seu indicador (ou indicadores) e levantadasua posição em t0 (1999), sem que na sua explicação tenham sido identificadas suascausas críticas a serem atacadas pelos programas e sem que tenham sido avaliadas assituações-objetivo no horizonte de tempo do PPA (t1, t2, t3 e t4) em cenários consis-tentes, o macroobjetivo passa a ser apenas um desejo pouco fundamentado em co-nhecimento e informação. Uma não-referência para a avaliação, que a torna um exer-cício improdutivo e retira-lhe o caráter de instrumento de gestão.

A avaliação de resultados por macroobjetivos irá exigir, então, o referido trabalho deengenharia reversa que consistirá em interpretar o conteúdo do enunciado e das explica-ções do macroobjetivo e das diretrizes e prioridades que dele emanam, buscando o quede problemático expressam, ou seja, a carga negativa contida nas formulações. Tomemosum exemplo para melhor visualizar o encaminhamento imaginado:

Macroobjetivo no 2 – Sanear as Finanças Públicas [Brasil. Ministério do Planejamento eOrçamento, v. 1, p. 25, 1999].

“É compromisso do Governo estabilizar, ao longo dos próximos anos, o mon-tante da dívida pública medido como percentual do PIB. As ações integradas paraeste fim envolvem a redução dos desequilíbrios estruturais entre fluxos de receita edespesa não financeira, a aceleração da desestatização e da concessão e a moderniza-ção das atividades de arrecadação, fiscalização e controle, associados a um quadro de

12 Esta seção está, em larga medida, apoiada em Garcia (2000b, p. 6 a 9).

5.2 Avaliação de Resultados12


redução da taxa de juros e de retomada do crescimento econômico sustentado. Serãoprioridades:

• Melhorar a qualidade do gasto público mediante o aperfeiçoamento do Sistemade Planejamento, Orçamento, Finanças e Controle.

• Reduzir os déficits orçamentários do setor público nas três esferas de governo.

• Aperfeiçoar o Sistema Previdenciário e reduzir o seu déficit nas três esferas degoverno”.

Fica evidente a ausência de referências precisas: qual é a qualidade do gasto públi-co hoje? Em quanto deve ser melhorada? Em que consiste o aperfeiçoamento dosSistemas de Planejamento, Orçamento, Finanças e Controle e de Previdência? Deonde se sai e aonde se quer chegar? Reduzir em quanto os déficits orçamentários eprevidenciários em cada ano e em cada esfera de governo?

A construção das respostas poderá ser tentada com uma definição provisória euma análise preliminar do macroproblema, mediante a identificação de carga negativaevidenciada na formulação do macroobjetivo:

Macroproblema no 2 – Finanças Públicas Desequilibradas, com déficit elevado e dívida públicacrescente em relação ao PIB.

Causas ( a carga negativa contida nas Prioridades do Macroobjetivo):

• baixa qualidade do gasto público (ineficientes e ineficazes? produtos e serviçosde baixa qualidade? gasto direcionado para o não importante e necessário?);

• deficientes sistemas de planejamento, orçamento, finanças e controle nas trêsesferas de governo (como se expressam as deficiências? em que magnitude?);

• deficientes sistemas de arrecadação e fiscalização previdenciária nas três esferasdo governo (como se expressam as deficiências? em que magnitude?).

Em seguida, deve ser intentada a explicação do macroproblema, estabelecendo-seas relações entre as causas e entre estas e o seu indicador e concebidos os indicadorespara as causas críticas. Na seqüência, apresentar, discutir e construir o consenso comos ministérios responsáveis pelos programas englobados pelo macroobjetivo. Im-porta conseguir o mesmo entendimento quanto à definição do macroproblema, suadelimitação e descrição, a identificação das causas críticas e de como devem ser ata-cadas.

As causas críticas do macroproblema são os problemas a serem superados pelosprogramas atuais do PPA. Só que isso não foi evidenciado à época de elaboração doplano. Torna-se necessário, então, realizar avaliações de pertinência e suficiência dosprogramas com relação às causas críticas do macroproblema e, também, de consis-tência interna dos programas, além de verificar se os seus indicadores são adequadospara suportarem a posterior avaliação de desempenho. Sem isso, as avaliações serão,


necessariamente, um trabalho penoso e sempre insuficiente para cumprir o dispostono Decreto no 2 829, de 29 de outubro de 1998, e na Lei do PPA, além de insatisfató-rio para todos os envolvidos em sua elaboração e utilização.

Cumpridos esses requisitos, passa-se a dispor do macrorreferencial, que possibili-tará a avaliação de resultados por macroobjetivos. Os insumos básicos para executá-la serão as avaliações de desempenho dos programas e os indicadores atualizados domacroproblema e de suas causas críticas e os indicadores de contexto. Devidamenteanalisados e relacionados – com base na teoria do macroproblema e dos programas –deve-se proceder à comparação dos resultados obtidos com os indicadores do ma-croobjetivo previstos para cada momento de tempo (t1, t2, t3, t4). A partir disso,podem ser tiradas as conclusões e recomendações que toda avaliação deve conter.Vale observar o fato de as normas legais (decreto e lei) destacarem a necessidade deavaliações anuais, que poderão ser produzidas com qualquer periodicidade se o sis-tema de monitoramento funcionar a contento. A verdadeira gestão estratégica é reali-zada com base em monitoramento e avaliação contínuos, pois só assim fica assegura-da a possibilidade de identificar desvios, equívocos e erros, e agir com oportunidadee eficácia para corrigi-los.

O entendimento aqui adotado é que a avaliaçãoglobal do PPA deve ter por finalidade averiguar

em que medida estão sendo cumpridas a orientação estratégica do governo e as dire-trizes emanadas do presidente da República, “que dão o sentido das mudanças e oscompromissos dessa nova gestão assumidos no Avança Brasil” [Brasil, MPO, v. 1,1999] (o programa da campanha eleitoral de 1998). Se assim for, de novo se colocaráa necessidade de proceder a uma modalidade de engenharia reversa, como se fezanteriormente.

A análise da metodologia adotada para a elaboração do plano revela que um dosseus conceitos centrais – o de problema – teve uma definição e um tratamento bemaquém de sua importância [Garcia, 2000d]. Não se levou em conta que um plano degoverno para o país deve hierarquizar problemas, que são sempre relativos a quem osanuncia, que há problemas com magnitudes e complexidades distintas. Em uma es-cala que vai do geral ao particular, do abrangente ao específico, do mais ao menoscomplexo, em seu topo estaria o equivalente a megaproblema (para manter consistênciacom a terminologia adotada ao se falar em macroobjetivos).

A leitura das orientações e diretrizes estratégicas e dos macroobjetivos feita peloautor, procurando explicitar a carga negativa que expressam, resultou na identificaçãode pelo menos dois megaproblemas: (i) enorme iniqüidade social; e (ii) baixa compe-titividade da economia brasileira. Isso se não forem adotados conceitos mais restriti-vos de iniqüidade e competitividade, pois, do contrário, será aumentado o número demegaproblemas. Por exemplo: se for entendido que os conceitos da iniqüidade ecompetitividade aceitam a existência de regiões onde a iniqüidade social é maior e a

5.3 Avaliação Global do PPA


economia é menos competitiva, dispensaria um megaproblema do tipo desigualdadesregionais. Ou, se for adotada a perspectiva sistêmica para competitividade de modo aincluir deficiências infra-estruturais (comunicações, malha viária, energia) e debilida-des da atuação governamental (desequilíbrios financeiros, estrutura tributária, inefi-ciências regulatórias e fiscalizadoras, etc.), se evitaria a declaração de outros mega-problemas. Do ponto de vista prático, seria mais vantajoso trabalhar com um núme-ro menor de megaproblemas, desde que se chegue a um acordo teórico-metodológico que torne operacionalizáveis os conceitos que venham a ser definidos.

Mas, sejam quais forem os megaproblemas que consensualmente se identifiquem,deverão ser repetidos os procedimentos de engenharia reversa adotados no trata-mento dos macroproblemas: terão que ser declarados pelas autoridades responsáveis;delimitados e descritos, para terem os seus indicadores construídos; deverão ser ex-plicados mediante a articulação convincente das causas críticas que já serão conheci-das, ou seja, os macroproblemas; apurada a situação em t0 e definidos os megaobjeti-vos para t1, t2, t3, t4 e as variáveis relevantes para o contexto do plano. Sem isso, aavaliação deixa de contar com o quadro referencial que, por princípio e definição, apresidirá. Ou seja, torna-se impraticável, pois o objeto e a perspectiva e o valor, defi-nidores do modelo e do conteúdo da avaliação, não estarão dados.

A figura 2 apresenta, de forma esquemática, a concepção geral da proposta deconstrução do marco referencial para a avaliação do PPA. Ali é destacado que, doponto de vista lógico, dever-se-ia começar pela identificação e análise dos mega-problemas, para com isso elevar a consistência do conjunto. Todavia, como os pro-gramas estão definidos e detalhados, eles construirão o ponto de partida e a base deprodução de boa parte das informações a serem utilizadas nas avaliações. Mais ainda,como eles se orientam para a solução de problemas que são as causas críticas do ma-croproblema, que por sua vez são causas dos megaproblemas, o caminho adotado nodesenrolar do texto foi o inverso. A consistência deverá, na prática, ser construída debaixo para cima, do particular para o geral, e não como manda a teoria e a experiên-cia exitosa do planejamento estratégico público.


FIGURA 2Passos para a Construção do Quadro Referencial para Avaliação do PPA

1 a FASE

Análise einterpretação daorientação estratégicae das diretrizes

Identificação dosmegaproblemas

Conceituaçãodelimitação edescrição(indicadores)

Análise:Identificação de causascríticas de cadamegaproblema

Idendificação da situaçãoinicial do megaproblema(t0)

Descrição dosmegaobjetivos(em t1, t2, t3, t4)

MACROPROBLEMAS

Identificação das variáveis-chavve docontexto de cada megaproblemas(construção dos cenários)

Descrição dos macroobjetivos(em t1, t2, t3 e t4)

2a FASE

Análise dos macroobjetivos edos programas para aconceituação, delimitação edescrição do macroproblema(indicadores)

Análise: identificaçãodas causas críticas decada macroproblema

Identifica da situação inicial domacroproblema(atualização dos indicadorespara 1999)

PROBLEMASIdentificação das variáveis chave docontexto de cadaMACROPROBLEMA(construção de Cenários)

3a FASECenários

Revisão da delemitaçãoe descrição dos problemase dos indicadores

Revisão da análise doproblema: identificaçãode causas críticas

Revisão e construção de novosindicadores necessários àavalição (problema, programa econtexto). Situação em t0

Avaliação da pertinência,consistência e suficiência dosprogramas

Descrição dos objetivosem t1, t2, t3 e t4


A avaliação global do PPA vai exigir a produção de outras informações e referênci-as além daquelas produzidas na implementação dos programas. Afinal, o plano tempor pretensão construir um novo estilo de desenvolvimento sustentado, uma eco-nomia mais competitiva, um governo mais eficiente e uma sociedade mais eqüitativae democrática. Os resultados globais da execução do PPA devem ser visualizados,então, nas macrotransformações que promoverá na realidade socioeconômica dopaís. Estas deverão ser apreendidas por indicadores de síntese, capazes de expressaros múltiplos movimentos das diversas dimensões em que o plano atua.

Apresenta-se, a seguir, uma tentativa de construção de um conceito e de um indi-cador de iniqüidade, com o intuito de discutir um caminho metodológico apropriadoa produzir os referenciais e os instrumentos mais úteis à prática da avaliação globaldo PPA. Reitera-se que o fundamental é a lógica adotada e não o resultado a que sechega. Os indicadores dos megaproblemas serão produtos de uma elaboração coleti-va, envolvendo-se dirigentes e técnicos com conhecimento dos problemas e das prá-ticas próprias de governo, fazendo-se uso das fontes de informação mais adequadas acada caso e, no limite, organizando-se novos fluxos de informações.

O PPA está organizado em 28 macroob-jetivos. Destes, 15 se destinam a atacarmanifestações da desigualdade socialextrema (estando relacionados a educa-

ção, saúde, saneamento, habitação, geração de ocupação e renda, combate à mortali-dade infantil, erradicação do trabalho infantil, assistência social, reforma agrária e apoio àagricultura familiar, desenvolvimento urbano, transporte de passageiros, garantia de di-reitos, fortalecimento da cidadania, redução da violência) e pelo menos outros sete, denatureza mais econômica, teriam forte impacto sobre emprego e renda.

Do ponto de vista da gestão do conjunto do plano, importa saber se os resultadosobtidos com a produção global das ações governamentais estão se traduzindo emredução da desigualdade. Este é um dos crivos decisivos, aquele que mostra se atransformação produzida é a desejada e qual a sua amplitude, e se a eqüidade estásendo o valor a orientar a alocação dos, sempre escassos, recursos públicos. Sem aavaliação sistemática e rigorosa da implementação dos programas e das transforma-ções que provocam, não se constrói, consciente e direcionadamente, o futuro dife-rente, mais equitativo e democrático.

Para isso é necessário começar respondendo a uma pergunta básica: o que se en-tende por iniqüidade social? Evidentemente, são muitas as respostas possíveis. Etodas estarão fundamentadas em ideologia, valores, interesses, posição política, expe-riência de vida, conhecimento e informação acumulados e na inserção social de cada

13 Retirado de Garcia, 2000a.

5.4 Exemplo da Construção de Conceito eIndicador para um Megaproblema 13


um daqueles que procure respondê-la. Há, portanto, a necessidade de estabeleceruma intersubjetividade que possibilite a construção de uma referência a mais objetivapossível.

É o que será tentado, a seguir, como uma proposta aberta (por isso mesmo prelimi-nar, incompleta, imprecisa, etc.). Aberta, como sugerido por Umberto Eco, porquevai sendo elaborada ao receber críticas, contestações, reformulações, complementa-ções, atualizações e tudo o mais que coopere para a formação da intersubjetividademínima necessária para a definição de um quadro referencial comum e legítimo, quepor sua vez não se fecha, podendo sempre ser melhorado, aprofundado, detalhado.Assim, propõe-se:

Iniqüidade Social: é a situação de uma sociedade particular caracterizada por distri-buição altamente desigual de renda e patrimônio (material e não material), em queuma minoria populacional detém a maior parte destes e uma grande parte da popula-ção não alcança um patamar mínimo de existência com dignidade, quando isso seriapossível com uma distribuição mais eqüitativa do patrimônio e da renda.

Como fica evidente, ainda não resolve. Nessa conceituação existem diversas im-precisões. Na tentativa de melhorar, definimos:

Patrimônio material: a quantidade de bens imobiliários (terra produtiva e domicílio per-manente), meios de produção, bens de consumo duráveis detida pelas famílias.

Patrimônio não material: escolaridade, condição de sanidade, acesso aos serviços pú-blicos, à informação, ao lazer, à justiça, à segurança, à proteção previdenciária, e par-ticipação associativa.

Patamar mínimo de existência com dignidade: condição, social e historicamente definida,a partir da qual a família e os indivíduos têm assegurada a liberdade para escolher oque valoram e se afirmar como cidadãos [Prats, 2000]. Se expressaria pela posse deuma quantidade mínima de patrimônios e renda.

Eqüidade como possibilidade concreta: pode ocorrer se a riqueza material existente e ofluxo de produção de nova riqueza e de renda são suficientes, em termos puramentequantitativos, para permitir trazer para o patamar de existência com dignidade, todosos que se encontram abaixo dele. Não se trata de instaurar o igualitarismo, pois éreconhecido que o processo de divisão social do trabalho capitalista produz desigual-dades interpessoais e, principalmente, entre classes. Mas, apenas constatar que a ri-queza e a renda existentes podem ser redistribuídas a qualquer momento, com ganhosmacrossociais e macroeconômicos. Descarta-se o argumento conservador, imobilistae, acima de tudo, preservador da injustiça, de que a redução da iniqüidade somentepode ser feita com o crescimento continuado da renda e da produtividade (maioreqüidade apenas em um futuro longínquo e incerto), mantendo intacta a presentedistribuição da riqueza que permite a apropriação dos ganhos de produtividade e demaior parte da renda.


Se essas formulações ajudarem a iniciar a conversa, a imprecisão terá ficado umpouco menor. Mas é necessário buscar a operacionalização dos conceitos, baixando aabstração e especificando referências empíricas, que facultem levar a intersubjetivida-de a uma prática coletiva. Para isso, a lógica impõe que, primeiramente, o PatamarMínimo de Existência com Dignidade (PMED) seja contextualizado para a nossa rea-lidade atual. Quais seriam então os patrimônios e a renda mínimos a assegurar umaexistência digna, conforme o acima definido?

A resposta vai procurar combinar elementos referentes à disponibilidade de in-formações (confiáveis, abrangentes e periódicas) com os objetivos e ações dos pro-gramas governamentais. Ou seja, se o governo diz ser sua prioridade reduzir desi-gualdades sociais com a implementação de determinados programas, e se estes têmcomo objetivo ampliar o acesso ao patrimônio (material e não material) e à renda porparte dos excluídos, deverá ser possível verificar em quanto a iniqüidade foi reduzida,mediante o tratamento de informações representativas do universo dos que se en-contram acima e abaixo do PMED, que podem ser encontradas na PNAD, censos e emoutras fontes oficiais (por exemplo no censo escolar). A relação entre os dois contin-gentes conformaria um possível Indicador de Iniqüidade Social (INIQ).

Uma seleção preliminar dos principais atributos do PMED aponta, de imediato, osseguintes:

(a) Renda Familiar ‘Per Capita’ Igual ou Maior que 1,5 Salário-Mínimo Mensal14

No momento, esse valor corresponde a R$ 226,50, que, multiplicado pelo númerode membros de uma família média (3,6 pessoas), perfaz o montante de R$ 815,40.Este valor representa 86,7% do salário-mínimo necessário, calculado pelo DIEESE

para dezembro de 1999 (R$ 940,58). Os R$ 226,50 da renda familiar ‘per capita’ mé-dia são, praticamente, o dobro do valor médio da cesta básica apurado também peloDIEESE para a mesma época (R$ 99,54). Levando-se em conta que as famílias de ren-da mais baixa tendem a dedicar metade de seus ganhos a despesas com alimentação,os R$ 226,50 não parecem uma referência despropositada. Um reforço à sustentaçãodessa referência é aportado por Wanderley Guilherme dos Santos ao analisar a Pes-quisa sobre Padrões de Vida, 1996-1997, do IBGE, na qual se encontra que “para amaioria das pessoas, em todas as ocupações, e estritamente independente do saláriomédio mensal (à exceção dos trabalhadores rurais), o limiar de ‘vida ruim’ situa-se nalinha dos R$200,0” [Santos, 1999, p. 51 a 63].

(b) Patrimônio Material Mínimo Necessário

Idealmente, deveria considerar o ativo fixo de propriedade das famílias (terra pro-dutiva, domicílio permanente, meios de produção) e os bens duráveis. No entanto,não estão disponíveis informações quantitativas sobre a posse de meios de produção 14 Diretamente, a partir dos dados da PNAD, sabendo-se que a renda é sistematicamente subdeclarada

ou revista para ser tornada compatível com as Contas Nacionais.


pelas famílias e, tampouco, informações anuais sobre a propriedade fundiária rural.Assim, é preciso reduzir o patrimônio material à propriedade de domicílio perma-nente e de bens duráveis essenciais. Nas áreas rurais, a propriedade de domicíliopermanente será um indicador da titularidade de domínio das terras de produção porparte das famílias agricultoras. Tomando-se o domicílio como unidade básica de in-vestigação, é possível averiguar tanto a condição de ocupação, a qualidade da habita-ção, como o acesso aos serviços públicos e outras características relevantes.

Será considerado como Patrimônio Material Mínimo Necessário (PMMN) a ingressar eultrapassar o PMED a propriedade de domicílio permanente, situado em aglomeradonormal, construído com material durável (paredes e cobertura), com densidade de atédois moradores por dormitório, dispondo de abastecimento de água com canalizaçãointerna, banheiro e esgotamento sanitário por meio de rede coletora ou fossa séptica,coleta de lixo de forma direta ou indireta (exceto área rural), iluminação elétrica etelefone (todos os conceitos adotados são os utilizados pela PNAD). Comporia aindao PMMN a posse dos seguintes bens duráveis: fogão, filtro de água, rádio, televisão egeladeira.

(c) Alguns Indicadores Parciais

O PMMN fica, desta forma, referido a importantes programas governamentais. Aeficácia terminal de seu conjunto (qual a transformação produzida na realidade) po-derá ser apreendida, anualmente, pela PNAD, ainda que sem a exatidão proporcionadapor pesquisas conduzidas com esse fim específico. De qualquer maneira, é possívelimaginar indicadores de eficácia terminal para cada um dos principais programas in-tegrantes do PPA 2000-2003, que estejam diretamente relacionados com o PMED. Porexemplo:

- Taxa de Cobertura de Saneamento Ambiental (TASA) =

domicílios servidos por sistemas de saneamento geraltotal de domicílios

- Taxa de Acesso à Energia Elétrica (TAEE) =

domicílios servidos por energia elétricatotal de domicílios

- Taxa de Apropriação de Ativo Imobiliário (TAAI) =

famílias proprietárias de domicílios adequadostotal de famílias

- Taxa de Apropriação Fundiária pela Agricultura Familiar (TAAF) =

famílias proprietárias de 1 a 4 módulos fiscaistotal de famílias assalariadas rurais (perm. e temp.) e de parceiros, arren-

datários e ocupantes de áreas até 4 módulos fiscais


- Taxa de Acesso a Bens Essenciais (TABE)15 =

domicílios c/geladeira(0,25) + fogão(0,25) + filtro(0,20) + TV(0,11) +rádio(0,10) + telefone (0,05)

total de domicílios

- Taxa de Obtenção de Renda Mínima Digna (TORD) 16 =

domicílios c/renda familiar pc. ≥ 1,5 salário-mínimototal de domicílios

- Índice de Atenção Preventiva à Saúde (IAPS)17 =

[1 – (tx. de incidência de baixo peso ao nascer . 0,3)] + (tx. de cobertura vacinal .0,4) + [1 – (tx. de prevalência de doenças infecto-contagiosas . 0,3)]

Ou, tomado como um indicador-síntese das condições gerais de saúde:

- Indicador do Diferencial de Esperança de Vida (IDEV) =

Esperança de vida ao nascer (estado)Maior esperança de vida ao nascer (RS)

- Taxa de Escolaridade Mínima Adequada (TEMA) =

pop. 7 a 14 anos na escola + pop. 15 a 18 anos c/escolaridade ≥ 8 anos + pop. 7 a 24 anos pop. 7 a 24 anos

pop. 19 a 24 anos com escolaridade ≥ 11 anos pop. 7 a 24 anos

- Taxa de Cobertura Previdenciária (TCOP) =

pessoas que contribuem p/a previdência pública ou privadapopulação economicamente ativa

(d) Patrimônio Não Material

O patrimônio não material mínimo necessário a ingressar na cidadania e a assegu-rar a liberdade de escolher o que valora deveria ser composto dos atributos indispen-sáveis à participação ativa e direta das famílias (e indivíduos que as integram) na soci-edade atual, em suas diversas dimensões. Haveria de se incluir uma escolaridade mí-nima que habilitasse os indivíduos a lidar com a realidade complexa e com os proces-sos de produção mais exigentes em conhecimento. Deveria propiciar saúde pública ehigidez pessoal, garantidoras de uma vida saudável, prazerosa e produtiva, em condi-ções ambientais sustentavelmente apropriadas. Deveria exigir algum grau de associa-

15 Ponderação obtida em rápida enquete com pesquisadores sociais, a discutir.

16 Ver nota de rodapé no 14.

17 Ponderação sugestiva, a discutir. A fonte dos dados é o DATASUS, no qual a unidade não é o domi-cílio.


tivismo (sindicato, partido, associações comunitárias ou de interesse), propiciar am-plo acesso à informação (posse de rádio e televisão, assinatura de jornais e revistas) eao lazer. Incluiria o acesso fácil e rápido à justiça e à segurança pessoal e pública e aalgum tipo de proteção previdenciária e à liberdade de expressão e produção cultural,entre outros. Todavia, as informações disponíveis, periódicas e confiáveis, não per-mitem tanto. A redução que se impõe faz possível, apenas, lidar com a escolaridade ea proteção previdenciária, utilizando-se os indicadores sugeridos no item anterior.Nada impede, no entanto, a incorporação de outras variáveis à medida que informa-ções apropriadas se tornem disponíveis. Existem notícias de que a PNAD/99 trará umsegmento dedicado à saúde, e há, inclusive, quem afirme estar em curso a ampliaçãodas características pesquisadas por esse instrumento. Tomara que seja verdade.

(e) Tentando Chegar a um Patamar Mínimo de Existência Digna

Viver com dignidade. Sem dúvida, algo bastante subjetivo. Quem define o que édigno? Vida digna de qual ponto de observação e de quais padrões valorativos? Umadiscussão que pode ser interminável.

Como se afirmou, a pretensão não é finalizá-la, ao contrário. A proposta é criaruma referência relacionada aos objetivos da atuação governamental, explicitada nosprogramas do PPA 2000-2003: casa própria para quem não tem; reforma agrária eapoio à agricultura familiar; emprego e renda crescentes; saneamento, energia, comu-nicações expandidos; população saudável e com cobertura previdenciária; escolarida-de em elevação; facilidades no transporte coletivo; ampliação da cidadania e seguran-ça de direitos. Tais objetivos expressam anseios e valores sociais generalizados, e aten-dem, também, a interesses econômicos identificáveis. Existem várias formas de buscá-los, com resultados distintos, principalmente em termos de eqüidade. É fundamental,portanto, procurar ver se avançamos (ou não) na redução da iniqüidade, ver se estácrescendo o contingente daqueles que vivem com um mínimo de dignidade.

O patamar mínimo seria alcançado quando as famílias se apropriassem de um pa-trimônio material e não material e de uma renda mensal que, supostamente, lhespermitiriam a liberdade de escolher o que valoram. E isso estaria assegurado quando,simultaneamente, dispusessem das seguintes condições:

• domicílio próprio adequado (situado em aglomerado normal; construído com ma-terial permanente; com densidade de até dois moradores por dormitório; abasteci-mento de água com canalização interna, banheiro e esgotamento sanitário feito porrede coletora ou fossa séptica e coleta direta ou indireta de lixo, se urbano; ilumina-ção elétrica e telefone; com fogão, geladeira, filtro de água, rádio e televisão;

• renda familiar ‘per capita’ igual ou superior a 1,5 salário-mínimo;

• escolaridade adequada (pessoas entre 7 e 14 anos freqüentando o 1o grau, as entre15 e 18 anos com 8 ou mais anos de escolaridade e as com idade entre 19 e 24 anoscom 11 ou mais anos de escolaridade); e


• cobertura previdenciária (todos os indivíduos ocupados protegidos por algum tipode seguro previdenciário).

A simultaneidade é uma exigência forte para se tentar apreender a dignidade comouma condição abrangente, em relação com a natureza multidimensional do ser hu-mano e as inúmeras inserções impostas para viver sob a complexidade crescente dassociedades contemporâneas. As quatro características utilizadas para definir o PMED

nem de longe atendem aos rigores de uma conceituação mais completa do que seriauma existência digna. É uma aproximação pobre com o intuito de captar a iniqüidadee avaliar a ação governamental que diz ter como objetivo combatê-la.

A formulação adotada pode ser aplicada anualmente (inclusive recuperando umasérie histórica razoável) para o Brasil, estados, Distrito Federal e regiões metropolita-nas, utilizando-se apenas a PNAD. Permite verificar as diferenças existentes entre oespaço urbano e o rural (exceto na região Norte), algumas privações específicas (dedomicílio adequado, de renda, de escolaridade, de algum bem, etc.), as distâncias paraalcançar o PMED, assim como a organização de um ‘ranking’ estadualizado da iniqüi-dade. Acredita-se ser possível apanhar (não medir com exatidão) a contribuição dosprogramas do PPA (que terão metas anuais e indicadores de execução) da Administra-ção Pública federal para alterar a iniqüidade, separada da contribuição conjunta dosoutros dois níveis de governo (supondo-se que também disponham de metas e indi-cadores confiáveis). Se isso se efetivar, estarão disponíveis indicadores interessantespara orientar a localização, a intensidade e a especificidade da ação governamental.Impossível será dimensionar o produto da ação de outros atores sociais e das iniciati-vas familiares ou individuais que resultem em auxílios à redução da iniqüidade. Se arepresentatividade amostral da PNAD se ampliasse, talvez se tornasse praticável obtertal contribuição como resíduo.

(f) A Fórmula

Se o contido no item anterior fizer algum sentido, os dados deverão mostrar quesomente um contigente populacional bastante modesto estará acima do PMED, aindaque o conceito de PMED aqui utilizado seja muito modesto ou restrito. A idéia é esta-belecer a relação entre os que estão acima e abaixo do referido patamar, criando umaescala de 0 (zero) a 1 (um), em que zero significa que toda a população alcançou ouultrapassou o patamar de existência com dignidade mínima.

INIQ. = 1 – número de famílias em situação ≥ PMED

total de famílias

Poderá ser dito que com esse procedimento são ignoradas variações de níveis e ti-pos de privação e a maior ou menor distância do PMED. É verdade. Isso, no entanto,não fará diferença se for aceito que a existência digna é uma totalidade complexa e si-tuacional que não se faz apenas pela justaposição de partes que a integram, mas queresulta da interação simultânea de todas elas. Dessas interações surgem qualidades


distintas das obtidas pela soma de atributos parciais. Esse é o propósito (ainda quesem a convicção de ter sido alcançado).

Uma última observação: para que um indicador construído à base das informaçõesda PNAD possa ser utilizado na avaliação global do PPA, é necessário alterar a data derealização da pesquisa, com vistas a torná-la disponível ao final do ano em que foifeita. Somente assim será possível cumprir o disposto na lei do PPA, que determina,para 15 de abril de cada ano, o envio da avaliação, referente ao exercício anterior, aoCongresso Nacional, junto com o projeto da LDO.

6 DELINEAMENTO APROXIMATIVO DE UMSISTEMA DE AVALIAÇÃO

Conforme propõe Nicolleta Meldolesi (1996, p. 83), a avaliação, vista como umaprática que aperfeiçoe as condições nas quais se desenvolve a ação governamental ecomprometa dirigentes e servidores públicos a assumirem a responsabilidade de fazero Estado funcionar melhor, exige continuidade e organização adequada.

Como os planos e os programas governamentais se constituem em uma série dehipóteses ou em uma teoria que busca explicar problemas e apontar soluções, é de seesperar que ocorram surpresas e imprevistos em sua execução. A incerteza passa aser um componente que não pode ser eliminado no desenho de planos, programas eda própria ação. O plano é sempre uma aposta, bem ou mal fundamentada, a depen-der dos conhecimentos, dos métodos e técnicas que o suportam [Matus, 1991]. Con-seqüentemente, a avaliação se apresenta como a atividade que busca descobrir assurpresas, conhecer o porquê dos erros e dos acertos, reforçar ou criticar a teoria doproblema e do programa, para melhorar a qualidade e a direcionalidade da ação go-vernamental.

Se assim for, a avaliação não poderá ser uma atividade episódica nem realizadaexternamente ao governo, como bem demonstra a experiência internacional.18 Aocontrário, deverá integrar de forma sistêmica, permanente e contínua o próprio pro-cesso de governar, que requer a tomada cotidiana de decisões estratégicas. A avalia-ção integra o processo decisório para poder melhorá-lo, para torná-lo mais eficiente(em termos do uso de múltiplos recursos) e eficaz, melhor calibrado para atingir oalvo das políticas governamentais. A avaliação deve ser vista, então, também comoum processo de produção de conhecimento que fortalece a capacidade de planeja-mento, que amplia a competência institucional de fazer previsões e de lidar com aincerteza e a complexidade.

18 Ver os citados artigos de Meldolesi (1996) e de Capitani (1993) e, entre outros: Trivedi (1997 e

1998); BID (1996); Gaetani (1997); e Vellemont (1996).


Um sistema de avaliação deverá estar organizado para ser capaz de produzir in-formações e julgamentos, no mínimo, sobre:

(a) a qualidade e a confiabilidade do plano (programa e ações) − cabe lembrar que os re-sultados são construídos antes de o plano ser iniciado, em função do seu desenho, dapotência explicativa da teoria que o suporta, da atualidade das informações, da quali-dade dos métodos e técnicas de planejamento, programação e gestão;

(b) a realização do plano – ou seja, as mudanças nos indicadores dos problemas e desuas causas críticas, a eficiência e a eficácia das ações implementadas, a execução or-çamentária;

(c) o comportamento dos outros atores – aqueles que têm interesse (positivo ou negativo)no plano e que também produzem ações;

(d) as circunstâncias em que foi implementado – como se comportaram as variáveis-chave que estão fora do controle dos dirigentes; como foram enfrentadas as surpre-sas e aproveitadas as oportunidades;

(e) os efeitos indesejados – como foram compensados ou que problemas adicionais te-rão que ser enfrentados;

(f) o cumprimento dos valores orientadores do plano – avaliação ética das ações.

O sistema de avaliações do PPA irá iniciar-se acumulando alguns prejuízos, decor-rentes da baixa assimilação dos conceitos básicos e da metodologia por parte dos queo elaboraram, o que foi proporcionado pela pouca atenção dada à etapa de capacita-ção e preparação técnica. Isso, no entanto, não deverá impedir revisões e aperfeiço-amentos a serem propiciados pela própria produção de avaliações.

As avaliações deverão permitir averiguar as conseqüências de um programa sobreum problema, de um conjunto de programas sobre o macroproblema ou de todo oplano sobre os megaproblemas, em relação aos objetivos e metas perseguidos, aosefeitos indesejáveis produzidos, às circunstâncias em que as ações ocorreram, aosproblemas e oportunidades potenciais que foram gerados. As avaliações serão feitaspara: (i) permitir conhecer o desempenho (eficiência e eficácia) e os resultados atuaisdas ações/programas; (ii) verificar o intercâmbio de problemas (efeitos desejados‘versus’ efeitos indesejados); (iii) detectar as causas dos erros e dos acertos; (iv) julgaro desempenho dos responsáveis, em todos os níveis; (v) incentivar a motivação dos res-ponsáveis; (vi) fortalecer e aprimorar os sistemas de planejamento e de decisão; e (vii)informar a sociedade e o Parlamento.

Um rascunho do desenho básico de um sistema de avaliações do PPA indica os se-guintes módulos (ou momentos):

Ex-ante – avaliação das propostas de intervenção nos problemas, no que se refere à:

- pertinência ao problema;


- consistência interna das suas operações/ações;

- suficiência das ações para superar as causas críticas;

- confiabilidade (viabilidade técnica, política, econômica, organizacional; aceitabi-lidade, etc., referida aos cenários pensados).

Durante – avaliações de desempenho (eficiência e eficácia) das ações e resultadosintermediários dos programas, produzidas continuamente como requisito da gestão;

- avaliações de resultados intermediários no enfrentamento dos problemas e ma-croproblemas;

- avaliações globais dos resultados terminais do PPA, produzidos anualmente, parasubsidiar as reformulações do plano e que devem ser encaminhadas ao CongressoNacional junto com o projeto da LDO (15 de abril de cada exercício).

Ex-post – avaliação final dos resultados terminais do PPA. Informa a elaboração dopróximo plano.

Esse sistema básico somente se concretizará se alimentado por um processo demonitoramento de todas as variáveis e todos os aspectos relevantes do pla-no/programa/ações. As partes integrantes do sistema de monitoramento deverão serespecificamente desenhadas para dar conta das peculiaridades de cada programa queintegra o plano. As avaliações não ganharão sentido e legibilidade se os indicadorespor elas utilizados não estiverem referidos aos contextos nos quais as ações foramdesenvolvidas. Daí a necessidade de também se analisarem continuamente as variá-veis de contexto pertinentes a cada problema, macroproblema e megaproblema.

O sistema deve ser subsidiado por dois módulos independentes, mas que consti-tuem reforço fundamental à avaliação, ao planejamento e à produção de conheci-mento útil para a intervenção concreta na realidade: os estudos prospectivos ou estu-dos do futuro e a pesquisa por problemas. Os estudos prospectivos buscam mapearos futuros possíveis e, ao identificar aquele mais assemelhado ao que se deseja, ilumi-nam as ações a serem desenvolvidas no presente com vistas a alcançá-lo. Tais estudostambém auxiliam a pensar nos problemas potenciais e articular ações que combatamsuas causas no nascedouro.19 A pesquisa por problemas, por sua vez, tem o objetivode ampliar e aprofundar o conhecimento sobre os objetos da intervenção governa-mental, sobre o desenho de planos e programas e sobre a própria ação de governo.Como diz Tereza Penna Firme (1994), “a avaliação é parceira da pesquisa: enquanto apesquisa procura, fundamentalmente, estabelecer relações entre fatos, fenômenos,situações, a avaliação se preocupa com o aperfeiçoamento. A avaliação visa a conclu-sões que levam a uma ação, a um aperfeiçoamento, porque envolve, essencialmente

19 Ver, a propósito, os artigos de Masini (1995a); Godet (1995a e 1995b); Schwartz (1995); e, princi-

palmente, Dror (1988 e 1990). Existe um artigo em português (Dror, 1978) no qual o autor apre-senta suas idéias sobre o tema de forma resumida.


um juízo de valor. A pesquisa descobre o mundo e a avaliação melhora o mundo”[Firme, 1997]. A organização da pesquisa por problemas implica aprofundar o seucaráter aplicado, fazendo-a interagir organicamente com o sistema de avaliação e oprocesso governamental de tomada de decisão. A figura 3, a seguir apresentada, tentadar uma idéia gráfica do funcionamento do sistema.

FIGURA 3O Sistema de Avaliação em Movimento

Ex-ante Durante Ex-post

7 PARA FINALIZAR

O que foi aqui discutido e apresentado é uma primeira tentativa, ainda bastantedesordenada e sabidamente deficiente, de dar vazão a uma inquietação que cresceentre uma considerável parcela de servidores públicos, preocupados em ampliar acapacidade de governo e em melhor atender às carências e demandas da maioria dopovo brasileiro, mas que se refere a uma problemática institucional.

A avaliação é uma necessidade para quem governa, um campo de aprendizado ede geração de conhecimento e uma exigência da sociedade democrática. No entanto,não tem sido devidamente valorizada, chegando a ser desprezada em certos círculos.Se a demanda que hoje se apresenta não for respondida a contento, corre-se o riscode passar um bom tempo sem que se volte a falar no assunto. O prejuízo para o go-verno e, em particular, para as parcelas mais sofridas da sociedade seria imensurável.

O Ministério do Planejamento colocou as cartas na mesa. Se os parceiros não en-trarem no jogo, estarão correndo sérios riscos e perdendo uma excepcional oportu-

EstudosProspectivos

Pesquisa porProblemas

Proposta deIntervenção

(Planos/Programas)

Avaliações de:- Consistência- Suficiência- Pertinência- Confiabilidade

Avaliação deDesempenho

(contínua)

Avaliação deResultados

Intermediários(contínua)

Execução/RevisãoContinuada de

Programas/Ações

Revisão Anualdo Plano

Término da Execuçãodo Plano

ANÁLISE DE CONTEXTO

MONITORAMENTO

Avaliação Finaldos ResultadosTerminais do

PPA

Avaliação Global dosResultados Terminais

do PPA (anual)


nidade para se tentar um salto qualitativo nos processos estratégicos de governo.Esse é o receio que impulsionou a produção do presente texto. Se provocar discus-são, discordância e críticas, se for destruído mas estimular a elaboração de propostasmais completas e superiores, terá cumprido seu objetivo, pois estaremos avançandona construção de uma administração pública mais competente, visível e, por isso,passível de democrático controle social, que poderá conhecer graus crescentes deeficiência, eficácia e eqüidade em sua atuação.


REFERÊNCIAS BIBLIOGRÁFICAS

ABRANCHES, S. Relatório de Conclusões do Seminário sobre Metodologia de Avaliação de ProgramasSociais. Brasília, IPEA/CENDEC, maio de 1985.

ACKOFF, R. Rediseñando el Futuro. México. DF: Ed. Limusa, 1987.

AGUILAR, M. J. e ANDER EGG, E. Avaliação de Serviços e Programas Sociais. 2ª ed. Petrópo-lis: Ed. Vozes, 1995.

BALLART, X. Como Evaluar Programas y Servicios Públicos? Ministerio para las Administracio-nes Publicas, Madrid: Colección Estudios, 1992.

BARROS, R. P. de (coord.). Análise dos Relatórios de Avaliação do PLANFOR (relatório final).Rio de Janeiro: IPEA, nov./1999.

BEER, S. Decisión y Control. México: FCE. 1982.

BID – El Fortalecimento de la Evaluación a Nível de País. San José, nov. 1994.

BID – Encuentro Sudamericano sobre Evaluación y Control de la Gestión Publica por Resultados. Carta-gena, jul. 1996.

BID/EVO – Evaluación: una herramienta de gestión para mejorar el desempeño de losproyectos. Washington, mar. 1997.

BONDER, N. O Segredo Judaico de Resolução de Problemas. Rio de Janeiro: Imago, 1995.

BUVINICH, M. R. Ferramentas para o Monitoramento e Avaliação de Programas e Projetos Sociais.UNICEF, Cadernos de Política Social, nº 10. Brasília, out. 1999.

BRASIL. Ministério do Planejamento, Orçamento e Gestão − Projeto de Lei do Plano Plurianual2000-2003 (PPA 2000). Brasília, 1999.

BRASIL. Ministério do Planejamento, Orçamento e Gestão − Plano Plurianual 2000-2003,Projeto de Lei do PPA, v. I, p. 25, 1999.

BRASIL. MP/SPI. PPA 2000: Manual de Elaboração e Gestão. Brasília, abr. 1999.

BRONOWSKI, J. As Origens do Conhecimento e da Imaginação. 2ª ed. Brasília: Ed. UnB, 1997..

CAPITANI, A. A Administração do Setor Público e o Aprendizado Organizacional: o papel da avali-ação. Banco Mundial/Texto apresentado no Seminário Internacional sobre Experiênciaem Planejamento, Avaliação e Administração de Recursos Públicos − Brasília, out.1993.

CASLEY, D.J. e LURY, D.A. Manual para el Seguimiento y Evaluación de Proyectos Agrícolas y deDesarrollo Rural. Banco Mundial, sep. 1982.

CASTRO SANTOS, L. A. Os Significados da Saúde: uma leitura de Aubrey Lewis- Physis.Revista Saúde Coletiva, Rio de Janeiro. 8(1) , 1998.

CEPAL – Taller sobre Evaluación de la Gestión del Gasto Público (compendio de Documentos).Santiago, ene. 1998.

COHEN, E. e FRANCO, R. Avaliação de Projetos Sociais. Petrópolis: Ed. Vozes, 1993.


COMISSÃO GULBENKIAN (Immanuel Wallerstein, coord.). Para Abrir as Ciências Sociais.São Paulo: Cortez Editora, 1996.

DROR, Y. Enfrentando El Futuro. México: FCE, 1990.

____ . Handbook of Sistem Analysis: craft issues and procedural choices. N.Y. Miser and QuadeEd., 1988.

____ . A Capacidade para Governar. São Paulo: FUNDAP, 1999.

____ . Idéia Politológica dos Estudos do Futuro, Futuros Alternativos e Ação Presente. Re-vista de Ciência Política. Rio de Janeiro, v. 21, n. 1, p. 97-113, jan./mar. 1978.

ESMERALDO Barreto, J. A. Avaliação: mitos e armadilhas. Revista Ensaio, v. 1(1) out./dez.1993.

FIGUEIREDO, A. e FIGUEIREDO, M. Avaliação Política e Avaliação de Políticas: umquadro de referência teórica”. Análise e Conjuntura, Belo Horizonte v. 1, n. 3, FundaçãoJoão Pinheiro, set./dez. 1986.

FIRME, P. T. Avaliação: tendências e tendenciosidade. Revista Ensaio, v. 1, n. 2, jan./mar.1994.

_____ . Avaliação: um avanço no conhecimento. Revista Cesgranrio no 1, out. 1997.

GAETANI, F. Gestão e Avaliação de Políticas e Programas Sociais: subsídios para a discussão.ENAP, Texto para Discussão n. 14, Brasília, abril de 1997.

GARCIA, R. C. Avaliação de Ações Governamentais: pontos para um começo de conversa. Bra-sília: IPEA/CENDEC, out. 1997.

____ . Iniqüidade Social: como estamos vendo e enfrentando este problema. Brasília: IPEA,2000a (Documento para Discussão Interna).

____ . Para Avaliar o PPA: passos exploratórios. Brasília: IPEA, 2000b (Documento para Dis-cussão Interna).

___ . A Gestão de Programas do PPA 2000. Brasília, MEC/SPO, abr. 2000c (Texto para Discus-são).

___ . Reorganização do Processo de Planejamento do Governo Federal: o PPA 2000-2003. Brasília:IPEA, mai. 2000d. (Texto para Discussão n. 726)

GODET, M. Prospectiva: por quê? Cómo? Siete ideas Ilave. In: Cuadernos de Administración, n.21. Cali: Universidade del Valle, 1995a.

___ . Perspectiva y Estrategia: enfoques integrados. In: Cuadernos de Administracion, n. 21. Cali:Universidade del Valle, 1995b.

JOUVENEL, H. Sobre la Práctica Prospectiva: una breve guia metodológica. In: Cuadernos deAdministración, n. 21. Cali: Universidade del Valle, nov. 1995.

LATOUR, B. Jamais Fomos Modernos. Rio de Janeiro, Editora 34, 1994.

LORENZ, E. A Essência do Caos. Brasília, Ed. UnB, 1996.

MACHADO, N. J. Avaliação Educacional: das técnicas ao valores. Revista de Psicopedagogia, v.13, n. 28, jan. 1994.


MARCEL, M. Guia para la Construcción de Indicadores de Desempeño. Santiago, ILPES/CEPAL de-zembro de 1995.

MASINI, E. Por qué reflexionar hoy acerca del futuro? In: Cuadernos de Administración, n. 21.Cali: Universidad del Valle, 1995a.

____ . Terminologia de La Prospectiva . In: Cuadernos de Administración, n. 21. Cali: Universi-dad del Valle, nov. 1995b.

MATSA, G. e VANZELLA, D. Abismos do Universo. Folha de São Paulo. São Paulo 21 maiode 2000. Caderno Mais.

MATUS, C. Política, Planejamento e Governo. Brasília: IPEA, 1993.

____ . Adeus, Senhor Presidente. São Paulo: FUNDAF, 1997.

____ . El Sistema Altadir de Montoreo. Caracas: Fundación ALTADIR, mar. 1994.

____. O Monitoramento da Gestão Pública. São Paulo: FUNDAF/EGAP, 1996.

____ . O Plano como Aposta. São Paulo em Perspectivas, v. 5, n. 4, out.-dez./1991. p. 28-42,

MELDOLESI, N. S. A Avaliação das Políticas Públicas na França. Revista do Serviço Público, v.120, n. 1, jan./abr. 1996.

MITROFF, I. The Subjective Side of Sciences. N.Y: Elsevier Ed., 1984.

MORIN, E. Os Sete Saberes Necessários à Educação do Futuro. São Paulo: Cortez/Ed. UNESCO,2000.

NEPP/UNICAMP. Modelo de Avaliação de Programas Sociais Prioritários. Campinas, jul. 1999.

____ . Avaliação Qualitativa de Programas Sociais Prioritários (síntese dos principais resultados dapesquisa de campo). Campinas, jan. 1999.

OMS. Evaluación de los Programas de Salud: normas fundamentales. Genebra: OMS, 1981.

OROZCO, H. Planificación y Programación. San José: EUED, 1986.

PINTO, A. M. R. Fetichismo da Avaliação. Análise e Conjuntura. Belo Horizonte: FundaçãoJoão Pinheiro v. 1, n. 2. mai./ago. 1986.

PRATS, J. O. La Nueva Concepción de Bienestar segun Amartya Sen . Ideas, Instituto Internacionalde Gobernabilidad (www.iigov.org/pnud), 2000.

REES, M. Entrevista Caderno Mais. Folha de São Paulo, 21 de maio de 2000.

SANTOS, B. S. Pela Mão de Alice. São Paulo: Cortez Editora, 1996. 2ª ed.

SANTOS, W. G. A Impotência da Choldra. Insight-Inteligência, mai./jul. 1999.

SCHWARTZ, P. A Arte da Previsão (título equivocado para o original The Art of the longview). São Paulo: Scritta, 1995.

SILVA, C. S. Medidas e Avaliação em Educação. Petrópolis: Ed. Vozes, 1992.

TRIVEDI, P. How to Evaluate Performance of Government Agencies (a manual for practitioners).Washington: World Bank, 1997.

____ . Acuerdos de Desempeño en el Gobierno de los Estados Unidos: enseñanzas para los países endesarrollo. Washington: World Bank, 1998.


VELLEMONT, S. A Modernização do Estado: lições da experiência francesa. Brasília: ENAP,1996.

WAGENSBERG, J. Ideas sobre la Complexidad del Mundo. Barcelona: Tusquets Ed., 1985.

WEAVER, R.K e ROCKMAN, B. A. (ed.). Do Institutions Matter? Government Capabilities in theUnited States and Abroad. Washington, DC: The Brookings Institution, 1993.

WERNECK, V. R. A Velha e Nova Questão da Avaliação. Revista Ensaio, v. 1, n. 1, out./dez.1996.

O PROCESSO DE IMPLEMENTAÇÃODE POLÍTICAS PÚBLICAS NO BRASIL:CARACTERÍSTICAS E DETERMINANTES DA

AVALIAÇÃO DE PROGRAMAS E PROJETOS

Pedro Luiz Barros Silva

Marcus André Barreto de Melo

2

O PROCESSO DE IMPLEMENTAÇÃO DE POLÍTICAS PÚBLICASNO BRASIL: CARACTERÍSTICAS E DETERMINANTES DA

AVALIAÇÃO DE PROGRAMAS E PROJETOS

CADERNONº 48

UN

IVE

RS

IDA

DE

ES

TAD

UA

L D

E C

AM

PIN

AS

– U

NIC

AM

P

NÚ

CLE

O D

E E

STU

DO

S D

E P

OLÍ

TIC

AS

PÚ

BLI

CA

S –

NE

PP

2000

NEPP-UNICAMP

2

O PROCESSO DE IMPLEMENTAÇÃO DE POLÍTICAS PÚBLICAS NO BRASIL:CARACTERÍSTICAS E DETERMINANTES DA AVALIAÇÃO DE PROGRAMAS

E PROJETOS1

Pedro Luiz Barros Silva2

Marcus André Barreto de Melo3

1 Trabalho a ser apresentado na reunião do CLADE, 2000, Painel “Estado Democrático e

Governança no Século XXI: reformando a reforma, República Dominicana, outubro de 2000.2 Administrador Público e Doutor em Ciência Política. Diretor do NEPP – Núcleo de Estudos de

Políticas Públicas/UNICAMP. Professor do Instituto de Economia/UNICAMP([email protected])

3 Cientista Social e Doutor em Ciência Política. Diretor do NEPU – Núcleo de Estudos dePolíticas Públicas/UFPe. Professor do Mestrado em Ciência Política/UFPe.

NEPP-UNICAMP

3

1. Introdução

Este trabalho apresenta um marco de referência para a abordagem da questão da

implementação de políticas públicas. No texto que se segue discute-se um

conjunto de conceitos analiticamente relevantes para a compreensão do policy

cycle, e em particular do lugar da implementação de políticas como o ‘elo perdido’

da análise da ação governamental. Embora a apresentação desses conceitos seja

balizada pela referência à literatura contemporânea, busca-se construir um marco

de referências original e que permita dar conta da complexidade da questão da

implementação em contextos institucionais particulares como o brasileiro. Como

será discutido, o contexto institucional e organizacional brasileiro caracteriza-se

por especificidades importantes – dentre as quais destaca-se sua complexidade e

forte diferenciação funcional, e principalmente os problemas de coordenação e

cooperação intergovernamentais.

As vicissitudes da implementação de programas governamentais têm sido

entendidas como uma das dimensões cruciais – senão a variável central – para a

explicação do insucesso dos governos em atingir os objetivos estabelecidos no

desenho das políticas públicas. A implementação revelou-se, portanto, o “elo

perdido” nas discussões sobre a eficiência e eficácia da ação governamental.

Como amplamente discutido, problemas não antecipados que surgem durante a

implementação de programas ou políticas podem representar obstáculos

intransponíveis, os quais, por sua vez, podem levar as agências responsáveis a

descontinuá-los.

Essa “constatação”, realizada no plano teórico a partir de estudos concretos

acerca da intervenção estatal no plano internacional, tem chamado atenção para a

centralidade dos problemas de implementação de programas como elemento

chave no aperfeiçoamento da ação do governo. Cabe aqui, entretanto, um

NEPP-UNICAMP

4

cuidado especial por parte de analistas, tomadores de decisão e estudiosos da

intervenção estatal. Em um certo sentido, essa constatação pode ser um truísmo.

Embora essencialmente correta, uma análise mais sistemática revela que o

diagnóstico sobre a implementação como o “elo perdido” está ancorado em uma

visão inadequada do processo de formulação e implementação de políticas. Na

discussão que segue essa visão é criticada, e essa crítica fundamenta o marco de

referências alternativo que é apresentado e discutido na parte final do capítulo.

Mais do que isso, a partir da visão aqui exposta, defende-se que as avaliações de

políticas públicas, programas e projetos, devem focar de forma privilegiada o

processo de implementação.

2. As visões tradicionais do processo de implementação

Na visão clássica ou canônica da ação governamental a implementação constitui

umas das fases do policy cycle. A implementação corresponde à execução de

atividades que permitem que ações sejam implementadas com vistas à obtenção

de metas definidas no processo de formulação das políticas. Baseada em um

diagnóstico prévio, e em um sistema adequado de informações, na fase de

formulação são definidas não só as metas mas também os recursos e o horizonte

temporal da atividade de planejamento. Definidos esses dois parâmetros, pode-se

aferir a eficiência dos programas ou políticas e seu grau de eficácia ( Figura 2). 4

4 Uma análise mais abrangente da questão englobaria também a questão dos resultados ou

efeitos das políticas (outcomes ou outputs) e a avaliação de seu impacto. A avaliação deprogramas refere-se fundamentalmente ao seu impacto (conhecido na literatura especializadacomo impact analysis or evaluation). O monitoramento da implementação dos programas éconhecido referido como implementation assessement.

NEPP-UNICAMP

5

Figura 1. Visão clássica do policy cycle

Essa visão clássica do ciclo de política (policy cycle) não considera os aspectos

relativos à implementação e seus efeitos retroalimentadores sobre a formulação

da política. Em outras palavras não considera o policy cycle como um processo. A

implementação é entendida, fundamentalmente, como um jogo de uma só rodada

onde a ação governamental, expressa em programas ou projetos de intervenção,

é implementada de cima para baixo (top down).

Numa perspectiva menos simplista em que o processo de formulação e

implementação de políticas é visto como um processo, a implementação também

aparece como dimensão importante. As vicissitudes da implementação de

políticas são incorporadas à análise. Em sua versão mais normativa, essa

perspectiva propõe que o monitoramento e a avaliação das políticas sejam

considerados instrumentos que permitem correções de rota ( Figura 2). As

vicissitudes, obstáculos e problemas da implementação estão associadas,

segundo essa perspectiva de análise, a problemas de natureza variada. Em

primeiro lugar, resultam de aspectos relacionados à capacidade institucional dos

agentes implementadores. Em segundo lugar, são gerados por problemas de

natureza política na implementação dos programas ou políticas. Em terceiro lugar,

derivam da resistência e boicotes realizados por grupos ou setores negativamente

afetados pela política – em muitos casos setores da própria máquina

administrativa estatal.

Formulaçãode políticas

Implementação depolíticas

NEPP-UNICAMP

6

Retroalimentação/Monitoramento

Figura 2. A visão do policy cycle como um processo simples e

linear

Essa perspectiva de análise do policy cycle como um processo representa um

avanço em relação à visão clássica da questão. No entanto, ela está assentada

em premissas equivocadas. Em primeiro, ela confere um primado excessivo à

atividade de formulação, em detrimento das outras dimensões. Embora a questão

da implementação e do monitoramento sejam incorporados à análise, a

formulação é vista como uma atividade relativamente não problemática. Assume-

se que:

● diagnóstico que informa a formulação de políticas está essencialmente correto;

● o formulador dispõe de todas as informações necessárias ao desenho das

propostas programáticas;

● o formulador dispõe de um modelo causal válido.

Formulação depolíticas

Implementaçãode políticas

NEPP-UNICAMP

7

Esse último aspecto é essencial na medida em que toda política pública está

assentada em um modelo causal, freqüentemente não explicitado. Esse modelo

causal consiste de hipóteses e pressupostos sobre determinados fenômenos

sociais.5 Exemplificando, as políticas ativas de mercado de trabalho estão

baseadas em um modelo causal a respeito do desemprego e suas manifestações

específicas para classes de trabalhadores, segundo ocupação, gênero ou idade; a

política pública de combate à mortalidade infantil está ancorada em um modelo

causal sobre esse tipo de mortalidade, e sobre o papel de variáveis ambientais e

nutricionais, bem como sobre a avaliação de perfis de morbidade que provocam a

mortalidade precoce.

Muitas vezes tais modelos causais não se relacionam ao fenômeno em si – veja-

se o exemplo da mortalidade infantil – mas em relação ao efeito de determinados

fatores sobre sua redução. Um bom exemplo sobre esse último aspecto seria a

observação de que o nível de escolaridade das mães é um dos determinantes da

presença ou ausência do fenômeno mortalidade infantil, e que uma intervenção

voltada para as mães teria um impacto em termos de redução da mortalidade.

Esse tipo de causalidade, denominado por Rossi e Freeman de hipótese de

intervenção (intervention hypothesis). 6

Esse tipo de hipótese é distinto daquela do modelo causal (causal hipothesis na

terminologia dos autores) na medida em que se relaciona não com a realidade

social tout court mas com os instrumentos de uma possível intervenção sobre a

mesma.7

Uma mudança provocada por um programa pode, no entanto, não resultar nos

mesmos processos sociais que podem ser observados quando mudanças nas

5 Weiss, Carol, Evaluation, Prentice Hall, 1998.6 Rossi, P. H. e H. E. Freeman, Evaluation: a systematic approach, Sage, 1993.7 Nos termos dos autores “uma hipótese de intervenção é uma afirmação que especifica o

relacionamento entre o que deve ser feito no programa e os processos ou determinantesespecificados na hipótese causal do comportamento ou condição a ser melhorado ou alterado”Rossi e Freeman, Evaluation: a systematic approach, op. cit. P. 121.

NEPP-UNICAMP

8

variavéis causais ou independentes ocorrem naturalmente, ou seja sem

intervenção. A intervenção em si pode induzir novos comportamentos distintos de

uma situação pré-intervenção. 8 Hipóteses sobre o impacto efetivo da intervenção

( action hipothesis para Freeman e Rossi) são formuladas para dar conta desses

processos que ocorrem durante a implementação.

A visão de implementação proposta nos dois modelos discutidos (clássico e como

processo linear) padece portanto de sérios problemas no que se refere aos seus

pressupostos. A adoção da perspectiva onde o policy cycle é visto como um

processo simples e linear consagra uma visão top-down da formulação e desenho

dos programas, onde os problemas de implementação são necessariamente

entendidos como “desvios de rota”.9 Essa perspectiva de análise da

implementação pressupõe uma visão ingênua e irrealista do funcionamento da

administração pública, que aparece como “um mecanismo operativo perfeito”,

onde seria possível assegurar a fidelidade da implementação ao desenho

proposto inicialmente. Essa visão hierárquica da burocracia pública como

correspondente ao ideal weberiano é francamente idealizada. Ela está ancorada

em um policy environment caracterizado por informação perfeita, recursos

ilimitados, coordenação perfeita, controle, hierarquia, clareza de objetivos,

enforcement de regras perfeitas e uniformes, linhas únicas de comando e

autoridade, além de legitimidade política e consenso quanto ao programa ou

política.

8 Como é o caso de um programa de combate à discriminação racial entre empregadores, citado

por Rossi e Freeman, que provocou forte polarização após ser implementado. Em outraspalavras os indivíduos não se comportavam como na situação pré-intervenção. A maiormudança observada em termos comportamentais ocorreu entre certos empregadores quemostravam-se ainda mais preconceituosos do que antes, embora muitos empregadoresmostraram-se menos preconceituosos. Note-se que a mudança ocorreu no nível da própriapopulação meta , e não dos agentes implementadores. Essa última observação é de grandeimportância e é frequentemente pouco considerada.

9 Para uma distinção entre abordagens top down e bottom up de processos de implementação,cf. Sabatier, Paul “Top down and bottom up approaches to implementation research”, Journal ofPublic Policy, no. 6, 1986.Simplificadamente, pode-se afirmar que a abordagem top down centra-se na questão dosmecanismos de controle sobre os agentes implementadores para que os objetivos da políticasejam atingidos. Por sua vez, a abordagem bottom up enfatiza os incentivos que induzem osagentes implementadores a aderir normativa e operacionalmente aos objetivos da política.

NEPP-UNICAMP

9

3. A Implementação como Jogo: redes, aprendizado institucional estakeholders

No entanto, estudos de situações concretas revelam um padrão muito distinto,

onde prevalece a troca, a negociação e barganha, o dissenso e a contradição

quanto aos objetivos. Ao invés de controle, autoridade e legitimidade verifica-se

ambigüidade de objetivos, problemas de coordenação intergovernamental,

recursos limitados e informação escassa.10 A implementação pode ser melhor

representada como um jogo entre implementadores onde papéis são negociados,

os graus de adesão ao programa variam, e os recursos entre atores são objeto de

barganha. 11

A análise empírica de políticas públicas revela que os formuladores de política

operam em um ambiente carregado de incertezas que se manifestam em vários

níveis:

● em primeiro lugar, os formuladores de política – mas também os próprios

especialistas e estudiosos - enfrentam grandes limitações cognitivas sobre os

fenômenos sobre os quais intervêm. Tais limitações derivam, em última

instância, da complexidade dos fenômenos sociais com os quais lidam e das

próprias limitações dos conhecimentos das disciplinas sociais sobre a

sociedade. Em um nível mais operacional, tais limitações são produto dos

constrangimentos de tempo e recursos com que operam os formuladores;

● em segundo lugar, os formuladores de política não controlam nem muito

menos tem condições de prever as contingências que podem afetar o policy

environment no futuro; 12

10 Cf por exemplo Lane, Jan Erik , The Public Sector: concepts, models and approaches, Sage,

199311 Bardach, Eugene (1977), The Implementation Game, The MIT Press.12 As limitações cognitivas dos agentes que circunscrevem a sua própria racionalidade foram

exploradas de forma pioneira por James March em várias contribuições sobre teoriaorganizacional. Este ator propôs o conceito de racionalidade constrangida (bounded rationality)para designar a limitada racionalidade dos atores sociais. Cf. ara uma discussão desse conceitocom referência às questões de mudança e reforma institucional cf. March, J e J. Olsen,Rediscovering Institutions: the organizational basis of politics, The Free Press, 1989.

NEPP-UNICAMP

10

● em terceiro lugar, planos ou programas são documentos que delimitam

apenas um conjunto limitado de cursos de ação e decisões que os agentes

devem seguir ou tomar. Um amplo espaço para o comportamento discricionário

dos agentes implementadores está aberto. Freqüentemente avaliado de forma

negativa pela cultura burocrática dominante, esse espaço é o lugar de práticas

inovadoras e criativas;

● em quarto lugar, os formuladores expressam suas preferências individuais ou

coletivas através de programas e políticas, cujo conteúdo substantivo pode ser

divergente daquele da coletividade. Projetos e programas não podem ser

vistos como um projeto ideal e coletivo mas como experimentação social.

Nessa perspectiva, a visão da esfera política é tida como essencialmente

negativa. Durante a implementação, para o formulador, as influências políticas

supostamente minam a racionalidade técnica dos planos e programas.

Contribuições recentes em torno da questão da implementação enfatizam os

elementos de aprendizagem 13, evolução,14 adaptação e da ‘’implementação como

decisão política”. 15

Outro elemento central dessas contribuições, é a consolidação da idéia de que é

necessário se ter uma visão estratégica dos problemas de implementação

incorporando questões críticas como a viabilidade política de políticas e os

problemas de coordenação interorganizacional.

O que é comum a essas contribuições é a recusa à noção de implementação

como uma etapa subsequente à formulação – esta última entendida como uma

instância racional e compreensiva. A implementação é entendida como processo

autônomo onde decisões cruciais são tomadas e não só “implementadas”.

Conflitos interjurisdicionais entre órgãos e intituições, brechas e ambigüidades

13 Pressman , J. e H. Wildavsky , Implementation. Berkeley, University of California Press, 1984.14 Majone , Giandomenico e A. Wildavsky “Implementation as evolution”, in Howard Freeman (org)

Policy Studies Review Annual, 1978, Sage.15 Lindblom, Charles, The policy-making process, Prentice Hall, 1980.

NEPP-UNICAMP

11

legais, omissões de normas operacionais, além de outros fatores, permitem que

os executores de política tomem decisões relevantes para o sucesso da política.

Em algumas burocracias específicas – como é o caso daqueles agentes que

Lipsky 16 denominou street level bureaucrats: fiscais, agentes de trânsito, médicos

e enfermeiros nas unidades básicas de saúde, funcionários administrativos nos

balcões de atendimento da previdência social etc. – o espaço de discrição do

agente executor é muito grande, e o implementador toma as decisões cruciais de

uma política setorial, a tal ponto que a adesão normativa do implementador de

decisões é variável decisiva do seu sucesso.

A implementação, portanto, “cria” políticas: a implementação de políticas

constantemente orienta novas políticas 17. Como a implementação implica em

tomada de decisões, ela própria se constitui em fonte de informações para a

formulação de políticas. A prática de análise de programas de governo revela que

apenas em raríssimos casos os formuladores de política decidem ex nihilo. As

decisões na maioria das políticas setoriais constituem apenas inovações em

relação a políticas existentes ou manutenção de políticas existentes realizando-se

ajustes incrementais de metas, recursos e prazos de execução.

Nesse sentido a idéia da avaliação como instrumento de correção de rota deve ser

substituída pela noção de avaliação como policy learning: o aprendizado na

implementação de uma política pública. A própria idéia da rota como trajetória

pré-concebida deve dar lugar à constante reformulação – no limite a reversão ou

substituição da política. A implementação e avaliação de políticas devem ser

entendidas como testes de modelos causais sujeitos à corroboração ou ao

abandono.

Essa visão da implementação como correção de rota está fundada em uma

analogia pouco consistente entre a manufatura e as políticas públicas. Na

16 Lipsky, Michael , Street Level Bureaucrats, Russel Sage, 198017 Lindblom, Charles, The policy-making process, op. cit.

NEPP-UNICAMP

12

manufatura há uma clara divisão de trabalho entre as tarefas de concepção

(trabalho intelectual) e a execução ( trabalho manual) de um produto. 18 Uma

política pública no entanto deve ser vista como engenharia social. O policy cicle

deve ser visto como um campo estratégico no qual observa-se uma relativa

indistinção entre não só os implementadores e os formuladores, mas também a

população meta de uma programa. Na realidade, a forma de uso ou consumo dos

produtos da política altera a política e à semelhança do que se afirmou em

relação aos implementadores ‘cria políticas’.

Vários conceitos tem sido propostos para capturar esse campo estratégico: a idéia

de redes de implementação, de estruturas de implementação19, etc. O conceito de

redes de implementação é particularmente apropriado para capturar o fato de que

as políticas públicas são implementadas fundamentalmente através de redes de

agentes públicos e, cada vez mais frequentemente, também por agentes não -

governamentais.20 A implementação quase nunca está a cargo de um agente

apenas e não ocorre no âmbito de uma organização apenas mas de um campo

interorganizacional.

Em suma, a visão da implementação como aprendizado é empiricamente mais

consistente do que as outras perspectivas discutidas anteriormente além de ser

normativamente mais persuasiva.

Contribuições recentes da literatura têm enfatizado também a dimensão política do

processo de implementação em uma perspectiva realista e positiva e não negativa

e utópica. A estratégia tecnocrática de se eliminar ou insular a política pública do

jogo político mais amplo tem efetivamente se mostrado irrealista e pouco

18 Mesmo essa visão está sujeita a críticas – as quais não podem ser desenvolvidas aqui por

razões de espaço.19 Hjern, B. and D. Porter, “Implementation structures : a new unit for administrative analysis”,

Organizational Studies, 2, 1981.20 Um conceito correlato de grande interesse na literatura organizacional contemporânea é o de

campo interorganizacional .Cf. Chisholm, D. Coordination without Hierarchy: informal structuresin multiorganizational fields, University of California Press, 1989.

NEPP-UNICAMP

13

democrática. Irrealista porque toda ação ou intervenção governamental através

de programas e projetos é constitutivamente política: ela distribui custos e

benefícios, utiliza recursos coletivos e é formulada por autoridades públicas. Por

outro lado, a estratégia de insulamento pressupõe que as burocracias

governamentais são desinteressadas e racionais, e portanto portadoras do

interesse coletivo, enquanto que o jogo político caracterizar-se-ía por

particularismos e corporativismo. Essa estratégia também parece pouco

democrática porque restringe a participação, a informação e o controle social.

Ao se reconhecer o jogo político como essencial à vida democrática e fundamental

para o controle social da ação do governo, contribuições recentes tem enfatizado

a importância de se incorporar os stakeholders - grupos envolvidos pelas políticas

e nela interessados - ao processo de formulação e implementação de políticas.

Nesse sentido, tem-se revelado fundamental os mecanismos de ownership da

política por setores estratégicos e que lhes dêem sustentação política e

legitimidade.21

O desenho estratégico das políticas deve incluir a identificação dos atores que dão

sustentação à política e mecanismos de concertação e negociação entre tais

atores. Sem tais atores, políticas públicas de caráter redistributivo, como os

programas na área social, tendem a se sustentar apenas na adesão fortuita e

muitas vezes oportunista de setores das burocracias especializadas, o que lhes

confere pouca legitimidade social e baixa sustentabilidade.

O policy cycle nessa perspectiva (Figura 3), não pode ser concebido de forma

simples e linear, nem pode, por definição, possuir um ponto de partida claramente

definido. Ele é melhor representado por redes complexas de formuladores,

implementadores, stakeholders e beneficiários que dão sustentação a política; e

21 Sabatier foi um dos autores que introduziu a nova linguagem da política pública, onde são

centrais os conceitos de advocacy coalitions e stakeholders. Cf. Sabatier, Paul e Jenkins-smith, H.C. eds. Policy change and learning : an a dvocacy coalition approach, Westview Press,1993.

NEPP-UNICAMP

14

por “nós” críticos. Esses “nós” ou “elos críticos” representam os pontos no tempo

onde questões referidas ao processo de sustentação política dos programas, de

coordenação interinstitucional e de capacidade de mobilizar recursos institutionais

se conjugam. Nesse momento de conjugação se produz uma espécie de “crise”,

concretizada no processo de tomada de uma decisão crítica por uma ator

estratégico, cujo desenlace impele o programa em uma direção nova.

Nós críticos

Rede de Implementadores

Formuladores, Stakeholders

e Beneficiários

Figura 3. O policy cycle como aprendizado

Esse momento de “crise” representa um momento de aprendizado na dinâmica do

programa.

Deve-se destacar a importância dos mecanismos de coordenação interinstitucional

para a implementação de políticas públicas em ambientes institucionais

democráticos, descentralizados e com um mix fortemente diferenciado de agentes

A implementaçãocomo jogo

NEPP-UNICAMP

15

implementadores. Vale ressaltar que, em um plano mais geral, esses traços

distintivos caracterizam o contexto de pós-reforma do estado no formato em esta

última vem sendo implementada em muitos países.

A implementação passa a estar fortemente imbricada em estruturas de

governança (governance). Governança entendida enquanto regras do jogo e

arranjos institucionais que dão sustentação à cooperação, à coordenação e a

negociação.

Se as duas visões mais tradicionais do policy cycle mostravam-se pouco

consistentes em termos de representação adequada de processos empíricos, em

casos em que as políticas públicas são formuladas e implementadas ocorrem em

ambientes marcados por transformações estruturais no sentido do que poder-se-ía

denominar sua ‘horizontalização’ , tais visões revelam-se profundamente

deficientes.

Quando o policy cycle ocorre em um ambiente organizacional em que agentes de

mercado, atores estatais, e instituições não-governamentais interagem fortemente

as noções de hierarquia e controle fazem pouco sentido. Elas dão lugar à

negociação, barganha e troca enquanto princípios organizadores da

implementação. 22 E mais que isso da própria formulação de políticas.

Em contextos democráticos em que instâncias de controle através do parlamento

e órgãos auxiliares se fortalecem, e nos quais novos mecanismos de participação

e controle social são criados, as noções de um núcleo racional formulador de

propostas a serem implementadas dão lugar a mecanismos de deliberação,

engenharia social e aprendizagem coletiva.

22 Powell, Walter 1990 "Neither market nor hierarchy: Network forms of organization." In B. M.

Staw and L. L. Cummings (eds.), Research in Organizational Behavior, 12. JAI Press.

NEPP-UNICAMP

16

A visão de implementação enquanto aprendizado e articulada em uma rede

agentes constitui um quadro de referências que permite uma representação mais

consistente dos mecanismos de implementação de políticas, particularmente em

contextos com essas características.

O desenho de estruturas de incentivo que promovam arranjos cooperativos em

redes de implementação representa um das tarefas centrais para a reforma do

estado.

É, portanto, essa visão do processo de implementação e da avaliação como parte

constitutiva do policy cycle que deve informar as reflexões sobre os determinantes

centrais da intervenção estatal e que devem ser considerados numa estratégia

metodológica de avaliação dirigida ao gestor de programas sociais no Brasil.

COMBATER A POBREZA ESTIMULANDOA FREQÜÊNCIA ESCOLAR: O ESTUDO

DE CASO DO PROGRAMA BOLSA-ESCOLA

DO RECIFE

Lena Lavinas

Maria Ligia de Oliveira Barbosa

COMBATER A POBREZA ESTIMULANDO A FREQÜÊNCIA ESCOLAR:

O ESTUDO DE CASO DO PROGRAMA BOLSA-ESCOLA DO RECIFE*

Lena Lavinas

Maria Ligia de Oliveira Barbosa

BRASIL: A NOVIDADE DOS PROGRAMAS DE TRANSFERÊNCIA

DE RENDA ÀS FAMÍLIAS POBRES

A segunda metade dos anos 90 no Brasil traz novidades relevantes em matéria de

política social. Com o fortalecimento do processo de democratização do país, notadamente

através das eleições para os governos municipais, estaduais e federal, e com a descentralização

federativa adotada em 1988 pela nova Constituição cidadã, propiciando maior autonomia político-

administrativa e fiscal para as instâncias subnacionais, o debate acerca das desigualdades

sociais do país ganha fôlego novo e também um novo quadro institucional.

A idéia de que além da insuficiência de renda, a pobreza é derivada do déficit agudo

na provisão de serviços públicos essenciais como saúde, educação, habitação e saneamento

básico coloca em questão as formas tradicionais de fazer política social. O lema de que o país

gasta razoavelmente com o social (19% do PIB), mas gasta mal, e de que os recursos públicos

não chegam à parcela mais carente da população levam à adoção de experiências inovadoras

especialmente nas administrações locais progressistas. Surge, assim, o orçamento participativo

em algumas prefeituras de esquerda1, onde através da concertação entre entidades da

sociedade civil e governo se busca aumentar o controle social na alocação de parcela crescente

dos recursos públicos; multiplicam-se os programas de segurança alimentar centrados na venda

subsidiada de alimentos para os grupos de risco e na intervenção regulatória de preços; e

programas de garantia de renda mínima à população carente são adotados como forma de aliviar

a pobreza e tentar reduzir a desigualdade.

A idéia de se prover uma renda mínima à parcela pobre da população é introduzida

no Brasil na década de 70, mas só nos 90 torna-se verdadeiramente elemento importante do

debate nacional sobre o combate às desigualdades, quando o senador Eduardo Suplicy, do

Partido dos Trabalhadores ¾ PT, apresenta projeto de lei visando à adoção de um programa

* Esta pesquisa foi financiada conjuntamente pela Organização Internacional do Trabalho ¾ OIT ¾ Brasil e peloBanco Mundial, e faz parte de um trabalho mais amplo de análise dos impactos dos programas de rendamínima que vêm sendo implementados com sucesso no Brasil. Contou com a valiosa colaboração da equipetécnica responsável pela execução do Programa Bolsa-Escola da cidade do Recife, a quem agradecemos.Daniele Manão e Mariana Bittar, economistas e assistentes de pesquisa do Instituto de Pesquisa EconômicaAplicada ¾ IPEA colaboraram em todas as fases da pesquisa, inclusive na redação deste artigo.

de garantia de renda mínima para todos os brasileiros adultos (mais de 25 anos), com renda

familiar per capita mensal inferior a R$ 240,00 (US$ 141)2. Sua proposta é que se atribua um

benefício mensal equivalente a 30% da diferença entre a renda do indivíduo carente e o valor

acima, instituído como uma espécie de linha de pobreza nacional.

A esta tese é contraposta outra modalidade de transferência de renda monetária,

dirigida não aos indivíduos pobres, mas às famílias pobres com filhos em idade escolar. Esta

iniciativa, que cabe ao economista José Márcio Camargo, propõe a concessão de um

benefício mensal no valor de um salário mínimo a toda família, sem limite de renda, que

tenha seus filhos matriculados no ensino público fundamental. O argumento em favor dessa

modalidade focalizada de transferência de renda monetária se apóia na compreensão de que

o fator com maior poder explicativo na reprodução do ciclo vicioso da pobreza é a pouca

escolaridade. De fato, o atraso escolar é ainda elevado no Brasil, embora declinante:

segundo a Pesquisa Nacional por Amostra de Domicílios ¾ PNAD3 -1998, um jovem de 14

anos que deveria ter concluído o ensino fundamental (oito anos de escolaridade), acumulou

2,94 anos de atraso. A população adulta brasileira (mais de 25 anos) detém, em média, 5,6

anos de escolaridade e somente a capital da República, Brasília, registra em 1998,

desempenho satisfatório no que tange à conclusão do ensino fundamental: em média, seus

habitantes alcançaram oito anos de estudo, concluindo o primeiro grau.

Evidentemente, se tomarmos apenas a franja mais pobre da população, os

indicadores mostram-se dramáticos, situando-se muito abaixo4 da média brasileira, revelando

graves desvantagens acumuladas. A título de exemplo, vale citar o caso de Recife ¾ nosso

estudo de caso no âmbito deste artigo ¾ , onde as crianças com 14 anos de idade vivendo

em famílias cuja renda per capita é inferior a meio salário mínimo (R$ 60,00 ou, à época, US$

37) registravam, em 1997, atraso escolar de 4,3 anos e aquelas de famílias com renda menor

que 1/3 do salário mínimo, cinco anos (Lavinas e Barbosa, 2000).

Esse formato de programa de garantia de renda mínima, assemelhado a um

salário-família condicionado à freqüência escolar, tal qual uma bolsa de estudos, foi

inicialmente implementado com sucesso na gestão do governador Cristóvam Buarque5, no

Distrito Federal, a partir de 1994. Ao final de seu governo, em 1998, o Programa Bolsa-Escola

chegou a contemplar 26 mil famílias, cerca de 80%6 do público-alvo potencial calculado com

base na linha de pobreza de meio salário mínimo per capita (US$ 38). Pela primeira vez, um

programa social alcançava escala e cobertura capazes de gerar impacto efetivo junto à

população carente e desprezada pelas políticas públicas. O benefício mensal no valor de um

salário mínimo (R$ 130,00 ou US$ 76) ¾ transferência direta de renda monetária e de valor

elevado para os padrões da política assistencial brasileira, tradicionalmente assentada na

distribuição de alimentos in natura e "proteção" clientelista ¾ permitiu retirar da pobreza

aguda mais de 10 mil famílias, contribuiu para focalizar o gasto social em ações de combate à

pobreza (ver Lavinas, 1998), ampliando seu impacto redistributivo ¾ o gasto per capita

passou entre 1995-97 de R$ 113,00 (US$ 78) para R$ 279,00 (US$ 168), enquanto o gasto

social geral se manteve em torno a R$ 450,00 (US$ 281) ¾ , reduziu a zero a taxa de evasão

escolar entre os alunos bolsistas bem como jogou sua taxa de repetência para níveis

inferiores à média da capital da República. Tudo isto, comprometendo menos de 1% da

receita orçamentária anual do Distrito Federal.

Diante de resultados efetivos e custos baixos, e na ausência de trade-offs

perversos que costumam afetar negativamente a eficácia de grande parte dos programas

sociais, o Programa Bolsa-Escola do D.F. passou literalmente a fazer escola no país.

Atualmente, uma boa centena de municípios7 replica esse modelo descentralizado, sem

atentar, infelizmente, para aspectos importantes do seu desenho e forma de execução e

monitoramento. Na sua grande maioria, esses programas atendem a uma pequena fração da

demanda, gerando iniqüidades junto à população pobre; adotam um valor irrisório de

benefício ¾ quando não substituem o benefício monetário por alimentos, fornecimento de gás

de cozinha ou outro tipo de doação in natura ¾, de impacto quase nulo na redução da

pobreza de curto prazo; não garantem continuidade pois se comprometem a manter o

benefício apenas por um ou dois anos, posto que não há metas definidas a serem

alcançadas, nem coordenação do ponto de vista da política social como um todo. Isto,

evidentemente, compromete a eficácia do instrumento e deixa entrever que dificilmente se

poderá superar a situação de pobreza que aflige a população desassistida. A quase

totalidade das leis municipais ou estaduais de adoção de Programas Bolsa-Escola não tem

por objetivo levar à conclusão do ensino fundamental, mas tão-somente "retirar crianças da

rua", o que reforça o caráter assistencial desses programas em detrimento do seu impacto

redistributivo. Há cidades onde se pratica o turnover dos pobres em função das restrições

orçamentárias: uns são contemplados por um ano, cedendo lugar ao final desse prazo a

outras famílias. Assim, uns passam a ganhar enquanto outros voltam a perder, em um jogo

de soma zero, onde tudo é temporário, menos a miséria.

Às vésperas das eleições para a Presidência da República em 1998, o Ministério da

Educação também lançou um programa de garantia de renda mínima, focalizado

geograficamente: os municípios com renda e receita tributária per capita inferior à média do seu

estado poderiam integrar uma parceria com o governo federal, que financiaria metade dos custos

de um Programa Bolsa-Escola, novamente vinculando o recebimento do benefício à freqüência

obrigatória à escola. Em dezembro de 1999, segundo fontes ministeriais, 504 mil famílias em 1/5

dos municípios brasileiros em sua maioria situados em áreas rurais recebem um benefício

mensal cujo valor varia, mas é estimado em média em R$ 37,00 (US$ 20). Mais de um milhão de

crianças estariam participando do Programa. Ignora-se, no entanto, como ele atua na redução da

pobreza e na valorização do ensino e no melhor desempenho educacional dos bolsistas. Até a

presente data, o governo federal não procedeu a nenhuma avaliação conseqüente dos resultados

do Programa, além de enfrentar dificuldades orçamentárias e operacionais para estender sua

cobertura nacionalmente, o que está previsto para 2003.

Ainda por iniciativa do governo federal, o Bolsa-Escola tem-se tornado instrumento

importante no combate ao trabalho infantil precoce nas carvoarias, zonas de corte da cana,

colheita do sisal e outras atividades que comprometem o desenvolvimento físico-social das

crianças. No âmbito do Programa de Erradicação do Trabalho Infantil ¾ PETI8, passou-se a

atribuir um benefício mensal às famílias cujas crianças estavam envolvidas em atividades

penosas e de alto risco, de forma a substituir a pouca, mas tão indispensável,

complementação de renda que elas proporcionam com seu trabalho. Esse valor era

equivalente a R$ 50,00 (US$ 27) até abril de 2000, quando o governo julgou tratar-se de cifra

elevada para as áreas rurais, cortando-a pela metade: atualmente o benefício situa-se em R$

25,00 (US$ 13), o que significa reduzir drasticamente o potencial de diminuição da indigência

no curto prazo, cujos índices são alarmantes nas áreas rurais do Brasil.

Mais grave, no entanto, é o uso clientelista que vem sendo dado a programas de

transferência de renda em algumas cidades, colocando em risco uma modalidade de atuação

no combate à pobreza cujos impactos positivos se mostraram efetivos, como no caso do

Distrito Federal9. É o caso do Rio de Janeiro, onde o governo do estado desenvolve

simultaneamente dois tipos de programa de renda mínima. Um deles, de caráter

experimental, coordenado pela Secretaria Estadual de Educação, atende a um número

pequeno de crianças (mil) em duas favelas da cidade. Paralelamente, o governo do estado,

contrariando princípios seculares de cidadania, repassa a igrejas evangélicas o "cheque

cidadão", que funciona como um food stamp: trata-se de um cheque no valor de R$ 100,00

(US$ 70) que pode ser trocado por alimentos ou outros bens em lojas cadastradas na rede de

fornecedores do governo. As igrejas evangélicas, por sua vez, selecionam entre seus "fiéis"

aqueles que podem beneficiar-se desse "dom" do estado, com base em critérios religiosos,

morais, comportamentais, desfigurando por completo um programa que já deu provas de sua

eficiência e eficácia como forma de combate à pobreza e de renovação do acervo pálido e

desgastado da política social brasileira.

Diante de tantas descaracterizações de uma modalidade de programa social cuja

novidade e efetividade pareciam superar suas debilidades, nada mais oportuno do que

retomar com o rigor e a profundidade necessários à avaliação de um Programa Bolsa-Escola,

destacando seu potencial inovador diante da pobreza das formas tradicionais de política

social. Assim, no âmbito deste artigo, tentaremos apontar os elementos positivos, bem como

os limites, encontrados no Programa Bolsa-Escola da prefeitura do Recife, onde os índices de

pobreza se situam entre os mais elevados do país.

Cabe assinalar, de antemão, que a escolha do Recife decorreu das condições de

rigor, seriedade e transparência que presidiram a formulação, implementação e execução do

Programa Bolsa-Escola municipal, sem o que teria sido impossível proceder a esta avaliação,

com a metodologia adotada. A maioria das experiências similares em curso não dispõe de

uma metodologia prévia que permita uma avaliação rigorosa dos seus resultados.

O PROGRAMA BOLSA-ESCOLA DO RECIFE

Desenho do Programa

O Programa Bolsa-Escola em Recife10 foi criado através da Lei 16.302, de

23/5/1997, e regulamentado pelo Decreto 17.665/97. O órgão gestor é a Secretaria de

Educação que atua por intermédio de uma comissão executiva ¾ formada por representantes

das Secretarias de Educação, da Saúde, de Políticas Sociais, de Finanças e da

Coordenadoria da Criança e do Adolescente ¾ e de comissões locais criadas em cada uma

das regiões administrativas. Este programa se inspirou na experiência bem-sucedida do

Programa Bolsa-Escola do Distrito Federal.

Estabeleceu-se a concessão de um auxílio financeiro às famílias em condições de

carência material e precária situação sociofamiliar que se obrigassem a matricular e manter

na escola crianças entre 7 e 14 anos. O programa definiu como público-alvo famílias com

renda familiar per capita mensal inferior a 1/3 do salário mínimo (R$ 40,00 ou US$ 24 à época

de sua criação) e com crianças na faixa etária de escolaridade obrigatória (ensino

fundamental: 7-14 anos). É também necessário que a família seja domiciliada na cidade por

no mínimo cinco anos.

Além destes critérios, é dada prioridade a famílias com crianças que estejam fora

da escola porque precisam trabalhar, ou para aquelas cujas crianças estejam desnutridas,

sob medida de proteção social ou, ainda, estejam sendo atendidas por programas

socioeducativos. Do mesmo modo, dá-se preferência a famílias com maior número de

dependentes, idosos ou pessoas portadoras de deficiências, que sejam, portanto, incapazes

de prover o próprio sustento. Famílias monoparentais femininas também têm prioridade na

seleção, dada a imensa vulnerabilidade e desalento em que se encontram.

Como contrapartida, além da freqüência obrigatória à escola, os pais ou

responsável desempregados, mas não incapacitados de exercer atividades profissionais,

devem comprovar inscrição em curso profissionalizante e/ou programa de emprego. Quando

selecionadas, as famílias obrigam-se a fazer uma declaração de responsabilidade na qual o

chefe da família se compromete a dar uma correta destinação ao benefício recebido.

Até maio de 2000, eram atendidas pelo programa 1.604 famílias. Há dois valores

de benefício, em função do número de filhos. Transfere-se 1/2 salário mínimo para famílias

com apenas um filho em idade escolar e um salário mínimo11 para famílias com dois ou mais

filhos matriculados e freqüentando a escola. O benefício tem duração de um ano, podendo

ser renovado por mais um após uma reavaliação da situação socioeconômica da família

beneficiária. Até o presente momento, no entanto, o prazo de permanência tem sido

automaticamente prorrogado, sem prejuízo de nenhuma família. O pagamento da bolsa só é

suspenso, de fato, caso um ou mais filhos apresente freqüência mensal à escola inferior a

90%. Se a freqüência for normalizada, o pagamento é restabelecido12. O pagamento é

sempre feito nominalmente à mãe, seja nas famílias monoparentais femininas, seja nas

famílias nucleares, como forma de assegurar uma alocação mais eficiente do recurso.

Os recursos empenhados no Programa têm origem no orçamento municipal. O

gasto anual com o benefício é estimado em cerca de R$ 1,7 milhão anuais ou US$ 933 mil

em 1999. Isto representa tão-somente 0,3% do orçamento municipal executado. Não há teto

orçamentário estipulado por lei para gastos com o Programa, praxe13 na maioria das

prefeituras (onde tal limite é a forma de evitar o aumento exponencial do gasto social

municipal diante de uma demanda potencial muito elevada).

Grau de Cobertura do Programa

Observadas as características gerais do desenho do Programa, passamos a

estudar a demanda potencial, utilizando-nos, sobretudo, dos dados da PNAD-1997.

Pretendemos, assim, estimar o número de famílias pobres do Recife que poderiam constituir,

naquele ano, o universo possível de beneficiários do Programa.

O gráfico 1 destaca as famílias que estão nos quatro primeiros décimos da

distribuição de renda naquele município, ordenadas segundo a renda familiar per capita

mensal. Dentre os 40% mais pobres, a renda máxima registrada é de R$ 100,00 (US$ 61).

Constata-se que, em Recife, há um grande número de famílias com renda familiar

per capita inferior à linha de meio salário mínimo ¾ 27,2% do total de famílias no município

ou, em números absolutos, quase 100 mil famílias (tabela 1). A escolha da linha de R$ 60,00

ou US$ 37 justifica-se pelo fato de este valor corresponder ao custo médio nacional de

aquisição de 2.200 kcal/dia mensais (Lavinas et alii, 2000) em 1997. Portanto, o universo de

100 mil famílias delineado com base na linha de R$ 60,00 cobre, na verdade, a população

indigente da capital, cujo déficit de renda de tão acentuado as coloca em situação de risco

alimentar. Dentre as famílias que se encontram abaixo dessa linha, distinguimos dois

subconjuntos: todas as famílias pobres e aquelas com filhos na faixa etária de 7 a 14 anos,

uma vez que o Programa Bolsa-Escola se destina exclusivamente a famílias com

dependentes em idade escolar obrigatória (pela tabela 1, observa-se que seu número cai

para 46 mil famílias). Assim, se fôssemos contabilizar como clientela potencial do Programa

as famílias consideradas indigentes com base em uma linha específica de pobreza, teríamos

uma demanda potencial de 100 mil famílias, demanda esta reduzida para 46 mil no caso de

um benefício em forma de bolsa de estudo. Mais da metade (54%) das famílias carentes com

crianças em idade pré-escolar ou constituídas unicamente por adultos foi discriminada

negativamente, não podendo habilitar-se a participar do programa.

Essa sobrefocalização, porém, é ainda mais restrita e excludente, uma vez que a

habilitação ao Programa, por lei, se limita a famílias com renda familiar per capita inferior a

R$ 40,00 ou US$ 24. Se não considerarmos o critério de presença de crianças em idade

escolar, há em Recife 64.754 famílias abaixo dessa linha de pobreza. Mas se aplicarmos os

critérios do Programa, limitando o benefício somente a famílias com dependentes em idade

escolar apenas 8,8 mil famílias poderiam habilitar-se.

Resumidamente, podemos afirmar que a sobreposição de critérios de focalização

acaba por anular o desenho inicial do Programa, afetando grandemente sua cobertura. Como

vimos nos exercícios praticados, o público potencial reduz-se de quase 100 mil famílias em

Recife para cerca de 8,8 mil. Portanto, a exclusão é mais abrangente que a cobertura

oferecida, pois apenas 9% das famílias indigentes poderiam habilitar-se ao Programa,

respeitando seus critérios de seleção e, destas, na verdade, menos de 2% foram até maio de

2000 verdadeiramente contempladas (ver tabela 2).

Características das Famílias Beneficiárias

Para fazer uma caracterização do perfil social das famílias atendidas pelo Bolsa-

Escola do Recife, utilizamo-nos do cadastro realizado na fase inicial de implementação do

Programa que visava identificar e selecionar seu público-alvo. Este cadastro, gerido pela

Secretaria de Educação, reúne informações sobre as condições de vida e renda de 1.600

famílias14 hoje atendidas pelo Programa Bolsa-Escola. Tais informações foram coletadas na

fase anterior à sua integração ao Programa (tempo 0).15

A primeira constatação a ser feita tendo por base essa amostra16 é que a quase

totalidade dos requerentes é do sexo feminino (93%), o que é uma decorrência do fato de as

mães das crianças bolsistas serem, pela regra, as responsáveis familiares que devem

solicitar vinculação ao Programa e a quem se destina diretamente o benefício.

A tabela 3 apresenta uma síntese das características das famílias que se tornaram

beneficiárias do Programa no momento (tempo 0) imediatamente anterior a serem

contempladas com o benefício. Como esperado, entre a parcela mais carente da população,

é elevado o percentual de famílias monoparentais femininas (41%), sobretudo se comparado

à média brasileira (em torno de 24%, como se pode verificar nos dados da PNAD-1997). Este

quadro pode ser explicado pelo fato de as famílias que têm à frente uma única mulher

estarem mais propensas à situação de extrema pobreza, principalmente por dependerem de

uma única fonte de renda, quase sempre instável e insuficiente, e pelo fato de serem as

mulheres altamente discriminadas no mercado de trabalho brasileiro.

As famílias beneficiadas são constituídas, em média, de cinco membros. A renda

familiar per capita média mensal foi estimada em R$ 17,00 ou US$ 9,17 nível extremamente

baixo, muito aquém do mínimo vital. Vale lembrar que a renda é um dos principais critérios de

seleção do Programa, sendo habilitadas a receber o benefício somente as famílias cuja renda

familiar per capita é inferior a 1/3 do salário mínimo. Tomando como referência o ano de

1997, quando 1/3 do salário mínimo correspondia a R$ 40,00 (US$ 24 aproximadamente),

notamos que é pequeno (5%) o percentual de famílias beneficiadas cuja renda é superior a

essa linha local de pobreza. Constatamos, assim, que o critério de renda estabelecido pelo

Programa é amplamente atendido, uma vez que a focalização alcança as camadas

extremamente pobres da população que sofrem grau agudo de privação. No entanto, se a

focalização atende prioritariamente aos que vivem miseravelmente, está longe de atender a

todos nessa mesma situação.

Quanto ao grau de escolaridade, é predominante o número de mães que nem

chegaram a cursar a primeira série do primeiro grau (17% são analfabetas e 42%

consideram-se apenas alfabetizadas). Não deixa de ser surpreendente constatar que

praticamente nenhuma mãe conseguiu concluir o primeiro grau.

O acesso à infra-estrutura básica mostra-se menos deficiente do que se poderia

imaginar, tratando-se de parcela tão pobre da população. A única exceção fica por conta do

acesso à rede de esgoto, cuja provisão só é garantida a 65% das famílias. Em contrapartida,

o percentual de famílias que declarou ter água encanada no domicílio foi de 87% e luz

elétrica, 95%. Percentuais elevados de acesso à água e à luz podem ser explicados por

Recife ser uma região metropolitana e haver, principalmente no caso de luz elétrica, ligações

clandestinas e desmembramentos de relógios para casas diferentes, o que torna "gratuito" ou

mais barato este serviço.

A posse de bens duráveis por parte das famílias pode contribuir igualmente para

estimar o índice de carência. O item mais citado em matéria de bens duráveis de consumo foi

fogão a gás (90%), seguido por liquidificador (60%), geladeira (praticamente 60%) e TV a

cores (52%). Vale notar que carro e outros bens patrimoniais não aparecem por ocasião do

processo de seleção das famílias para inserção no Programa.

As tabelas 4 e 5 mostram a situação ocupacional das mães e dos pais dos

bolsistas no mercado de trabalho. O percentual de mães ativas é de 40%, sendo que apenas

8% trabalham em atividades formalizadas. Como se observa na tabela 4, as mães inativas

são em grande maioria donas de casa. A taxa de desemprego das mães mostra-se altíssima

(46%), atingindo percentual maior do que o dobro do desemprego registrado para os

cônjuges ou os pais (20%). Este perfil mostra quão difícil é para essas mulheres ter um

emprego ou mesmo uma ocupação, inclusive informal. O direito ao trabalho lhes é

praticamente negado.

De acordo com a tabela 5, quase 70% dos cônjuges (ou pais) são ativos, muito

embora apenas uma parcela muito pequena (16%) esteja no mercado formal de trabalho. O

percentual de cônjuges inativos é baixo (6%), enquanto a taxa de desemprego observada

para esse grupo quase integralmente masculino é de 20%, igualmente alta.

A leitura das duas tabelas em conjunto sugere que as oportunidades de acesso ao

mercado de trabalho por parte das famílias beneficiadas, sobretudo a um emprego formal,

são extremamente reduzidas.

Quantos e quem são as crianças e adolescentes que vivem nessas famílias? São

em número de 4.813, somando-se todas as faixas etárias. Para apresentá-los, vamos por ora

nos limitar a um indicador, de modo a fornecer pelo menos um traço básico de como são

afetados pela extrema precariedade em que vivem. Esse indicador diz respeito ao atraso

escolar e pode ser visualizado na distribuição das 2.99018 crianças em idade escolar ao longo

das oito séries que constituem o ensino fundamental.

O gráfico 2 mostra a distribuição das crianças pertencentes às famílias-alvo do

Programa, segundo a série em que estão matriculadas. Na faixa de 7 a 10 anos de idade, há

uma tendência à adequação idade-série: mesmo apresentando algum atraso, diminui o

número de crianças na 1ª série e aumenta gradativamente nas séries seguintes. A partir de

11 anos, a situação se agrava pois vai se reduzindo o percentual de alunos na série "correta":

assim, apenas 10% das crianças com 11 anos estão na 5ª série, 7% das de 12 na 6ª, até

chegar nos 3% das de 14 anos na 8ª série. O quadro é dramático, mesmo se somarmos as

crianças na série imediatamente anterior:

� 11 anos ¾ 31% na 4ª e 5ª séries




Estes números revelam como a escola vai progressivamente provocando a

exclusão social: as crianças pobres vão sendo retardadas através da intensificação do atraso

escolar e, mais tarde, provavelmente, abandonam a escola. Esse indicador mostra a

gravidade do problema no que tange à escolaridade das crianças oriundas de famílias que

vivem em situação de grave privação. Como indica o Gráfico 2, apenas parcela ínfima dos

jovens de 14 e 15 anos concluiu o ensino fundamental, isto é, 3% e 2%, respectivamente.

Como se pode verificar, o quadro de miséria da população-alvo do Programa é

crítico, o que sugere quão difícil será revertê-lo de forma definitiva. Sabemos, a priori, que um

programa com esse desenho não tem chances reais de vencer os limites impostos pela lógica

de reprodução da pobreza. Cabe, no entanto, estimar seus impactos. Dois deles nos

interessam prioritariamente: qual o efeito da Bolsa na mobilização das famílias e da escola

em prol da escolarização das crianças? Qual a incidência da Bolsa na redução do grau de

pobreza dessas famílias?

OS IMPACTOS EDUCACIONAIS E SOCIAIS: PRIMEIRAS EVIDÊNCIAS

Critérios para a Focalização Geográfica e Seleção dos Alunos

A avaliação dos impactos educacionais do Programa Bolsa-Escola da Prefeitura da

Cidade do Recife é feita em três eixos principais de análise: no plano das famílias,

examinando em que medida a participação no Programa altera a relação do grupo familiar

com a escola; no âmbito do desempenho objetivo, quando se examina o possível diferencial

de aprendizado favorável aos alunos que fazem parte do Bolsa-Escola; na esfera da escola,

onde se examina qual o tipo de contribuição que esta instituição pode dar para um programa

com os objetivos do Bolsa-Escola. Para isto, são analisadas as condições institucionais de

implementação do Programa e a natureza das relações que se estabelecem entre a direção

do mesmo, o sistema escolar e as crianças participantes.

Podemos iniciar a análise das condições institucionais pela discussão do que podemos

chamar, na falta de termo melhor, da questão da "escola como um valor" na definição do

Programa. Como outras propostas políticas semelhantes, o Bolsa-Escola do Recife é orientado

por uma concepção de cidadania que inclui a escola como um direito fundamental. E, mais que

isso, incorporando conhecimentos produzidos na área, procura assegurar, mais que o acesso,19 a

permanência das crianças na escola. A associação entre o recebimento do pagamento e a

freqüência à escola é, por si só, um avanço que deve ser reconhecido.

É importante notar também que um dos elementos que foram usados para justificar

a necessidade do Programa foi a informação sobre as elevadíssimas taxas de repetência e

evasão nas redes escolares públicas do Recife, fato bastante comum entre as camadas mais

pobres da população brasileira, já constatado nos estudos pioneiros de Sérgio Costa Ribeiro

e Rubem Klein sobre os fluxos escolares. Assim, o principal objetivo do Programa é "propiciar

a admissão e permanência, na escola municipal, de crianças de 7 a 14 anos de idade,

oriundas de famílias em condições de carência material e precária situação social e familiar"

(Prefeitura da Cidade do Recife, 1999:4).

Os índices de repetência e evasão foram utilizados como critério para definir a

Região Político-Administrativa ¾ RPA 1 como área a partir da qual se iniciaria a implantação

do Programa Bolsa-Escola em Recife, em setembro de 1997. Nesta RPA, verificavam-se, até

1997, os maiores índices de repetência e evasão da capital pernambucana. Os dados da

Tabela 6 oferecem um panorama geral dessas taxas bem como sua evolução nos anos

anteriores ao início do Programa.

Como se pode verificar, há uma tendência (leve) à redução da evasão e uma outra,

esta bem mais acentuada, à intensificação da repetência. São tendências comuns ao sistema

municipal de ensino no Recife. No entanto, merecem ser destacadas porque podemos

encontrar nos dados de 1998 uma pequena mudança que poderia ser vista como um primeiro

resultado positivo da implantação do Bolsa-Escola a partir da RPA1: esta perdeu seu lugar de

campeã dos indicadores de baixo desempenho escolar. Em 1998, embora permaneça a

tendência de redução da evasão, reverte-se aquela relativa à repetência. Em todas as RPAs

há uma diminuição nas taxas de reprovação. O indicador que pode significar um impacto

diferencial do Programa Bolsa-Escola no plano escolar é que a redução da taxa de repetência

na RPA1 foi mais significativa que nas outras regiões administrativas, assumindo o segundo

lugar no ranking dos piores desempenhos. No que diz respeito à evasão, a RPA1 passou a

ser a terceira colocada (tabela 7).

Evidentemente, a mudança de tendência das taxas de repetência não pode ser

atribuída tão-somente ao Bolsa-Escola, sendo, com muita probabilidade, resultado de

políticas específicas desenvolvidas na rede municipal, como vem acontecendo em outros

estados e municípios brasileiros. Mas o fato de a situação da RPA escolhida como foco inicial

do Programa ter se alterado de forma mais expressiva pode ser um indicador dos efeitos

positivos desse Programa. Para a confirmação deste fato como uma tendência deveríamos

examinar os números relativos a 1999 que, no entanto, não foram ainda disponibilizados pela

Secretaria de Educação. Mais importante que esses indicadores de tendência do sistema de

ensino, que podem incluir uma diversidade muito ampla de fatores causais, será a análise do

desempenho dos alunos, pois permitirá controlar as variáveis classicamente associadas ao

desempenho escolar e, assim, avaliar de maneira mais precisa os impactos efetivos do

Bolsa-Escola no plano propriamente educativo.

A escolha de critérios escolares para a focalização geográfica do Programa mantém-

se em processo de expansão, com a priorização das RPAs 2, 5 e, finalmente, 4, que apresen-

tavam piores indicadores (ver tabela 7) escolares do que a RP1, exatamente nesta ordem.

Se considerarmos o conhecimento disponível sobre as taxas de evasão e repetência –

que permite associar os níveis elevados desses indicadores com situações mais precárias do

ponto de vista socioeconômico ¾ , deve-se assinalar o acerto da escolha desse índice como fator

de decisão. Escolhendo áreas urbanas com maiores proporções de alunos repetentes ou

evadidos, os responsáveis pelo Bolsa-Escola delimitaram provavelmente os espaços socialmente

mais carentes. Isto poderá ser comprovado com os estudos sobre o índice de desenvolvimento

humano que vêm sendo elaborados na Secretaria de Planejamento da Prefeitura.

Podemos dizer também que esse procedimento coloca a escola como instituição

central na implementação do Programa. No entanto, surge aqui um problema relativamente

importante: apesar dessa centralidade, o desempenho escolar é um critério apenas

legitimador da política. Isto é, os maus resultados dos alunos justificam a concessão da

bolsa,20 mas não se exige nenhum tipo de acompanhamento do aprendizado das crianças a

partir do momento em que se tornam bolsistas. Mesmo que o desempenho não se

transformasse em critério para a manutenção da Bolsa ¾ e concordamos com esse princípio,

uma vez que as técnicas de avaliação do aprendizado ainda são objeto de muitas dúvidas ¾

é possível imaginar que uma verificação mais estrita dos padrões de desempenho tivesse

resultados positivos tanto da parte dos alunos quanto dos professores, e da escola como um

todo. E este tipo de trabalho poderia significar uma efetiva centralidade da escola no

Programa. O monitoramento do desempenho dos bolsistas não deve ter papel coercitivo nem

sancionador, mas servir para acompanhar a qualidade da oferta do serviço que está sendo

dado a crianças que devem beneficiar-se de um atendimento preferencial que lhes permita

recuperar o atraso acumulado.

Outro ponto importante nesse eixo analítico seria a relação entre o Programa e as

escolas. A lei que cria o Bolsa-Escola estabelece que o Programa visa facilitar o acesso e a

permanência das crianças e adolescentes carentes na escola. Já o folheto explicativo elaborado

pela Prefeitura se refere à manutenção desses estudantes na rede municipal de ensino. A quase

totalidade dos alunos bolsistas encontra-se nesta rede, sendo poucos os casos de alunos ¾ em

séries mais adiantadas ¾ na rede estadual. Pode-se explicar isto por uma certa divisão de

trabalho entre as duas redes, a ser verificada na distribuição de matrículas.

A própria lei estabelece também que a Secretaria Municipal de Educação definirá as

normas para a rede municipal, especialmente no que diz respeito à apuração de freqüência dos

alunos. Ao corpo docente e à direção de cada escola caberá "estimular a permanência dos

alunos na sala de aula para manter o vínculo do aluno com o processo educativo."

Dentro da rede municipal, o primeiro critério de seleção foi, entretanto, conforme

mencionado, o conjunto de indicadores escolares. Não ficam definidos, a partir daí, os

critérios institucionais para que uma escola ou outra passe a ser incluída no Programa.

Aparentemente, toda a rede municipal estaria habilitada e/ou constrangida a participar. Mas

na expansão do Programa e mesmo no seu início, não se estabeleceram critérios

institucionais ¾ como o tamanho da escola, as taxas de repetência, a disponibilidade de um

serviço de orientação educacional etc. ¾ que permitissem assinalar a direção do trabalho.

Ainda assim, podemos fazer um quadro das escolas participantes do Programa, inferindo

talvez alguns desses critérios a partir das características das escolas.

Cabe esclarecer que, para a realização da avaliação educacional, fizemos uma

amostra com treze das 23 escolas participantes do Programa. Trata-se de uma amostra

intencional, que permitiu representar as propostas dos dirigentes do Programa bem como o

conjunto de situações sociais relativamente diversas do público dessas escolas. Assim, as

informações que apresentamos no quadro 1 foram recolhidas nos questionários21 respondidos

por diretores e professores dessas treze escolas da amostra.

Das escolas da amostra pode-se obter informações suplementares para

caracterizar a natureza da relação estabelecida entre estas instituições e a coordenação do

Programa, e, por outro lado, deduzir a visão das primeiras sobre os alunos do Bolsa-Escola.

Deve-se destacar que domina uma perspectiva positiva por parte da direção das escolas e

dos professores. O Programa Bolsa-Escola é visto por ambos como um apoio, na medida em

que incentiva a permanência dos alunos na sala de aula, aumenta a participação dos pais e o

interesse pela escola, conscientiza a família da necessidade da mesma, melhora o

comportamento das crianças e pode representar uma ajuda financeira.

No quadro 2, sintetizamos as respostas apresentadas pelas diretoras a respeito

das dificuldades encontradas pela escola na implementação do Programa. Deve-se

esclarecer que todas as diretoras afirmaram que os problemas não são relacionados

especificamente ao Bolsa-Escola, mas dizem respeito à situação enfrentada quotidianamente

por essas profissionais.22

Uma resposta destaca-se das demais: a falta de interesse dos alunos foi a opção

mencionada mais vezes. Em seguida aparecem os baixos salários dos professores e a baixa

participação dos pais. É interessante notar que questões propriamente pedagógicas surgem

muito pouco como fatores que possam dificultar a implementação do Bolsa-Escola: a falta de

assistência pedagógica da Secretaria e a distância entre as definições dos parâmetros

curriculares nacionais e a realidade dos estudantes são citadas apenas em três casos. Deve-

se destacar que foi especificamente perguntado se a falta de qualificação ou de

conhecimento de métodos apropriados pelos professores poderia criar problemas para um

programa como o Bolsa-Escola e a resposta ¾ unânime ¾ foi não.

Esse padrão de respostas ¾ falta ainda tratar do caso dos professores ¾ sugere uma

perspectiva que já foi dominante entre os analistas da educação, mas que começa a perder

espaço: a de que os problemas nessa área sempre encontram explicação nos fatores sociais,

estando a escola incapacitada ou impossibilitada de qualquer intervenção frutífera no

funcionamento da vida social, seja por ter funções apenas reprodutivas, seja por ser

absolutamente incompetente (ou quase). Esta visão aparece tanto quando se estabelece a falta

de interesse dos alunos como problema mais relevante quanto ao se excluir a dimensão

didático/pedagógica do foco de atenção dos problemas escolares. Ou seja, sob este ângulo se

afirma sempre que os problemas da escola são sociais e nada têm de propriamente escolares.

Esta interpretação, no entanto, não parece ser compartilhada pelos professores, ou, pelo menos,

por alguns deles. Argüidos sobre as mudanças em seu trabalho causadas pela introdução dos

alunos bolsistas, vinte dentre 26 professores responderam que houve um incremento da

participação dos alunos em sala de aula. Por mais que isto possa corresponder, digamos, à

resposta esperada (ou mesmo "politicamente correta"), deve-se mencionar que outras respostas

além desta tornam evidente que os problemas metodológicos são colocados em pauta no

trabalho didático quando essas crianças entram em sala. Os professores mencionam a exigência

de um trabalho mais coletivo entre eles mesmos, a reorganização dos tempos de ensino,

mudanças na forma de avaliação dos alunos e na orientação pedagógica adotada. E se os

professores têm também uma percepção positiva do Programa ¾ que quase unanimemente

consideram válido ¾ , não deixam de notar que ele implica maior complexidade de suas tarefas e

maiores exigências de trabalho.

Seria importante ressaltar que se as diretoras percebem o avanço nas condições

sociais de escolarização propiciado pelo Bolsa-Escola ¾ visto pelo aumento do interesse na

escola gerado pelo Programa ¾ , os professores destacam os resultados positivos em termos

pedagógicos, ou seja, há uma tendência forte entre eles de perceber a melhoria do desempenho

escolar dos bolsistas como um ganho substantivo proporcionado pelo Programa.

As diferenças de pontos de vista entre diretoras e professores aqui apresentadas

não visam destacar conflitos ¾ na verdade, são duas perspectivas que tendem a ser

complementares e ambas são resultantes de diferentes formas de inserção no trabalho

escolar. Mas elas estão aqui porque vale insistir sobre um ponto que diz respeito à

concepção do Bolsa-Escola e aos vínculos entre cidadania e escola. Em um certo sentido,

professores e diretores concordam que o Bolsa-Escola oferece a possibilidade de reduzir, ou

mesmo eliminar, o atraso escolar existente entre os alunos mais pobres. A opinião dos

professores alerta-nos sobre uma dimensão que é, provavelmente, o elemento organizador

fundamental das modernas políticas sociais, a saber, a possibilidade de reduzir as

desigualdades sociais, no caso em pauta, através da escolaridade. E por que a opinião dos

professores faz esse alerta? Porque coloca em discussão o efeito que as práticas

pedagógicas podem ter sobre públicos diversos de alunos.

Uma grande mudança nas perspectivas de análise da educação, ocorrida nos anos

90, foi o deslocamento das relações de causalidade. Se as condições socioeconômicas e

culturais das famílias permanecem tendo influência considerável sobre o desempenho

escolar, ficou comprovada igualmente a existência do que os franceses chamam "efeito

estabelecimento" (Cousin, 1998). Com esse novo foco de pesquisa, é possível demonstrar

que a qualidade das escolas tem efeitos importantes sobre o desempenho dos alunos.

Apesar da obviedade desta afirmação, deve-se ir ao seu corolário: nas boas escolas, o

desempenho dos alunos mais pobres fica próximo daquele dos seus colegas menos

desfavorecidos socialmente (Barbosa, 2000). Ou seja, os modos de funcionamento das

escolas podem ¾ ou não ¾ permitir que se reduzam os efeitos negativos da situação

socioeconômica das famílias, fazendo com que a socialização escolar supra, pelo menos em

parte, as deficiências da família, e garanta a todos os estudantes a possibilidade de ser

contemporâneo do seu tempo (como quer Pierre Bourdieu, 1987), ou ser verdadeiramente um

agente social (Archer, 1996), ou, ainda, cidadão.

Esta é a razão mais forte da insistência sobre a necessidade de um acompanhamento

bastante próximo do trabalho realizado nas escolas, com todas as crianças, sobretudo as

bolsistas. Este pode traduzir-se em uma intensificação da assistência pedagógica dada pela

Secretaria de Educação, aumento de especialistas disponíveis e ampliação do treinamento dos

professores. São todos investimentos propriamente escolares que permitiriam aumentar o grau

de efetividade de algumas políticas de combate às desigualdades sociais.

Análises acerca do impacto do Programa no desempenho escolar das crianças

bolsistas, do efeito "estabelecimento" na redução do diferencial acumulado de desempenho entre

alunos bolsistas e não-bolsistas e outras estimativas de impacto serão objeto das próximas

etapas da pesquisa em curso, uma vez que o trabalho de campo ainda não foi concluído.

Impacto na Redução da Pobreza

Antes de estimar o impacto da transferência de renda na redução da pobreza das

famílias beneficiárias do Programa Bolsa-Escola do Recife, vale relembrar que um dos

critérios de habilitação é apresentar renda familiar per capita inferior a 1/3 do salário mínimo

vigente (R$ 45,00 ou US$ 24 em abril de 2000). Por outro lado, a Prefeitura do Recife

estipulou dois valores diferenciados de benefícios, em função do número de dependentes.

Para aquelas famílias com um dependente apenas, o benefício corresponde a meio salário

mínimo (R$ 68,00 ou US$ 37), enquanto para as demais, com mais de um filho e/ou

dependente, o benefício eleva-se para um salário mínimo (R$ 136,00 ou US$ 73).

Para medir o impacto propriamente dito do benefício na redução da pobreza,

construímos, com base no cadastro mencionado, a distribuição das famílias segundo a renda

familiar per capita antes e depois da imputação do benefício. Conforme se observa no gráfico 3,

antes de receber o benefício a quase totalidade das famílias apresentava renda per capita inferior

a 1/3 do salário mínimo23 (curva vermelha), apenas 5% situando-se acima deste valor. Após

imputação do benefício (curva azul), a distribuição das famílias muda, mas o impacto na redução

da pobreza mostra-se bem menor do que se poderia esperar, apesar de a renda per capita média

dessas famílias ter-se multiplicado duas vezes e meia, passando de R$ 17,00 (ou US$ 9) para

R$ 43,75 (ou US$ 23). É verdade que o aumento na renda familiar per capita leva, na média, as

famílias beneficiárias para o nível da linha de pobreza adotada localmente (R$ 40,00 ou US$ 24).

Ainda assim, constata-se que, após a transferência do benefício, 40% das famílias mantêm-se

abaixo do patamar mínimo instituído como linha de indigência do Recife.

Com relação à linha correspondente ao valor de meio salário mínimo (R$ 60,00 ou

US$ 36), observamos que somente 20% das famílias conseguem ultrapassá-la depois de

receber o benefício, muito embora transpareça uma redução significativa da distância entre a

renda destas famílias e esta linha (a intensidade da pobreza diminui).

A conclusão que não se pode evitar é que o benefício, cujo valor é, do ponto de

vista relativo, elevado (meio ou um salário mínimo nacional), considerando-se o nível de

renda extremamente baixo dessas famílias, não é suficiente o bastante, entretanto, para

dirimir o grau de indigência a que está submetido o público-alvo do Programa do Recife.

Praticamente, metade das 1.600 famílias continua vivendo em situação de miséria. Isto

levanta a questão não apenas do valor do benefício necessário para que uma política de

transferência de renda seja verdadeiramente eficaz no combate à pobreza e à exclusão

social, como determina que seja investigado o conjunto das demais transferências sociais,

feitas através da provisão de serviços básicos a essa população, para estimar em que

medida contribuem ou não para aliviar esse quadro de absoluta insegurança socioeconômica.

Provavelmente, se o valor do benefício fosse único para todas as famílias beneficiárias,

equivalente ao salário mínimo (R$ 136,00 ou US$ 73), o impacto positivo seria bem maior.

Por outro lado, aumentar o benefício para um valor acima do salário mínimo nacional pode

engendrar distorções no mercado de trabalho que seriam prejudiciais no médio e longo

prazos. Da mesma maneira, esse valor sugere que qualquer melhoria no desempenho

escolar dos bolsistas dificilmente será efeito direto do impacto da transferência monetária,

uma vez que as condições materiais de vida dessas famílias se modificam, mas ainda muito

aquém de um padrão básico de dignidade. Melhorias existem e não são marginais. O desafio,

entretanto, está em conjugar graus tão acentuados de privação social com a escassez

relativa de recursos públicos.

BREVES CONCLUSÕES

O presente artigo apresenta os resultados preliminares da pesquisa em andamento

para avaliação do impacto do Programa Bolsa-Escola do Recife. Não há dúvida de que a

possibilidade de avaliar um programa social em profundidade constitui-se, por si só, uma

novidade ¾ e das mais promissoras ¾ em um país onde transparência e monitoramento das

políticas públicas são práticas ainda excepcionais e não a regra. O governo municipal do Recife

tem, assim, o grande mérito de colocar em debate, sem restrições e com coragem, o desafio de

fazer política social focalizada no combate à pobreza de curto prazo e intergeracional, em uma

cidade onde a incidência da pobreza é elevada (cerca de 30% da população), bem como

acentuada sua intensidade (Lavinas, 1999). Esses dois parâmetros aumentam evidentemente a

probabilidade de se ter cobertura insuficiente do público-alvo e redução aquém do esperado do

gap de pobreza. Nem por isso o impacto do Programa pode ser minimizado.

De fato, há duas evidências empíricas neste trabalho: 1) existe um déficit

significativo de cobertura, pois apenas um número diminuto de famílias em situação de

extrema carência é beneficiado pelo Programa (menos de 2%), o que mostra oportunidades

de acesso desiguais entre pobres a programas sociais de maior eficácia; e 2) não se verifica

a superação da condição de indigência para a grande maioria das famílias beneficiadas.

Entretanto, observa-se que houve uma focalização adequada, uma vez que as

famílias beneficiárias foram selecionadas dentre as que vivem em situação de extrema

pobreza e privação, bem como os bolsistas são aquelas crianças que registram níveis

inferiores de desempenho escolar. Logo, pode-se afirmar que apesar das sérias restrições de

cobertura, aqueles que são contemplados pela bolsa-escola são, sem sombra de dúvida, os

mais necessitados dentre os grupos sociais excluídos.

A partir da compreensão do significado de tal política é importante enfatizar a

dimensão educacional do Programa. Percebida por muito tempo como um mero instrumento

de reprodução social, a Escola atualmente é vista como um fator crucial na luta contra as

desigualdades sociais. Desta perspectiva, podemos acrescentar que as professoras e

diretoras do Recife avaliam que o Bolsa-Escola aumentou a participação e o interesse dos

pais na escolarização de seus filhos ¾ este também seria um indicador do sucesso do

Programa. A literatura sociológica demonstra claramente que o envolvimento dos pais no

processo educacional seria uma das mais importantes condições do bom desempenho

escolar. Não se pretende negar a influência de fatores sociais e econômicos. É bastante

disseminada a idéia de que a pobreza está associada à menor escolaridade. Isto pode ser

visto, por exemplo, na idade mais elevada que as crianças mais pobres apresentam em uma

série específica ou nos seus fracos desempenhos escolares. No caso da nossa amostra,

encontramos uma menina de 15 anos que obteve apenas 2,5 pontos (de um total de 10) em

uma prova preparada para crianças de terceira série (cuja idade ideal seria 9 anos). O fato de

os alunos bolsistas terem um desempenho inferior ao de seus colegas confirma o que foi dito

acima e atesta o acerto da focalização do Bolsa-Escola, que teria incluído exatamente a

população com maior carência, social e escolar.

Além disso, os dados nos mostram também que algumas escolas possuem melhores

métodos para lidar com crianças oriundas de meios muito pobres. Não foi possível ainda

investigar as condições sociais que fazem diferença, mas já temos alguma evidência disso: em

algumas escolas, os estudantes bolsistas se saíram melhor que seus colegas. O espectro das

possibilidades institucionais é muito amplo, abrangendo desde o treinamento dos professores até

as formas de gerenciamento das escolas. Este é um ponto que deve ser tratado com muita

atenção no caso das políticas distributivas: a escola precisa ser objeto de mais atenção. Isto

porque não é qualquer escola que faz a diferença. Só algumas conseguem realmente melhorar,

de forma expressiva, o desempenho de crianças socialmente desfavorecidas, reduzindo o hiato

de aprendizado decorrente do background socioeconômico das famílias.

Entretanto, a garantia de rendimento permanece como o primeiro passo para a

superação da pobreza. É importante enfatizar que se as escolas podem reduzir no médio e

longo prazos o impacto das condições sociais dos alunos mais pobres sobre o seu

desempenho educacional, elas só podem ser vistas como parte ¾ essencial, mas não

suficiente ¾ de um esforço mais amplo de combate à pobreza. Nesse sentido é que se pode

afirmar a relevância da garantia do rendimento, base primeira para se assegurar, inclusive, a

possibilidade de permanência e aproveitamento adequados da experiência escolar.

(Recebido para publicação em agosto de 2000)

NOTAS

1 Como Porto Alegre/RS, Santo André/SP e Belo Horizonte/MG.2 Para conversão dos valores em US$, os valores em reais correntes foram atualizados até

dezembro de 1999, segundo o INPC-IBGE, e depois divididos pela média da taxa decâmbio desse mesmo mês (1,8420). Este procedimento foi utilizado para todos os valoresem R$ mencionados neste artigo.

3 A PNAD é realizada anualmente pelo Instituto Brasileiro de Geografia e Estatística ¾ IBGE,junto a 20 mil domicílios (amostra nacional).

4 Vale registrar que o primeiro programa de garantia de renda mínima surge emCampinas/SP, em 1994.

5 Eleito em 1994 pelo Partido dos Trabalhadores como governador de Brasília.6 Esse elevado grau de cobertura se deve ao fato de os critérios de elegibilidade no

Programa terem excluído as famílias residentes no D.F. por prazo inferior a cinco anos, demodo a evitar "a importação da pobreza" de municípios limítrofes.

7 O Brasil soma cerca de 5.800 municípios.8 O PETI é um programa coordenado pela Secretaria de Ação Social do governo federal.9 Único lugar no país onde houve algum nível de avaliação dos impactos do Programa Bolsa-

Escola.10 Recife é capital de um dos nove estados que compõem a região Nordeste, que se destaca

por liderar o ranking dos índices de bem-estar mais desfavoráveis do país.11 O valor do salário mínimo em 1997 (R$ 120,00) corresponde a, aproximadamente, US$ 73

de dezembro de 1999.12 Contudo, não são feitos pagamentos retroativos referentes ao período em que a criança

não compareceu à escola pelo tempo mínimo exigido.13 Via de regra 1% ou, no máximo, 2% da receita orçamentária.14 Embora o número de famílias beneficiárias esteja em torno de 1.600, só foi possível

trabalhar com um subuniverso de 1.515 famílias devido a dificuldades operacionais dobanco de dados.

15 O tempo 0 corresponde ao período entre 1997 e 1999.16 Ver nota 20.17 Foram excluídas desta média 75 famílias que apresentaram renda familiar per capita

superior à linha de R$ 40,00. Supomos assim um erro de cerca de 5% na seleção dasfamílias, valor que nos parece bastante aceitável.

18 Optamos por incluir também as crianças com 15 anos para captar aquelas quecompletaram esta idade no ano do cadastramento de suas respectivas famílias. Logo, ototal de 2.990 crianças cobre aquelas na faixa etária 7-16 anos, membros das famíliasbeneficiárias.

19 No Brasil, o problema de acesso e cobertura da demanda vem sendo satisfatoriamenteatendido, notadamente nos anos recentes. Segundo o Ministério da Educação, a taxa decobertura do ensino fundamental era, em 1999, de 96%.

20 Do ponto de vista da justiça social, é fácil atestar a correção da proposta. No interior daescola as coisas são um pouco mais complicadas: há o caso de professores queconsideram este um critério tremendamente injusto por "premiar" os maus alunos.

21 Entrevistamos em treze das 23 escolas onde o Programa Bolsa-Escola é atuante, diretorase as professoras da terceira série do ensino fundamental.

22 As respostas foram dadas em relação às seguintes questões: Q17 ¾ Quais são osobstáculos ou dificuldades que esta escola encontraria na área pedagógica para lidar comas crianças do Bolsa-Escola?(1) As dificuldades são as mesmas que já enfrentava?(2) Insuficiência de especialistas na escola?(3) Deficiência de material didático?(4) Baixa remuneração dos professores?(5) Baixa qualificação dos professores (formação e treinamento)?(6) Pouca motivação dos professores?(7) Pouca participação dos pais?(8) Dificuldade na relação entre os professores?(9) Excessiva rotatividade dos professores?(10) Falta de interesse dos alunos pelo estudo?(11) Pouca assiduidade dos alunos?(12) Parâmetros Curriculares Nacionais desligados da vivência dos alunos?(13) Falta de assistência pedagógica da Secretaria Municipal?(14) Falta de conhecimento, por parte dos professores, de métodos pedagógicos maisadequados?(15) Dificuldades na relação com o Colegiado ou Conselho?(16) Outros. Especificar: ________________________.

23 Utilizamos como referência o valor do salário mínimo de 1997 (R$ 120,00).

REFERÊNCIAS BIBLIOGRÁFICAS

ARCHER, Margareth. (1996) Culture and agency: the place of agency in social theory. Cambridge:Cambridge University Press.

BARBOSA, Maria Ligia de Oliveira. (2000). Desempenho escolar e desigualdades sociais:resultados preliminares de pesquisa. Preal Debates, n.6.

BOURDIEU, Pierre. (1987). A economia das trocas simbólicas. São Paulo: Perspectiva.

COUSIN, Olivier. (1998). L’éfficacité des collèges: sociologie de l’effet établissement. Paris: PUF.

LAVINAS, Lena. (1998). O Barato da Pobreza. Revista Insight/Inteligência, ano 1, n.4, p. 40-46.

_____. (1999). Combinando compensatório e redistributivo: o desafio das políticas sociais no Brasil.Trabalho apresentado no XXIII Encontro Anual da Anpocs, Caxambu, MG, 19-23 de outubro.

_____. (2000). The appeal of minimum income programs in Latin America. Programme for BellagioMeeting on Socio Economic Security ¾ ILO, Bellagio, 6-10 de março.

_____; BARBOSA, Maria Ligia. (2000). Avaliação de dois programas bolsa-escola – Belo Horizonte eRecife. I Relatório Parcial de Pesquisa Convênio OIT- Banco Mundial. Rio de Janeiro: ANPEC.

LAVINAS, L. et al. (2000). Combining compensatory and redistributive benefits: the challenge ofsocial policies in Brazil. Rio de Janeiro: IPEA.

PREFEITURA da Cidade do Recife. (1999). Programa Bolsa-Escola. Recife: Secretaria de Educação,dezembro (mimeo).

ABSTRACT

Fighting Poverty by Encouraging School Attendance: A Case Study of the Scholarship

Program in Recife. The purpose of this article is to present the initial results of an impact study

on a scholarship program implemented since 1997 in Recife, capital of the State of

Pernambuco in Northeast Brazil. The scholarship program is designed to guarantee a

minimum income for poor families by providing a monetary stipend that is contingent on

school attendance by the family’s children in the 7-14-year age bracket, in basic education (8

years of schooling). In addition to reducing poverty in the short term by increasing per capita

family income and focusing social expenditures in the most under-served segments of the

population, the scholarship program has proven to be an effective tool in combating repetition

in school, the main factor in Brazil’s high drop-out rates. The program also helps families and

schools mobilize to increase schooling levels among children and has a positive impact by

reducing the schooling gap.

Keywords: poverty; scholarship program; income transfer; social policy.

RÉSUMÉ

Lutter contre la Pauvreté en Faisant Remonter la Fréquentation Scolaire: L’Étude du Cas du

Programme Bourse-École à Recife. Cet article a pour but de présenter les premiers bilans

d’évaluation du Programme Bourse-École à Recife, mis en place dans cette capitale du

Nordeste brésilien depuis 1997. Les modalités de ce Programme garantissent un revenu

minimum aux familles pauvres, par le versement d’une allocation dont la contrepartie est

l’obligation pour leurs enfants de 7 à 14 ans de fréquenter l’école d’enseignement de base. Ce

Programme Bourse-École non seulement réduit dans l’immédiat la pauvreté des familles en

élevant le revenu par habitant et acheminant les dépenses sociales vers les couches les plus

défavorisées de la population, mais aussi se révèle un instrument efficace contre l’échec

scolaire, responsable au Brésil du fort abandon scolaire. Il pousse la famille et l’école à

s’intéresser à la scolarité des enfants et concourt à la réduction des disparités scolaires.

Mots-clé: pauvreté; Programme Bourse-École; déplacement de revenu; politique sociale.

© 2006 Instituto Universitário de Pesquisas do Rio de JaneiroR. da Matriz, 8222260-100 Rio de Janeiro RJ BrazilTel.: +55 21 2537-8020Fax: +55 21 [email protected]

Documents

GOVERNO DO ESTADO DO PARANÁ SECRETARIA DE … · e/ou uma priorização dos aspectos mais técnicos ... a febre avaliatória ganha di- ... quisa avaliativa para o sucesso da reforma