JAN/JUN 2008 7

Resumo: O artigo apresenta um conjuntode tópicos considerados essenciais à efe-tivação de uma avaliação em profundidadede políticas públicas de caráter social. A pro-posta é motivada pela constatação da insu-ficiência dos modelos clássicos de análise eda necessidade cada vez mais premente dese realizarem pesquisas que considerem o con-texto social, econômico, político e cultural,bem como a importância da análise insti-tucional, das relações de poder, dos interes-ses e valores que permeiam os processos deformulação e implementação dessas políticas.Primeiramente, são apresentadas as princi-pais linhas teórico-metodológicas no campoda avaliação das políticas públicas, em nívelmundial e no Brasil; em seguida, apontam-seseus limites e, por fim, apresentam-se pro-posições para uma abordagem processual,multidimensional e interdisciplinar. Conclui-seque uma avaliação em profundidade precisadar conta de quatro dimensões analíticas:análise de conteúdo, de contexto e da traje-tória institucional de programas e políticas,bem como do espectro temporal e territorial.

Palavras-chave: políticas públicas, avalia-ção, metodologia.

Abstract: This article presents some essentialpoints that enable an accurate evaluation ofsocial public policies. Our research is motivatedby the widely understood inadequacies of theclassic models for the evaluation of public po-licies. It will address the urgent need toundertake research that takes into accountthe social, economic, political, and culturalcontext, as well as the importance ofinstitutional analysis, the relations of power,and the interests and values that permeatethe process of formulation and implementationof those policies. First of all we presented themain theoretical-methodological lines in publicpolicies evaluation, at world level and in Brazil;then we presented your limits, and finally somepropositions for a procedural approach, multidi-mensional and interdisciplinar. A conclusion isthat a depth evaluation needs to accomplishthree analytic dimensions: content, contextand institutional analysis of programs andpolitics, and both temporality and territoriality.

Keywords: public policies, evaluation, metho-dology.

Propostas para uma avaliação em profundidade de políticaspúblicas sociais

Proposed for a depth social public politics evaluation

Proposición para una evaluación en profundidad de políticaspúblicas sociales

Proposé pour une évaluation profond de politiques publiquessociaux

Lea Carvalho Rodrigues*

*Mestre em antropologia social e doutora em ciências sociais pela UNICAMP, atualmente é professora do De-partamento de Ciências Sociais da UFC (área de antropologia) e coordenadora do Mestrado em Avalia-ção de Políticas Públicas da mesma universidade. E-mail: lea@ufc.br

ARTIGOS INÉDITOS

8 JAN/JUN 2008

Uma vez que aproposta desteartigo é apresen-

tar pontos e elementos considerados funda-mentais para uma análise aprofundada de pro-gramas e projetos constitutivos de políticaspúblicas de caráter social, teremos que, pri-meiramente, compreender as principais linhasteórico-metodológicas que conformaram, aolongo do tempo, o campo da avaliação daspolíticas públicas em nível mundial.

Em seguida, iremos abordar a especificidadedo caso brasileiro quanto às tendências quetêm dominado o campo da avaliação de polí-ticas públicas, dada a sua posição específicano cenário mundial e a dependência das exi-gências das agências multilaterais no atendi-mento à avaliação dos programas por elasfinanciados.

Finalmente, o último tópico apresentará osquesitos considerados essenciais para umaavaliação mais aprofundada dessas políticas,o que, com certeza, apresentar-se-á comoum questionamento aos parâmetros utilizadospelas agências multilaterais, bem como à for-ma como, no campo acadêmico brasileiro, aca-ba-se por reproduzir, sem uma perspectiva crí-tica, esses modelos formulados a partir de pers-pectivas generalizantes, tidos como aplicáveisa qualquer país ou situação – majoritariamen-te assentados em paradigmas positivistas deanálise e com o predomínio dos referenciaiseconomicistas.

Perspectivas teóricas e

metodológicas de avaliação

em retrospectiva

Como bem observa Paula (2001), a cons-tituição de um campo acadêmico especial-mente voltado à avaliação das políticas pú-blicas é relativamente recente, mas em cons-tante crescimento mundial, em particular nosEstados Unidos e na Grã-Bretanha.

Na França, nos anos 1990, diz o autorque esta área cresceu consideravelmente naesfera governamental, quando foram formu-lados modelos de acompanhamento do de-sempenho de programas e o próprio Con-gresso Nacional passou a apreciar as de-

mandas para as políticas, tendo como basea definição de metodologias de avaliação, afim de aprovar políticas e programas sociais.Assim, tanto nos Estados Unidos como naFrança e Inglaterra, houve um crescimentoda área no campo governamental e tambémno campo científico. Surgiram associaçõesde avaliadores, definindo uma modalidade,uma subárea profissional científica chamadaAvaliação, dispondo de profissionais oriun-dos das mais diferentes áreas mas que es-tavam se especializando em avaliação, crian-do associações científicas, organizando even-tos científicos e lançando revistas científi-cas (Idem, op. cit.).

No Brasil, é apenas no final da década de1980 e início da década de 1990 que atemática da avaliação das políticas públicasintensifica-se, assumindo um papel de des-taque nas administrações públicas da Amé-rica Latina, no contexto da reforma do Es-tado, e direcionada a uma agenda neoliberal,sendo ainda reduzida a literatura sobre otema. Uma das mais recentes publicaçõesno Brasil, que vem a suprir uma lacuna naabordagem das metodologias clássicas deavaliação, é a obra de Holanda (2006) queapresenta uma visão geral e didática dosconceitos, fundamentos, metodologias e prá-ticas de avaliação de programas ex post,com ênfase nos programas e projetos de na-tureza social. Vale destacar, contudo, que arelevância dada ao tema a partir dos anos1990 deveu-se, principalmente, à situaçãode dependência do país frente às agênciasfinanciadoras internacionais, como o BancoInternacional para a Reconstrução e o De-senvolvimento – BIRD e Banco Interamericanode Desenvolvimento – BID, que passaram aexigir, com mais critério, a elaboração de sis-temas de monitoramento de avaliação dosprojetos por eles financiados. Neste contex-to, sobressaem-se a abordagem gerencia-lista1 e uma concepção instrumental da ava-liação, cuja função é medir, acompanhar e“avaliar” o êxito das reformas administrati-vas norteadas pelos princípios e valoresneoliberais (Farias, 2005:2). Como enfatizao autor, isto era esperado em razão do “ca-ráter eminentemente político do projeto de‘modernização’ do Estado vinculado à revo-lução gerencialista que se desejava implan-tar, no qual o monitoramento e a avaliação

Introdução

ARTIGOS INÉDITOS

JAN/JUN 2008 9

de políticas ocupam um papel de destaque”.As particularidades do caso brasileiro acimacitadas, certamente, têm direcionado a prá-tica da avaliação, bem como a reflexão in-telectual sobre a mesma, já que há clarosconstrangimentos colocados pelas agênciasmultilaterais. Como condição para a conces-são de financiamentos, elas traçam as es-tratégias para aplicação dos recursos e “as-sistência”, ou seja, constituem-se em parteatuante na definição da agenda político-eco-nômica e das prioridades no direcionamentodos recursos públicos, e, em conseqüência,da formulação de políticas, de seu acompa-nhamento e avaliação. A chamada “assis-tência” envolve desde a formulação de pro-jetos, avaliação de riscos e implementaçãodas políticas até a formulação de indicado-res (Stephanou, 2005). A importância da pro-posta aqui apresentada e seu caráter ino-vador frente às abordagens sobre metodo-logias de avaliação desenvolvidas nopaísficam mais claros se observarmos os cri-térios de avaliação colocados por essasagências multilaterais.

Stephanou (op. cit.), ao apresentar umaanálise das estratégias de avaliação do BIDe do BIRD, mostra que estas seguem os pa-drões tradicionais de avaliação. No entanto,sustentadas por concepções e modelos posi-tivistas [+], reduzem o conhecimento à aná-lise de dados coletados em formatos estan-dardizados, abordagens lineares, testes dehipóteses pela mensuração do objeto de es-tudo e, portanto, uma limitação da avalia-ção à percepção dos resultados frente aosobjetivos formulados (eficácia), relação me-tas-resultados, relação custos-benefícios(eficiência) e avaliação de impactos (efe-tividade em relação ao proposto/previsto).Como salienta Castro (1989), os limites co-locados por este tipo de avaliação apre-sentam-se, principalmente, no fato de queela se volta para efeitos esperados, muitasvezes desconsiderando ou minimizando o quealgumas abordagens denominam “efeitos nãoprevistos”, que são considerados, no maisdas vezes, como entraves a ser superados.Neste tipo de abordagem, portanto, há pou-co espaço para a crítica à própria políticadesde sua formulação e menos ainda aosprincípios nos quais ela se alicerça.

Para a avaliação do impacto de projetos

e programas sociais, por exemplo, o BancoMundial, em instrumentos de monitoramentoe avaliação e em palestras que organiza nospaíses que se utilizam de seus recursos paraa execução desses programas, tem sido en-fático quanto à exigência de utilização degrupo de controle para medir os resultados.O grupo de controle é utilizado como medidade comparação com a situação que se querestudar. Um dos exemplos citado pelo pró-prio banco2 refere-se à avaliação de impac-tos dos programas de microcrédito emBangladesh, quando as aldeias onde funcio-navam os microcréditos foram comparadasa aldeias idênticas onde inexistiam estes pro-gramas de crédito. Ocorre que os efeitos,muitas vezes, podem ser nefastos. No casobrasileiro, uma das sugestões dadas peloBanco Mundial para se medir o desempenhode tomadores de microcrédito em um pro-grama dessa natureza, implementado por umbanco de desenvolvimento da região Nor-deste, foi que se dividissem os tomadoresdos créditos em dois blocos, renovando, nomesmo período, os créditos do grupo A enão renovando os do grupo B. Ora, isto nãoé nem mais nem menos do que a lógica delaboratório aplicada a grupos humanos, quan-do, por exemplo, inoculam-se substâncias emcobaias para medir os resultados. Apenasque, no caso aludido, os efeitos dão-se deforma indireta, sendo os indivíduos afetadospela falta do crédito que esperavam reno-var. Esta visão está, portanto, sendo aquiquestionada, devido a seu caráter instru-mental e sua baixa capacidade de fornecerresultados de avaliação abrangentes e apro-fundados.

Do ponto de vista teórico-metodológico,os pesquisadores da área da avaliação depolíticas públicas, no âmbito internacional,tradicionalmente, voltaram-se mais para umaanálise de tomada de decisão ou de resulta-dos, bem como de conteúdos e gênese dedesenvolvimento das políticas (GAPI–UNICAMP,2002). Entretanto, ao longo do processo desedimentação da área acadêmica de estu-dos sobre políticas públicas, novas aborda-gens passaram a enfatizar a importância daanálise de contexto – social, econômico, polí-tico, cultural – e da análise organizacional –estrutura de funcionamento, dinâmica, rela-ções de poder, interesses e valores que

ARTIGOS INÉDITOS

10 JAN/JUN 2008

permeiam as instituições envolvidas na ela-boração e implementação de políticas – comobem demonstram Shadish et al. (1991) eBelloni et al. (2003).

A proposta de Chelimsky (1997), após umexame das experiências em avaliação de po-líticas públicas nas três últimas décadas doséculo XX, considera a avaliação um “em-preendimento eclético” que agrupa perspec-tivas e métodos diversos; comporta o de-senvolvimento de estudos prospectivos e re-trospectivos, o recurso a métodos quanti-tativos e qualitativos, o desenvolvimento dainterdisciplinaridade, a credibilidade (comocondição do conhecimento e da objetivida-de) e o fortalecimento das instituições.

Já o método interpretativo considera queo conhecimento produzido tem múltiplas di-mensões e é construído a partir de diferen-tes tipos de informações. Do ponto de vistaanalítico, busca a integração das diferentesdimensões contempladas, permitindo uma me-lhor apreensão do programa como um todo(Yanow, 2003, 2004). A natureza múltiplados modelos experienciais expõe os elemen-tos de integração e de articulação com aação (Lejano, 2006). Um modo possível deintegração dos dados é a triangulação, deforma que estes possam ser sobrepostos eevidenciarem-se pontos comuns sobre o fe-nômeno. Tal opção fornece muito mais pos-sibilidades de ação, uma vez que permitereflexões e modificações continuadas e umacompreensão muito mais ampla da dinâmicada política em processo (Lejano, 2006; Mark,Henry e Julnes, 2000).

Essa linha de abordagem interpretativavem ganhando relevância entre os estudio-sos do tema, sobretudo após a década de1990, e coloca uma série de questões sobrecomo os significados das políticas são co-municados e percebidos por diferentes audi-ências; sobre os diferentes tipos de conhe-cimento que orientam organizações na suaprática (Yanow, 2004), bem como sobre ocaráter dialógico da avaliação, entendidaesta sob uma perspectiva relacional (Greene,2001) e com espaços necessários de parti-cipação (Mark e Shotland, 2003), o que, evi-dentemente, remete à ordem dos valores ecoloca as análises qualitativas, a antropolo-gia em especial, em posição privilegiada.

Avaliação em profundidade:

propostas iniciais

Ainda que falar em avaliação em profundi-dade possa expressar, num sentido metafóri-co, a imersão em uma particularidade do cam-po de investigação, saliento que o sentidoaqui referido é o de abarcar a um só tempoas dimensões dadas tanto no sentido longi-tudinal – extensão no comprimento – comolatitudinal – extensão na largura, amplidão.Assim, desta perspectiva, quanto mais mer-gulhamos na situação estudada, mais amplia-mos o campo de investigação. Olhamos à fren-te e para os lados, acima e abaixo, porque acompreensão focada, direcionada, certamentea mais fácil, com certeza será sempre limita-da. Ou, mesmo, poderíamos correr o risco de,na busca de análises tão aprofundadas, per-dermos o contato com a superfície, numa alu-são à feliz observação de Geertz (1978:40)sobre a falácia de esforços na busca inces-sante por modelos inquestionáveis e verda-des absolutas.

Certamente não é esta a proposta aquifocada. A perspectiva aqui apresentada, aocontrário, é de cautela e mesmo ceticismoquanto aos modelos de análise que buscamavaliar políticas públicas tomando como ques-tões centrais, que orientam os instrumentosde coleta de dados, aquelas que dizem res-peito única e exclusivamente ao que foi o fiocondutor da formulação dessas políticas. Éainda mais cética em relação aos modelosuniversais, quando aplicados a contextos par-ticulares, com total desconsideração dasespecificidades atinentes a cada situação eaos locais sobre os quais incidem políticaspúblicas formuladas nos longínquos centrosde decisão, o que considero a ocorrência deum duplo distanciamento, cujo resultado sãofortes omissões e/ou deslizes analíticos.

Desta perspectiva, a proposta ora apre-sentada considera que as ciências sociais, aantropologia em particular, têm uma impor-tância especial para a área de estudos sobrepolíticas públicas, no que se refere seja àvisão crítica sobre a formulação e imple-mentação das políticas, seja ao fornecimen-to de instrumentais teórico-metodológicos

ARTIGOS INÉDITOS

JAN/JUN 2008 11

para a realização de estudos avaliativos so-bre essas políticas. As abordagens inter-pretativas da avaliação de políticas, por exem-plo, têm no método etnográfico um instru-mento privilegiado de análise (Greene, 2001;Lejano, 2006). Mas, é bom enfatizar, existemna antropologia um campo de discussões edivergências e uma vasta literatura sobre oestatuto da etnografia, sua abrangência ana-lítica, formas menos ou mais legítimas de apre-sentação dos resultados e as especificidadesda aplicação desse instrumental em situa-ções diversas daquelas que foram vivenciadaspelos antropólogos clássicos, o que, eviden-temente, não deve ser desconsiderado. Ouseja, as ciências sociais, ao entrarem nessedebate e nessa prática relativos à avaliaçãode políticas públicas, podem contribuir, nãoapenas com o fornecimento de instrumentaismetodológicos, mas também com a reflexãocontinuada sobre técnicas, conceitos eparadigmas de interpretação e análise que sedão no âmbito das disciplinas que compõemeste campo do conhecimento.

Concordando com a ênfase dos interpreta-tivistas no lócus empírico como fonte de co-nhecimentos a orientar os processos deimplementação de programas, bem como suaavaliação; na noção de processo comobalizadora de toda avaliação, em contra-posição à lógica linear presente nos modelospositivistas de análise; e na assertiva de queo conhecimento produzido tem múltiplas di-mensões, conclui-se, portanto, que o esfor-ço para desenvolver uma avaliação em pro-fundidade das políticas públicas deve ser em-preendido a partir de diferentes tipos de da-dos e informações: questionários em novose variados formatos; grupos focais que ino-vem em relação às propostas tradicionais;entrevistas de profundidade aliadas às ob-servações de campo; análise de conteúdodo material institucional com atenção ao su-porte conceitual e às formas discursivas neleexpressas3; abordagem cultural, com com-preensão dos sentidos formulados, em dife-rentes contextos, sobre um mesmo progra-ma; etc.

A partir destes pressupostos, considera-se ainda que, tomando como premissa quetoda proposta de avaliação está informadapor pressupostos e concepções sobre ciên-cia e sobre a prática científica, é importante

ter clara a definição de avaliação que acom-panha a pesquisa. As diferentes abordagenspodem ser agrupadas, basicamente, em duaspropostas distintas: uma que entende avalia-ção como “medida” e outra que privilegia osentido de avaliação como “compreensão”4.Identificar-se com uma ou outra concepçãofaz toda a diferença na condução da avalia-ção.

A proposta de uma avaliação em profundi-dade implica, ainda, considerá-la como exten-sa, detalhada, densa, ampla e multidimensional,o que, por si só, coloca a multi e a interdis-ciplinaridade como condição primeira da tare-fa de pesquisa.

A seguir, discriminam-se alguns tópicos aquiconsiderados essenciais para a efetivação deuma proposta de avaliação em profundidadede políticas públicas de caráter social, sendoimprescindível que os trabalhos estejam a cargode uma equipe multidisciplinar de pesquisa:

1. Análise de conteúdo do programa

com atenção a três aspectos:

formulação: objetivos, critérios, dinâ-

mica de implantação, acompanhamen-

to e avaliação;

bases conceituais: paradigmas orienta-

dores e as concepções e valores que

os informam, bem como os conceitos e

noções centrais que sustentam essas

políticas;

coerência interna: não-contradição en-

tre as bases conceituais que informam

o programa, a formulação de sua imple-

mentação e os itens priorizados para

seu acompanhamento, monitoramento

e avaliação.

Esses três aspectos dizem respeito à

análise do material institucional sob for-

ma de leis, portarias, documentos in-

ternos, projetos, relatórios, atas de reu-

niões, fichas de acompanhamento, da-

dos estatísticos e outros.

2. Análise de contexto da formulação

da política:

Levantamento de dados sobre o momen-

to político e as condições socioeconô-

micas em que foi formulada a política em

estudo, com atenção para a articulação

entre as instâncias local, regional, nacio-

nal internacional e transnacional.

ARTIGOS INÉDITOS

12 JAN/JUN 2008

Apreensão do modelo político, econô-

mico e social que sustentou a política

à época de sua formulação.

Levantamento de outras políticas e pro-

gramas correlacionados à política em

foco.

Atenção ao marco legal que ampara a

política, articulando-o ao contexto re-

ferido nos itens anteriores.

É importante observar que o conjunto deitens acima elencados demandará um levan-tamento de dados primários e secundários cujaextensão será ditada pelas especificidadescontextuais e históricas da própria políticaem foco e das políticas a ela relacionadas.

3. Trajetória institucional de um pro-

grama:

Esta dimensão analítica pretender dar

a perceber o grau de coerência/dis-

persão do programa ao longo do seu

trânsito pelas vias institucionais. Des-

ta perspectiva, um programa gestado

na esfera federal, para ser avaliado,

necessita a reconstituição de sua tra-

jetória5, percebendo o pesquisador as

mudanças nos sentidos dados aos ob-

jetivos do programa e à sua dinâmica

conforme vai adentrando espaços di-

ferenciados e, ao mesmo tempo, des-

cendo nas hierarquias institucionais até

chegar à base, que corresponde ao con-

tato direto entre agentes institucionais

e sujeitos receptores da política.

Para a apreensão da trajetória institu-

cional é fundamental a realização de

pesquisa de campo com a realização

de entrevistas com diferentes agentes

e representantes de instituições envol-

vidas na formulação e implementação

de uma mesma política. Ao recompor

esta trajetória, é importante que se

atente para os aspectos culturais ine-

rentes a esses espaços institucionais

e organizacionais6.

4. Espectro temporal e territorial:

Por meio desta dimensão analítica, pro-

cura-se apreender a configuração tem-

poral e territorial do percurso da políti-

ca estudada de forma a confrontar as

propostas/objetivos gerais da política

com as especificidades locais e sua

historicidade. A apreensão dessa con-

figuração coloca algumas questões em

destaque: i) as possibilidades de arti-

cular, na avaliação, as perspectivas e

objetivos de propostas generalizantes

às particularidades locais; ii) as possi-

bilidades de implementação de políticas,

de forma localizada, que levem em conta

seu percurso temporal e territorial.

Esta etapa da pesquisa corresponde a ummomento mais avançado de sistematizaçãodos dados já coletados e está aberta à ma-nipulação de uma série de instrumentosmetodológico-analíticos que possibilitem atin-gir um maior nível de abstração, síntese ecriatividade. Poderão ser formulados esque-mas, desenvolvidos gráficos, experimenta-dos modelos estatísticos variados, aliados atécnicas qualitativas de análise. Seria ocaso, por exemplo, de aliar o mapeamentoda distribuição espacial da população aten-dida por determinada política – de acordocom o recorte empírico formulado –, aos ín-dices socioeconômicos e às redes de inte-resses e relações de poder detectadas napesquisa de campo.

Considerações sobre a

presente proposta

Espera-se que a atenção aos pontos aci-ma referidos permita detectar alguns mo-mentos da trajetória de uma política ou pro-grama, considerados cruciais para seu bomdesempenho e continuidade, a saber: i) mo-mentos em que ocorrem quebras na conti-nuidade do fluxo entre concepção e ação,ou seja, a interrupção ou redirecionamentodaquilo que foi inicialmente planejado. De-ter-se sobre esses momentos é importanteporque, ao analisá-los, pode-se compreen-der melhor a natureza do que eu chamariafatores de entrave: políticos, econômicos,sociais, culturais, burocráticos ou legais; dospontos de inflexão, entendidos aqui comomudanças de direção em relação aos objeti-vos perseguidos originalmente pela política;dos fatores de interferência, relativos, mui-tas vezes, a aspectos imprevistos ou que

ARTIGOS INÉDITOS

JAN/JUN 2008 13

denotam falta de coerência entre a formula-ção e a realização da proposta; ou, ainda,dos pontos de fusão, referindo-me aqui, emespecial, à sobreposição de programas e àdificuldade de precisar, na avaliação, os re-sultados da política específica que se queravaliar7; e, finalmente, e talvez o mais im-portante, a distância entre os sentidos atri-buídos pelos agentes institucionais às políti-cas formuladas e aqueles percebidos pelossupostos beneficiários, o que poderíamosclassificar como discrepâncias semânticas.

Mais ainda, tratar uma política pública ouprograma a ela vinculado, da forma aqui pro-posta, implica considerar que sua avaliaçãosó fará jus ao termo se operar a abrangência

analítica para além da política em si, seu marcolegal e seu conteúdo, e para além do recorteempírico, de forma que se possam realizarinferências mais gerais a partir de resultadoslocalizados. Para tal, priorizam-se as noçõesde contexto, processo, trajetória, pluralidade,interação e multidimensionalidade.

Evidentemente, estas proposições fazemparte de um esforço ainda inicial de obtermelhores ferramentas teóricas, conceituais emetodológicas que orientem a avaliação deprojetos sociais de uma perspectiva maisampla, que possam, ao longo do tempo, com-por um conjunto de conhecimentos renovadoe crítico em relação aos modelos dominantesde avaliação.

BANCO MUNDIAL. Monitorização & Avaliação. Algumas ferramentas, métodos e abordagens. Wa-shington, D.C., 2004.

BELLONI, Isaura et al. Metodología de avaliação em políticas públicas. Rio de Janeiro: Cortez,2003.

CHELIMSKY, Eleanor. The Coming Transformations in evaluation, in Chelimsky, Eleanor e Shadish,William (orgs.), Evaluation for the 21st Century. Califórnia: Sage Publications, 1997.

CASTRO, M.H.G. Avaliação de políticas e programas sociais, Cadernos de Pesquisa, nº 12. Campi-nas: NEPP-UNICAMP, , 1989.

COSTA, Frederico Lustosa. Por uma outra reforma do Estado: estratégias alternativas ao paradigmagerencialista, Revista de Administração Pública, 34 (1) 267-70, jan.-fev. 2000.

FARIA, Wilmar. Avaliação de programas e projetos sociais. Um roteiro para formação de especialis-tas. Campinas, NEPP-UNICAMP, 1998, inédito.

_______. Políticas públicas e governabilidade: desafios teóricos e práticos, Seminário Desenvolvi-mento e Integração na América Latina e no Caribe: A Contribuição das Ciências Sociais.Brasília, FLACSO, 2001, inédito.

GAPI-UNICAMP. Metodologia de análise de políticas públicas. Disponível em www.campus-oei.org,2002.

GEERTZ, Clifford. A interpretação das culturas. Rio de Janeiro: Zahar, 1978.

GONÇALVES, Alícia. Cultura de participação no setor de telemática. Campinas: Editora da UNICAMP,1998.

_______. Cultura & Mercado no contexto transnacional: um olhar etnográfico. São Paulo: CMU,2006.

GREENE, Jennifer. Dialogue in evaluation: a relational perspective. Califórnia: Sage Publications,2001.

GUSSI, A.F. Pedagogias da experiência no mundo do trabalho: narrativas biográficas no contextode mudanças de um banco público estadual. Tese de doutorado, UNICAMP. Campinas, 2005.

HAM, C. e HILL, M. The policy process in the modern capitalist state. Londres,1993.

Referências bibliográficas

ARTIGOS INÉDITOS

14 JAN/JUN 2008

HENRI, G.T. e MARK, M. M. Beyond use: Understanding Evaluation’s influence on attitudes andActions, in American Journal of Evaluation. Califórnia; Sage Publications, 2003.

HOLANDA, Nilson. Avaliação de programas. Conceitos básicos sobre a avaliação “ex post” deprogramas e projetos. Fortaleza: ABC Editora, 2006.

LEITÃO, Elione M. D. O plano de desenvolvimento da Escola em Foco: uma análise da educação noCeará em tempos de ajustes neoliberais. Dissertação de mestrado em Avaliação de PolíticasPúblicas, MAPP-UFC. Fortaleza, 2005.

LEJANO, R. P. Frameworks for policy analisis. Mergin text and context. Nova York: Routledge,2006.

MARK, M. M, HENRY, G. e JULNES, G. Evaluation: an integrated framework for understanding,guiding and improving polices and programs. San Francisco: Jossey-Bass, 2000.

MARK, M. M. e SHOTLAND, R. L. Stakeholder-Based evaluation and value judgments, EvaluationReview, vol. 9, no 5. Califórnia: Sage Publications, 1985.

MORONI, Márcia Maria. Qualidade de vida e perfil socioeconômico dos beneficiários do ProgramaNacional de Fortalecimento da Agricultura Familiar – PRONAF D na mesorregião Centro-SulCearense. Dissertação de mestrado em Avaliação de Políticas Públicas, MAPP-UFC. Fortaleza,2006.

MUNIZ, Cátia R. As representações sobre o trabalho a partir da genealogia de uma família deoperários. Um estudo etnográfico. Tese de doutorado, IFCH-UNICAMP. Campinas, 2006.

NETO, O. C. et al. Grupos focais e pesquisa social: o debate orientado como técnica de investiga-ção. Rio de Janeiro: Ministério da Saúde; FIOCRUZ, 2001.

PAULA, Luis Antonio. Marco teórico sobre avaliação e monitoramento. S.l., CLAD, 2001.

RODRIGUES, Lea Carvalho. Rituais na universidade. Campinas: CMU, 1997.

_______. Metáforas do Brasil. Demissões voluntárias, crise e rupturas no Banco do Brasil. SãoPaulo: Annablume, 2004.

ROLIM, Romildo Carneiro. Efeitos do Programa de Desenvolvimento do Turismo no Nordeste do Brasil– Prodetur NE na qualidade de vida da população de baixa renda no distrito de Lagoinha,município de Paraipaba-CE. Dissertação de mestrado em Avaliação de Políticas Públicas, MAPP-UFC. Fortaleza, 2005.

RUBEN, Guilhermo. Empresários e globalização: prolegômenos de uma metodologia antropológica dacompreensão e ação, Revista Brasileira de Ciências Sociais, nº 28, ano 10, junh. 1995.

_______. Antropologia del capitalismo, Culturas, 2 (4). Córdoba: Museo de Antropologia, Facultadde Filosofia y Humanidades, Universidad Nacional de Córdoba, 2004.

RUBEN, Guilhermo et al. (orgs.). Informática, organizações e sociedade no Brasil. São Paulo:Cortez, 2003.

SHADISH, William et al. Foundations of Program Evaluation. Theories of practice. Califórnia: SagePublications, 1995.

STEPHANOU, M. C. Análise comparativa das metodologias de avaliação das agências de fomentointernacionais BID e BIRD em financiamentos de projetos sociais no Brasil, Civitas, vol. 5, nº 1.Porto Alegre, jan.-jun. 2005, pp.127-60.

SUBITATIS, J. El análisis de las políticas públicas no Brasil. Brasília: IPEA, 2002.

YANOW, Dvora. Translating local knowledge at organizational peripheries, British Journal ofManagement. Londres, 2004.

_______. Interpretive empirical political science: what makes this not a subfield of qualitativemethods, in Qualitative Methods Section (APSA), 2003.

ARTIGOS INÉDITOS

JAN/JUN 2008 15

Résumé: Cet article présente des sujetsessentiels à une évaluation profonde despolitiques publiques sociales. Notre travail estmotivé par l’inadaptation des modèlesclassiques d’évaluation des politiques publiqueset par le besoin urgent des recherches quiprennent en considération le contexte social,économique, politique et culturel, sans négligerl’importance de l’analyse institutionnelle, desrelations de pouvoir et des intérêts et valeursqui font partie du processus de formulation etimplémentation de ces politiques.En premier de tout, nous avons présenter lesprincipaux lignes théorique méthodologiquesdans évaluation des politiques publiques, àniveau du monde et au Brésil; alors nous avonspresenter ses limites, et finalement quelquespropositions pour une approche multidimen-sionnelle et interdisciplinaire. Une conclusionest qu’une évaluation profonde a besoind’accomplir quatre dimensions analytiques:contenu, contexte et analyse institutionnellede programmes et politiques, bien que lesdimensions temporelle et territorial.

Mots clés: politiques publiques, évaluation,méthodologies

Resumen: Este artículo presenta un conjun-to de tópicos esenciales a la efetivación deuna evaluación en profundidad de políticaspúblicas de caracter social. La proposición sedá por la constatación de la insuficencia delos modelos clasicos de analisis y de lanecesidad aún más premente de realizaciónde investigaciones que consideren el contex-to social, económico, político y cultural, asícomo la importancia del analisis institucional,de las relaciones de poder, de los intereses yvalores involucrados en los procesos deformulación y implementación de esas políti-cas. Primeramente presentamos las principa-les lineas teórico-metodologicas, al nivel mun-dial y en Brasil; en seguida presentamos suslimites y, por fin, algunas proposiciones paraun abordaje multidimensional y interdisicpli-naria. Una conclusión es que una evaluaciónen profundidad necesita cumplir tres dimen-siones analíticas: contenido, contexto y elanálisis institucional de programas y políti-cas, así como el espectro temporal yterritorial.

Palabras-clave: políticas publicas, evaluación,metodología.

1 O paradigma gerencialista, no contexto da reforma do Estado, representa, em síntese, a subordinação do

Estado à racionalidade instrumental do mercado, sua lógica produtivista e de mensuração exclusiva-

mente econômica da relação custos/benefícios. Para uma crítica ao paradigma gerencialista, ver Costa

(2000).2 Banco Mundial, 2004.3 Para a apreciação de um excelente e inovador modelo de análise de formas discursivas institucionais, ver

Leitão (2005).4 A respeito do conceito de avaliação, ver Holanda (2006) e Belloni et al. (2003).5 Sobre a utilização da noção de trajetória, ver Gussi (2005).6 Sobre uma perspectiva etnográfica de organizações e instituições, ver Gonçalves (1998, 2006); Gussi

(2005); Muniz (2006); Rodrigues (1997, 2004); Ruben (1995, 2004); Ruben et al. (2003).7 Duas dissertações desenvolvidas no Programa de Mestrado em Avaliação de Políticas Públicas da MAPP-UFC

apontaram dificuldades de percepção dos efeitos de políticas públicas sobre a qualidade de vida dos

seus beneficiários e, portanto, da avaliação de impacto, devido à sobreposição de programas referentes

a diferentes políticas (federais, estaduais e municipais) como PRONAF, Bolsa Família, aposentadorias,

Programa São José, Programa Luz para todos, Programa Cisternas e outros. Ver, a este respeito, Moroni

(2006) e Rolim (2005).

Notas

ARTIGOS INÉDITOS

16 JAN/JUN 2008 ARTIGOS INÉDITOS