AVALIAÇÃO DE POLÍTICAS PÚBLICAS: TIPOLOGIAS E TÉCNICAS DE ...repositorio.enap.gov.br/bitstream/1/3369/2/Avaliação de... · setor público e seus tomadores de decisão operam

AVALIAO DE POLTICAS PBLICAS: TIPOLOGIAS E TCNICAS DE ANLISE

ARMANDO A. SIMES

BRASLIA, 13 24 DE AGOSTO DE 2018

APRESENTAO DO CURSO

OBJETIVO: oferecer uma viso geral sobre o campo da avaliao de polticas eprogramas, distinguir diferentes tipos de avaliao e sua adequao s finalidadescom que se avalia; conhecer alguns dos mtodos e tcnicas utilizadas na avaliao,bem como os problemas prticos relacionados sua implementao.

PROFESSOR: Armando A. Simes

PERODO: 13 a 24 de agosto de 2018.

HORRIO: das 8h30 s 12h30

TPICOS:1. Introduo Geral Avaliao de Polticas Pblicas

Breve histrico da avaliao de polticas pblicas Avaliao de Polticas: conceitos e abordagens Perguntas centrais na avaliao de polticas

2. Tipologias de Avaliao e Tcnicas de Anlise Avaliao Normativa Pesquisa Avaliativa: perguntas e tcnicas de anlise2.1. Avaliao de Diagnstico

2.1.1. Anlise Estratgica2.1.2. Anlise Lgica

2.2. Avaliao de Implementao/Processo (Monitoramento)2.2.1. Anlise de Implementao2.2.2. Anlise dos Processos de Implementao (Produo)

2.3. Avaliao de Utilidade2.3.1. Anlise de Efeitos e Impacto

3. Projeto de Avaliao (Desenho, Gesto e Disseminao)4. Problemas e desafios da avaliao de programas e polticas

AVALIAO DO CURSO:1. A avaliao de aprendizagem no curso ocorrer em exame de mltipla escolha

realizado no ltimo dia do curso.2. Alm do exame ser exigida frequncia mnima de 80% das aulas dadas para

aprovao no curso.

BIBLIOGRAFIA: Bibliografia Bsica Bibliografia Complementar

1. INTRODUO

ALGUNS CONCEITOS

Poltica pblica

Um curso de ao escolhido pela autoridade pblica paratratar um dado problema ou um conjunto de problemasinterrelacionados. (Leslie A. Pal, 2014) Visa atingir um objetivo de mudana. viabilizada por instrumentos para lidar com o(s) problemas(s)

que afeta(m) a comunidade e atingir os objetivos planejados.

Se estrutura com base em conhecimento tcnico-cientfico, mas tambm sobre valores (e.g. interesse pblico, equidade, eficincia, justia etc.).

8/22/2018Footer Text 6

ALGUNS CONCEITOS

Anlise de Poltica (Policy Analysis) Analisa o sentido, desenvolvimento, contedo e consistncia de

uma poltica: o que a motiva; como se constri, como se decide, queproblema/oportunidade busca atender; qual a sua racionalidade;que objetivo busca atingir, que instrumentos utiliza, como se integracom outras polticas etc.

Avaliao de Programa (Program Evaluation) Avalia a necessidade, relevncia, desenho, implementao, utilidade

de uma interveno proposta que busca concretizar os objetivos de uma poltica.


AVALIAO DE INTERVENES (POLTICAS, PROGRAMAS, SERVIOS)

De que se trata ?


Capacidade de fazer perguntas. Ouvir o que tem a dizer os stakeholders. Aplicar mtodos de anlise Responder a expectativas sobre:

o Conhecer melhor a realidade e as intervenes.o Melhorar o desempenho das intervenes.o Prestar contas sociedade

ALGUNS CONCEITOS

Um modelo para anlise do processo de produo da Poltica Pblica:Poltica Pblica como Ciclo (Origens em Lasswell (1956) The Decision Process)

Definio da Agenda

Formulao

Tomada de Deciso

Implemen-tao

Avaliao

DESENHO DE POLTICA PBLICA

Formulao

Racionalidade(s)

Processo Pesquisa / Anlise

Colaborao

Escuta

Valores

Conflito

Negociao

Deciso

Resultado (plano, poltica, programa, projeto)

Desenho

nenhum desenho algum desenho redesenho

Agenda

Problema

Causas (explicao)

Instrumentos

Deciso

Implementao

Avaliao

DESENHO

ALGUNS CONCEITOS

Sucesso ou Fracasso ?

IMPLEMENTAO

Definio: implementao a fase/atividade do processo da poltica pblica em que asintenes e recursos so convertidos em ao que deve gerar os produtos e resultadospretendidos pela poltica.

A implementao um processo dinmico e multidimensional (poltico, tcnico, organizacional)

A implementao remete s organizaes, suas estruturas (recursos, atores, processos) e suacomunicao...

Mas, os problemas de implementao no derivam apenas do desenho e das capacidadesinstitucionais, mas tambm de fatores de contexto (alguns imprevisveis)..... mais como um jogo.

A implementao completa o desenho -> a operacionalizao e os burocratas de nvel de rua.

Quando agimos para implementar uma poltica, ns a mudamos. (Majone eWildavsky, 1984 apud Pal, 2014)

DESENHO DE POLTICA PBLICA

Formulao

Racionalidade(s)

Processo Pesquisa / Anlise

Colaborao

Escuta

Valores

Conflito

Negociao

Deciso

Resultado (plano, poltica, programa, projeto)

Desenho

nenhum desenho algum desenho redesenho

Agenda

Problema

Causas (explicao)

Instrumentos

Deciso

Implementao

Avaliao

DESENHO

ALGUNS CONCEITOS

Sucesso ou Fracasso ?

SUCESSO E FRACASSO

Sucessos e fracassos podem ocorrer em qualquer fase do ciclo da poltica pblica. (Howlett et al 2013)

O Sucesso pode ocorrer em alguns aspectos e no em outros .

A afirmao de sucesso ou fracasso depende de informao relevante.

Sucesso e fracasso de polticas em geral remete ideia de:

resultados + critrios. Atingir objetivos da poltica (modelo de objetivos) segundo determinados critrios (modelo normativo)

Diferentes grupos podem avaliar sucesso de modo distinto (por diferentes critrios).

Atores distintos a partir de diferentes critrios, avaliam distintamente o mesmo conjunto de resultados.

O sucesso ou fracasso no um evento em si, mas um julgamento sobre eventos.

Refletem relaes de poder processo poltico

SUCESSO E FRACASSO...

Sucesso para quem? (proponentes, opositores, beneficirios, os que perdem com a poltica, a burocracia etc.)

Em que momento? (curto, mdio, longo prazo)

Em que lugar? (contexto, cultura, condies econmicas etc.)

Se considerou as consequncias no previstas (positivas ou negativas)?

Se considerou os objetivos no declarados nas polticas pblicas?

A multiplicidade de fatores que influenciam o processo de implementao e os resultados da poltica dificuldade metodolgica em se isolar o efeito lquido da poltica.

1.1) BREVE HISTRICO DA AVALIAO DE POLTICAS PBLICAS


Estgio Tericos Perspectiva Terica nfase1960s Trazer a verdade cientfica para a soluo de problemas sociais

experimentalismo

Michael S. Scriven

Donald T. Campbell

Avaliao como cincia da valorao da ao (com base em fatos, no em opinies)

Metodologista da Sociedade Experimental.

Busca da verdade cientfica a respeito da efetividade das solues para os problemas sociais.

1970s Gerar alternativas enfatizando o uso e os stakeholders

pragmatismo

Carol H Weiss

Joseph S. Wholey

Robert E. Stake

Vinculao da avaliao com a pesquisa em polticas pblicas.

Avaliao para o aperfeioamento dos programas

Avaliao responsiva e mtodos qualitativos

Entender como as organizaes do setor pblico e seus tomadores de deciso operam de modo a oferecer alternativas teis do ponto de vista poltico e social para a apropriao do conhecimento avaliativo (uso) visando melhoria do desempenho das organizaes e de suas aes.

1980-90 Tentar integrar o passado

integracionismo

Lee J. Cronbach

Peter H. Rossi

Desenho funcional da avaliao para um mundo sujeito acomodao poltica

Avaliao global (desenho, implementao e utilidade), customizada e com base na teoria do programa.

Integrar diferentes perspectivas tericas anteriores de modo a reconhecer a legitimidade de diferentes abordagens em funo das circunstncias e propsitos da avaliao.

DEFINIES E FINALIDADESAutor Definio Finalidade

Suchman (1967) Determinao (...) dos resultados obtidos por uma atividade que fora estabelecida para realizar um objetivo ou quaisquer objetivos Determinar resultados (finalidade somativa)

Arnold (1971) Retroao planejada e sistemtica de informaes necessrias para guiar a ao futura. Guiar a ao futura (finalidade estratgica)

Weiss (1972) Apreciao sistemtica do funcionamento e (ou) dos resultados de um programa ou de uma poltica em funo de critrios explcitos ou implcitos, de modo a contribuir para a melhoria do programa ou da poltica.

Melhorar a interveno (finalidade formativa)

Beeby (1977) Coleta e interpretao sistemticas de provas (dos dados convincentes) que leva, de modo inerente ao processo, a um julgamento sobre o valor de um programa em uma perspectiva de ao.

Julgar o valor (finalidade valorativa)

Sociedade Canadense de Avaliao (1985)

Anlise de uma ao fundamentada, visando a certos objetivos, em termos de pertinncia, implantao e resultados. Avaliar a pertinncia (finalidade valorativa)

Scriven (1991) Processo de determinao do valor das coisas. Determinar o valor(finalidade valorativa)

Patton (1997) Coleta sistemtica de informaes sobre as atividades, as caractersticas e os resultados desses programas a fim de emitir julgamento sobre eles, melhorar sua eficcia e esclarecer as decises relacionadas a novosprogramas.

Esclarecer decises (finalidade administrativa)

Autor Definio Finalidade

Rossi, Freeman e Lipsey (1993, 2004)

Atividade que consiste em utilizar os mtodos de pesquisa das cincias sociais para analisar sistematicamente a eficcia dos programas de interveno social de um modo adaptado ao seu ambiente poltico e organizacional, e de maneira a iluminar a ao social tendo em vista a melhoria das condies sociais.

Melhoria das condies sociais

(finalidade transformadora)

Mark, Henry e Julnes(2000)

Anlise sistemtica que descreve e explica as atividades, os efeitos, as justificativas e as consequncias sociais dessa polticas e programas(...) com o objetivo ltimo da melhoria social(...).

Melhoria social (finalidade

transformadora)

Champagne, Contandriopoulos, Brousselle, Hartz e Denis (2011)

Juzo de valor sobre uma interveno, implementando um dispositivo capaz de fornecer informaes cientificamente vlidas e socialmente legtimas sobre essa interveno ou sobre qualquer um de seus componentes, com o objetivo de proceder de modo que os diferentes atores envolvidos, cujos campos de julgamento so por vezes diferentes, estejam aptos a se posicionar sobre a interveno para que possam construir individual e coletivamente um julgamento que possa se traduzir em aes.

Possibilitar o posicionamento dos

atores sobre a interveno(finalidade

democratizante)

1.2) AVALIAO DE POLTICAS: CONCEITOS E ABORDAGENS

1.2.1) PERGUNTAS CENTRAIS DA AVALIAO DE POLTICAS

Necessidade Valor

(social/econmico/ambiental etc.)

Decises Agendas Planos Programas Instrumentos

Implementao Processos Produtos Resultados Impactos Atores Contexto Percepes Sistemas

Servios Instituies Governana Capacidades Desempenho....etc etc..

1) O que se quer avaliar da poltica pblica?

2) Por que se quer avaliar (propsito da avaliao)?

Prestar contas (legal; fiscal; finalstico) Melhorar a interveno (desenho , gesto,

resultados) Gerar conhecimento Saber se funciona e por que funciona. Gerar aprendizagem para o futuro Informar a tomada de deciso (continuao,

ampliao, reduo, trmino)

Razes estratgicas (agenda oculta) Legitimar/contrapor a poltica Exaltar o desempenho do gestor Obter dividendos polticos, etc. Desviar a ateno de possveis falhas da poltica

Qual o escopo da avaliao?

Quais as perguntas avaliativas?

Quem vai realizar?

Com que mtodos / abordagens?

Com quais dados/informaes? De quais fontes?

Em quanto tempo?

Com que recursos?

Com quais parceiros?

3) Como ser organizada?

4) Qual o critrio de sucesso/fracasso?

Com base em quais critrios a poltica ser avaliada?

Quem define os critrios? Qual a sua justificativa?

Como sero comunicados? Como sero aplicados? Como sero revistos?

5) Qual o uso da avaliao?

Quem vai usar? Quando ser usada? De que modo? Com qual finalidade (checa a

segunda pergunta)?

1.2.2) ABORDAGENS NA AVALIAO DE POLTICAS (VEDUNG, 2017)

Abordagem

Modelos de Efetividade

Avaliao orientada a objetivos atingidosAvaliao orientada a resultados (goal free)Avaliao orientada ao cliente.Avaliao orientada aos stakeholders.Avaliao global (comprehensive evaluation).

Modelos Econmicos ProdutividadeEficincia

Modelos Profissionais Reviso de pares

MODELOS DE EFETIVIDADE1. Avaliao orientada objetivos atingidos

Medida de alcance Avaliao de Impacto

Questes bsicas: Os objetivos planejados foram alcanados? As mudanas so devidas poltica?

Critrio de mrito da poltica A discrepncia entre os objetivos declarados da poltica e os resultados alcanados a medida do sucesso

da poltica.

Tarefas Identificar e clarificar os objetivos da poltica. Avaliar os objetivos num dado ponto do tempo adequado para se alcanar os objetivos e monitorar a

evoluo de indicadores. Avaliar o impacto da poltica para os objetivos declarados.

Argumentos favor:

Democracia Os cidados esto interessados em saber se os objetivos foram atingidos; se o governo cumpriu suas

promessas; se houve desvio dos objetivos inicialmente traados etc. Pesquisa

Oferece uma soluo objetiva para o problema do critrio de avaliao (como atribuir valor a uma interveno)

Simplicidade Fcil comunicao, aplicao e entendimento.

Dificuldades:

No considera os custos da interveno. Objetivos so nebulosos, ambguos, mal definidos, sobreinclusivos etc.

Objetivos indeterminados (objetivo nibus) Catlogo de objetivos

Ignora efeitos no intencionais (efeitos perversos e efeitos colaterais) Agendas ocultas (objetivos declarados x objetivos no declardos) No considera os problemas de implementao Relao convencional da relao polticos-burocratas (modelo racional-legal)

2. Avaliao de efeitos colaterais Busca avaliar os efeitos no intencionais/declarados (previstos ou no previstos) da interveno que

podem ocorrer fora da rea/pblico-alvo da interveno. Os efeitos colaterais so analisados em relao aos efeitos previstos e intencionados pela interveno. Efeitos colaterais podem gerar problemas que vo exigir novas intervenes.

Questes bsicas:

Existem efeitos fora da rea / pblico-alvo da interveno (efeitos colaterais)? Estes so devidos poltica? Esses efeitos comprometem os efeitos intencionados pela interveno?

Critrio de mrito da poltica

O balano dos efeitos colaterais no deve levar a nulidade do valor dos resultados intencionados e alcanados pela interveno.

Tarefas

Identificar e clarificar os objetivos da poltica e o pblico-alvo. Identificar efeitos fora do pblico-alvo. Realizar o balano dos efeitos colaterais e dos efeitos intencionados e alcanados pela interveno..

Argumentos favor:

Complementa o mapa de efeitos de uma interveno, permitindo um melhor julgamento do mritoglobal da interveno quanto ao conjunto dos seus efeitos.

Dificuldades:

O processo de legitimao da poltica/programa tende a ressaltar os efeitos potencialmente positivos, omitindo potenciais efeitos perversos e colaterais.

A maior parte dos efeitos colaterais no so previstos, mas descobertos aps a interveno (ou no!).

A identificao de efeitos colaterais no simples. Podem ocorrer efeitos autoevidentes, mas podemocorrer efeitos silenciosos (exigem investigao e recursos).

Como em geral no so antecipados, no se pode especificar a priori os critrios de julgamento devalor desses efeitos, dificultando o julgamento de mrito global da interveno.

A revelao de efeitos colaterais negativos leva a necessidade de novas intervenes e virtualmente aoaumento dos custos da interveno original.

O interesse dos tomadores de deciso recai sobre os efeitos intencionados pela interveno (foco daavaliao) e raramente se ocupa de efeitos colaterais.

3. Avaliao orientada resultados (goal free) O foco so os resultados da interveno como um todo. O avaliador deve identificar os efeitos da interveno numa perspectiva de avaliao cega.

Questes bsicas:

Quais os resultados que se derivam da poltica? Qual o balano que se faz deles?

Resultado 3

Poltica/programa

Resultado 1

Resultado 2


O julgamento de mrito, a relevncia dos achados e a ao futura deve ser deixada aos tomadores dedeciso.

Tarefas

Identificar os efeitos aps a interveno Identificar aqueles que se derivam da interveno Apresentar o balano dos efeitos produzidos pela interveno..

Argumentos favor:

Permite a identificao do conjunto de efeitos da poltica de modo livre em relao aquilo que ostomadores de deciso declaram como objetivos.

Os efeitos de uma poltica so mltiplos e a maioria deles no so conhecidos pelos seus proponentes apriori.

Dificuldades:

No considera os custos da interveno. relevante levar em conta os objetivos programticos do governo, pois interessa aos cidados saber se os

compromissos foram cumpridos pelo governo eleito.

4. Avaliao orientada ao cliente. Parte dos objetivos, expectativas, preocupaes e necessidades dos destinatrios da

poltica/programa. Considera-se que todos os aspectos da interveno podem ser considerados a partir da

perspectiva dos clientes.

Questes bsicas:

A poltica/programa atende s necessidades dos destinatrios? A poltica/programa atende as expectativas e desejos dos destinatrios?


O julgamento de mrito, a relevncia da poltica/programa buscado junto aos destinatrios eportanto os critrios de valorao variam.

Tarefas

Identificar e localizar os destinatrios da interveno (clientes) Analisar a cobertura Analisar a viso dos destinatrios sobre a interveno (pesquisas de satisfao).

Argumentos favor:

Os destinatrios da poltica tem o direito de manifestar suas preferncias, demandas, reclamaes,desejos aos provedores da poltica.

Os destinatrios assumem responsabilidade sobre o contedo, forma, qualidade e quantidade daproviso de bens e servios na media que opinam e fazem escolhas sobre eles.

Dificuldades:

No considera os custos da interveno. A multiplicidade de critrios dificulta uma sntese ou balano da interveno. A opinio dos destinatrios variante e influencivel por aspectos conjunturais oscilao do valor

atribudo interveno.

5. Avaliao orientada aos stakeholders. Parte dos interesses e preocupaes daqueles que so afetados pela interveno. Difere da abordagem ao

cliente pelo escopo (inclui todos os afetados diretamente ou indiretamente pela interveno) Os stakeholders tomam parte na avaliao

1) protagonismo dos stakeholders em definir e conduzir a avaliao;2) responsividade dos avaliadores em ouvir e selecionar o foco da avaliao a partir do que dizem osstakeholders.

Modelos qualitativos predominam dessa abordagem. Observao e mtodos interativos (observao participante; entrevista em profundidade; grupos focais

etc.) Questes bsicas:

Quais as questes avaliativas de interesse dos stakeholders?

Critrio de mrito da poltica O mrito da poltica avaliado pelos stakeholders a partir dos resultados entregues da avaliao.

Tarefas Identificar e sondar com os stakeholders seus interesses e suas necessidades em torno da avaliao e seu

conhecimento sobre interveno. Conduzir a avaliao em estreita comunicao com os stakeholders. Entregar o conjunto dos resultados deixando aos stakeholders o julgamento de valor e as concluses sobre a

interveno.

Argumentos favor:

O maior conhecimento dos stakeholders para informar a avaliao (intenes da interveno,possveis efeitos colaterais, obstculos implementao, possveis desvios, contexto poltico einstitucional etc.) e definir os aspectos relevantes a serem investigados.

Utilizao dos resultados da avaliao na tomada de deciso (evita a sndrome doengavetamento)

Clarificao de objetivos no declarados. multiplos ou conflitantes no desenho dasintervenes.

Dificuldades:

No considera os custos da interveno. H dificuldades prticas em se considerar todos os stakeholders (limitao de tempo e recursos

da avaliao); os mais organizados tendem a ser ouvidos. No h um critrio nico para definir quem so os stakeholders (quem define?) e no se

considera o peso de cada um. Risco dos avaliadores adotarem uma teoria pragmtica da verdade: o valor de verdade fica

condicionado aos interesses e perspectivas dos stakeholders (o que til e aceitvel).

6. Avaliao global (comprehensive evaluation). A avaliao no deve se restringir aos resultados, mas incluir o desenho, a tomada de deciso e a

implementao. O foco da avaliao no julgamento entre o intencionado e o realizado.

Questes bsicas:

Os objetivos da interveno foram realizados? A estratgia de implementao ocorreu como planejada? Os resultados produzidos foramos esperados.?


O mrito da poltica avaliado em relao s diversas fases do ciclo a partir da comparao entreo almejado e o obtido a partir de critrios pr-estabelecidos e explcitos.

Tarefas

Identificar e comparar as intenes em termos de objetivos, estratgias, resultados etc., com oproduzido de fato.

Argumentos favor:

Se ocupa explicitamente com o processo de implementao da interveno. Permite explicar o que se observa com os resultados a partir do que ocorreu na

implementao. Leva em considerao fatores do ambiente em que se d a interveno para explicar

o que ocorre nas diferentes fases do processo.

Dificuldades:

No considera os custos da interveno. No considera a viso dos destinatrios da interveno. O foco nos objetivos oficiais dificulta que se identifique efeitos colaterais.

MODELOS ECONMICOS

1. Produtividade Utiliza a produtividade como o equivalente para o setor pblico do lucro no setor privado (busca-se a

maximizao). Questes bsicas:

Os processos da interveno resultam produtivos segundo padres esperados? Critrio de mrito da poltica

A maximizao da produtividade.

= () ()

Com base em padres de desempenho (ex. desempenho passado; de outra instituio; em relao a metas traadas)

Tarefas

Identificar os inputs e outputs da interveno nos vrios processos que a compem. Estabelecer os critrios de produtividade. Avaliar o desempenho de cada processo que compe a interveno com base nos critrios definidos.

Argumentos favor:

Se ocupa explicitamente de medidas econmicas que avaliam a relao entre insumos eprodutos ou custos e produtos.

Os inputs, outputs e os custos para o clculo da produtividade tendem a estar disponveisnas informaes de execuo fsico-financeiras dos rgos.

Dificuldades:

Identificar o produto relevante de um processo da interveno nem sempre simples. Integrar o conceito de qualidade medida de produtividade , no mnimo, um desafio

complexo. A produtividade uma medida interna do sistema de entregas da poltica, nada pode

dizer sobre os resultados para os destinatrios da poltica.

2. Eficincia Utiliza a anlise custo-benefcio e a anlise custo efetividade para relacionar os custos de

uma interveno com seus resultados. Questes bsicas:

Os benefcios da interveno compensam os custos? Critrio de mrito da poltica

A maximizao da eficincia.

custo-benefcio =

custo-efetividade =

Tarefas

Identificar todos os custos gerados pela interveno nos vrios processos que a compem. Identificar todos os resultados gerados pela interveno e suas quantidades fsicas, e

atribuir valor monetrio a essas quantidades (quando possvel). Calcular o custo-benefcio e o custo-efetividade.

Argumentos favor:

Se ocupa explicitamente de medidas econmicas que avaliam a relao entre custos eresultados da interveno.

Os custos para o clculo da eficincia tendem a estar disponveis nas informaes fsico-financeiras dos rgos executores.

Dificuldades:

A abordagem econmica (produtividade ou eficincia) produz uma avaliao parcial dainterveno.

O conceito de eficincia sempre relativo e deve ser avaliado em contexto. Valores da poltica pblica como justia, equidade, representatividade etc. no so

considerados nessa abordagem.

MODELOS PROFISSIONAIS

1. Reviso de Pares A avaliao de desempenho profissional, produo, conduta tica etc. conduzido por colegas de mesma

profisso. O julgamento profissional preside a avaliao. Se baseia fortemente em metodologias interativas (comunicao) e estruturas colegiadas. A autoavaliao, visitas tcnicas, comits de julgamento etc., so procedimentos usuais.

Questes bsicas:

A interveno implementada e produz resultados segundo padres profissionais estabelecidos? Critrio de mrito da poltica

O critrio de mrito, de desempenho e padres de qualidade so definidos pelas corporaes profissionais. Tarefas

Formulao de normas de conduta, protocolos, padres de desempenho e de qualidade da produo. Avaliao por pares e feedback.

Argumentos favor:

Em reas da poltica pblica onde o nvel de complexidade tcnico-cientfica alto a avaliao conduzida por membros das corporaes de tcnicos e cientistas que dominam os contedos emtodos analticos adequados para cada campo (ex. poltica de cincia e tecnologia; ps-graduao).

Dificuldades:

Risco de captura corporativa da avaliao. Risco de vis da avaliao caso haja relao de interesse ou conflito entre avaliadores e

avaliados.

EFEITOS COLATERAIS E EFEITOS PERVERSOS

+ -

Efeito perverso (efeito boomerang )

Efeito almejado

Efeito Nulo

Pblico-alvo

+ -

Foco da avaliao de objetivos atingidos

Foco da avaliao de efeitos colaterais

Pblico - no alvo

+ -

Efeitos colaterais (previstos ou no previstos)

Efeito Nulo

+ -

EFEITOS COLATERAIS E EFEITOS PERVERSOS (EXEMPLO)

+ -

Aumenta a incidncia de obesidade.

Reduz a desnutrio.

Efeito Nulo

Pblico-alvo Pblico - no alvo

+ -

Efeito Nulo

Foco da avaliao de objetivos atingidos

Foco da avaliao de efeitos colaterais

Interveno: Bolsa-Famlia

Aumenta a frequncia

escolar.

Subdeclaraode renda

1.2.3) O CICLO DA INTERVENO E AS MODALIDADES DE AVALIAO

Interveno: um sistema organizado de ao que visa, em uma determinado ambiente edurante um determinado perodo, a modificar o curso previsvel de um fenmeno paracorrigir uma situao problemtica. (Champagne et al., 2011, p.45).

PROGRAMAS E POLTICAS COMO INTERVENO NA REALIDADE

Nota: Adaptao da Figura 2, pag.46 do livro Astrid Brousselle, Franois Champagne, Andr-Pierre Contandriopoulos, Zulmira Hartz(Orgs) (2011), Avaliao: conceitos e mtodos, Editora FioCruz.

Trajetria do fenmeno

Estrutura (recursos financeiros, fsicos, tcnicos e organizacionais)

Atores ProcessosIn

terv

en

o

Efeito

Ambiente

Situao problemtica

HIERARQUIA DE INTERVENES

Projeto/Atividade Sala de Aula

AoPrograma

Escola

Sistemas de Ensino

Sistema de Educacional

Poltica

TIPOLOGIA DAS INTERVENES(POR NVEL DE COMPLEXIDADE)

Simples Problema convergente

ComplicadasS

S

S

S

S

Complexas Problema divergente

S

S

S

S

S

S

Uma metfora ilustrativa

Simples

Complicada


Complexa

Simples


Complicada

Complexa

European ClimateChange Programme

CLASSIFICAES DA AVALIAO

a) Quanto pergunta avaliativa (o que se avalia) Diagnstico Processo Utilidade

b) Quanto finalidade com que se avalia (para que se avalia) Somativa Formativa

c) Quanto metodologia de avaliao (como se avalia) Quantitativa Qualitativa Mtodos combinados

d) Quanto ao tempo de sua realizao (quando se avalia) Ex-ante Ex-post

e) Quanto posio do avaliador (quem avalia) Interna Externa


Definio da Agenda

Formulao

Tomada de Deciso

Implemen-tao

Avaliao

AS FASES DOS PROGRAMAS E AS PERGUNTAS AVALIATIVAS

Tipo Avaliao de Diagnstico Avaliao de Implementao /

Processos

Avaliao de UtilidadeAvaliao de

ImpactoAvaliao de

Eficincia

Propsito

Planejamento e desenho de programas em acordo com objetivos propostos

Verificao da correspondncia entre

o desenho e a implementao

Verificao da efetividade do programa em

relao aos seus objetivos

Verificao da eficincia econmica

do programa

Questes centrais

Qual o problema?- Identificao e

explicao- Extenso- Distribuio

Qual a melhor interveno para lidar com o problema?

- Objetivo- Pblico Alvo- Estratgia de

implementao/modelo de interveno Como avaliar o

programa?- Plano de Avaliao

Atingiu-se o pblico-alvo?

O programa est sendo implementado conforme previsto?

Como so usados os recursos na implementao do programa?

O programa est produzindo as mudanas esperadas?

As mudanas so substantivas?

Quanto custa o programa?

Como custos e benefcios se comparam?

MODELO SIMPLIFICADO DE SISTEMA PARA ANALISAR INTERVENES

INPUT PROCESSO OUTPUT RESULTADO IMEDIATORESULTADO

INTERMEDIRIORESULTADO

FINAL


implementaoresultados

MODELO DE AVALIAO (UNIO EUROPEIA)


Nvel 2Interveno

Objetivo Insumos(Inputs)

Atividades Entregas(Outputs)

Nvel 1Sociedade,Natureza

Nvel 3Avaliao

Problema

Resultado da Interveno

Resultado Social

Relevnciado Objetivo

Produtividade

Eficincia (custo-efetividade)

Efetividade (alcance do objetivo)

Relevncia e sustentabilidade do resultado

Fonte: Verdung, Evert Public Policy and Program Evaluation, Piscataway, New Jersey: Transaction Publishers, 2009.

2. TIPOLOGIAS DE AVALIAO E TCNICAS DE ANLISE

- Avaliao Normativa- Pesquisa Avaliativa

i. Avaliao de Diagnstico (Anlise Estratgica e Anlise Lgica)ii. Avaliao de Processo (Anlise da Produo e Anlise da

Implementao)iii. Avaliao de Utilidade (Anlise dos Efeitos e Anlise da

Eficincia)


TIPOLOGIAS DE AVALIAO E TCNICAS DE ANLISE

Avaliao Normativa

Apreciao da

Estrutura

Apreciao do

Processo

Apreciao dos

Resultados

AVALIAO NORMATIVA

Tem por referncia a norma (aquilo que o administrador est autorizadoou obrigado a executar) e os critrios de:

- conformidade: a interveno foi implementada conforme havia sido previsto?

- cobertura: alcana quem deveria alcanar?

- qualidade: os recursos empregados, os processos desenvolvidos (atividades) e os resultados imediatos obtidos - bens ou servios (produtos) - e os resultados finalsticos correspondem s especificaes, expectativas em termos de qualidade?

- custos: ao custo previsto (oramento)?

- efeitos: tem os efeitos esperados (metas)?


Segue em geral as etapas:

1)Definir uma norma de desempenho

2)Comparar o realizado com as normas de desempenho

3)Dar feedback sobre os achados e as possveis medidas a serem tomadas.


Fontes de normas:- Leis e regulamentos- Opinio de especialistas (conhecimento cientfico)- Opinio de usurios (satisfao)- Observao das prticas (mdias (o que usual), benchmarking, unidades comparveis)- Literatura especializada


LEI N 9.503, DE 23 DE SETEMBRO DE 1997. (Cdigo Nacional de Trnsito)CAPTULO XIIIDA CONDUO DE ESCOLARES

Art. 136. Os veculos especialmente destinados conduo coletiva de escolares somente podero circular nas vias com autorizao emitida pelo rgo ou entidade executivos de trnsito dos Estados e do Distrito Federal, exigindo-se, para tanto:

I - registro como veculo de passageiros;II - inspeo semestral para verificao dos equipamentos obrigatrios e de segurana;III - pintura de faixa horizontal na cor amarela, com quarenta centmetros de largura, meia altura,

em toda a extenso das partes laterais e traseira da carroaria, com o dstico ESCOLAR, em preto, sendo que, em caso de veculo de carroaria pintada na cor amarela, as cores aqui indicadas devem ser invertidas;

IV - equipamento registrador instantneo inaltervel de velocidade e tempo;V - lanternas de luz branca, fosca ou amarela dispostas nas extremidades da parte superior dianteira

e lanternas de luz vermelha dispostas na extremidade superior da parte traseira;VI - cintos de segurana em nmero igual lotao;VII - outros requisitos e equipamentos obrigatrios estabelecidos pelo CONTRAN.Art. 137. A autorizao a que se refere o artigo anterior dever ser afixada na parte interna do

veculo, em local visvel, com inscrio da lotao permitida, sendo vedada a conduo de escolares em nmero superior capacidade estabelecida pelo fabricante.

Art. 138. O condutor de veculo destinado conduo de escolares deve satisfazer os seguintes requisitos:

I - ter idade superior a vinte e um anos;II - ser habilitado na categoria D;III - (VETADO)IV - no ter cometido nenhuma infrao grave ou gravssima, ou ser reincidente em infraes mdias

durante os doze ltimos meses;V - ser aprovado em curso especializado, nos termos da regulamentao do CONTRAN.Art. 139. O disposto neste Captulo no exclui a competncia municipal de aplicar as exigncias

previstas em seus regulamentos, para o transporte de escolares.

Pesquisa Avaliativa

Anlise Estratgica

Anlise Lgica

Anlise da Implementa-

o

Anlise da

Produo

Anlise da

Eficincia

Anlise dos

Efeitos

PESQUISA AVALIATIVA

Tipo de Anlise Perguntas Bsicas Tcnicas de AnliseAv

alia

o

de D

iagn

stic

o

i.1) Anlise Estratgica:

Analisa a pertinncia e a possibilidade de se intervir para resolver um problema que ser quer resolver, formula, descreve e explica o problema explicitando o modelo lgico causal (hiptese explicativa).

Qual problema necessrio/desejvel/possvel de se agir sobre?

Como se explica o problema? Quais as causas sobre as quais se quer e se

pode agir? Para qual grupo da populao a interveno

deve estar dirigida? Quem so os parceiros estratgicos para se

realizar a interveno?

Tcnicas de identificao e priorizao de problemas

Tcnicas de anlise das causas do problema

Anlise dos atores Tcnicas de construo de

consenso

i.2) Anlise Lgica:

Analisa o mrito da interveno do ponto de vista de seu modelo lgico terico (hipteses de interveno) e do modelo lgico operacional (hipteses de ao).

A interveno baseada em uma teoria adequada?

As aes so necessrias e suficientes para se atingir os objetivos da interveno?

A qualidade, quantidade e alocao dos recursos so adequadas e suficientes?

Anlise do Modelo Lgico

PESQUISAS AVALIATIVAS: PERGUNTAS E TCNICAS DE ANLISE (I)


alia

o

de P

roce

sso

ii.1)Anlise de implementao:

Analisa a relao entre a interveno (estrutura, processos e contexto) e os efeitos esperados.

Como est se dando a implementao ao longo do tempo?

Como os fatores de contexto afetama implementao?

Como variaes na implementao se associam com os efeitos gerados?

Estudos de caso Mtodos comparativos Experimentos

ii.2) Anlise de Produo:

Analisa a relao insumos-produtos (bens/servios) quanto qualidadee produtividade.

possvel com os mesmo recursos gerar mais servios (bens) ou servios de maior qualidade?(aumentar a produtividade)

possvel produzir com menos recursos uma mesma quantidade de servios (bens) de qualidade idntica? (reduzir custos)

Mapeamento de processos

Anlise insumo-produto Anlise de custos

PESQUISAS AVALIATIVAS: PERGUNTAS E TCNICAS DE ANLISE (II)


alia

o

de U

tilid

ade

iii.1) Anlise dos Efeitos:

Analisa as consequncias da interveno (seus resultados sociais esperados e no esperados)

Quais so os efeitos observveis? Os efeitos so imputveis interveno?

Experimentos Aleatrios Controlados

Experimentos Naturais Quase-experimentos Estudos qualitativos

iii.2) Anlise de Eficincia:

Analisa a relao entre recursos e efeitos observados

Os benefcios gerados justificam os custos?

possvel obter melhores resultados por um custo equivalente ou inferior?

Existem alternativas de interveno mais eficientes (maior utilidade ao menor custo)

Anlise custo-benefcio Anlise custo-efetividade

PESQUISAS AVALIATIVAS: PERGUNTAS E TCNICAS DE ANLISE (III)

2.1. AVALIAO DE DIAGNSTICO

2.1.1. ANLISE ESTRATGICA

2.1.2. ANLISE LGICA


Anlise Estratgica

Anlise do Problema

Anlise do Pblico-Alvo

Problemas no existem simplesmente l fora.

Problemas so reconhecidos, definidos, estruturados e feito visveis como interpretaes da realidade social a partir de processos tcnico-polticos socialmente construdos

Existem elementos genricos que devem fazer parte da definio e estruturao do problema para sua clareza. Formulao Descrio Explicao

Problemas exigem anlise para sua compreenso e enfrentamento representao por modelos


Anlise do Problema

um componente da realidade algo que existe no tempo (hoje) e no espao (lugar) - pertence ao contexto. No a falta de algo.

Expressa uma condio negativa dessa realidade (algo esterrado) em face do que deveria ser: uma discrepncia;

Est no foco de interesse de quem planeja (est na agendade quem governa);

algo que quem planeja (governa) deseja mudar e se dispe a mobilizar recursos para tanto (tem soluo).

Perguntas bsicas da modelagem do problema:1) De qual problema estamos falando?2) Como se manifesta na realidade (descritores)?3) Quais as suas causas ? Sobre quais agir? Com que

objetivo?4) Quais as consequncias de no agir?5) Por que, para que e para quem intervir?6) Quais as parcerias so estratgicas dado o

ambiente poltico e institucional?

Anlise do Problema

No nomear temas como problema (sade, educao etc.);No listar objetivos (concluir a escola X);No se reportar prpria poltica em implementao (programa X no funciona);

Um problema de origem social no a ausncia de soluo ou uma soluo ineficaz.

Um problema bem formulado no pode ser a falta de uma soluo pr-concebida.

No exemplo abaixo:

Falta de nibus escolar X Crianas da rea rural da regio Xno frequentam a escola.

(soluo preconcebida) (problema real)

TEMOS QUE PERGUNTAR VRIAS VEZES, POR QU?

Crianas da rea rural da regio X no freqentam a

escola

Crena dos pais na irrelevncia do currculo

As crianas trabalham -Trabalho Rural Infantil

(custo de oportunidade)

Educao de Baixa Qualidade

Os pais no deixam as crianas irem escola

As crianas tm dificuldade de acesso

escola

As crianas tm dificuldade de acesso escola

A escola no oferece todos os anos escolares

O acesso escola perigoso

A escola est muito longe de casa

Os pais no podem pagar o custo da taxa

escolar

No existe vaga na escola

A escola est muito longe de casa

Os pais residem em rea pouco populosa (baixa demanda)

As famlias foram deslocadas temporariamente para uma

regio sem oferta de escolas

As famlias residem em rea sem acesso terrestre

Oferta da rede fsica escolar limitada no territrio onde

reside a famlia

Falta de...condies de trabalhonormas nas escolasmaterial didticocondies tcnico-pedaggicasetc etc etc...

EXEMPLOS DE PROBLEMAS MAL FORMULADOS

Angola (frica) Cerca de 2 milhes de crianas em idade escolar esto fora da escola;

Existe grande nmero de analfabetos (33% da pop de 15 anos ou mais) com vis de gnero (46% mulheres e 18% homens);

60% da pop. vive abaixo da linha de pobreza absoluta (< 1 dlar/dia)

EXEMPLOS DE PROBLEMAS MELHOR FORMULADOS


Situao problemtica

rvore de Problema

As rvores de problemas so teis na construo de hipteses explicativas (causas potenciais) do problema, mas precisam ser testadas em sua consistncia lgica e base emprica.

Elas dependem dos atores envolvidos no processo de explicao/estruturao do problema.

A rvore de problema identifica mltiplas causas e preciso selecionar sobre quaiscausas agir e sobre a convenincia e a capacidade para agir. Causas crticas

Centro prtico de ao

Alto impacto sobre o problema


Qual o pblico-alvo? Unidades: pessoas, grupos sociais, organizaes, reas, prdios, rios, sistema virio etc,

Elegibilidade Critrios: necessidade, demanda, risco, histrico, localizao, faixa etria etc. Norma: especificao do critrio -> define quem de fato elegvel

sobreinclusiva (risco de ineficincia) x subinclusiva (risco de inefetividade) Viabilidade de aplicao da norma: medidas, instrumentos, agentes, custos de seleo. Diferentes perspectivas: gestores, polticos, potenciais beneficirios, potenciais no-beneficirios, ativistas

etc. Estimativa

Quantos e onde esto? Quanto custa a cobertura total?

Risco de no adeso Existe um aspecto voluntrio na maioria dos programas e, portanto, o risco de no adeso do pblico-alvo.


Anlise do Pblico-Alvo


Anlise LgicaTeoria do Programa

Modelo Lgico

Mas em que consiste a interveno?MODELAGEM DA INTERVENO

?Situao

problemtica

Antes de avaliar um programa/poltica preciso conhec-lo MODELO LGICO da interveno.

Identifica a cadeia causal que vincula aes e resultados esperados (mecanismos pelos quais o programa opera).

Explicita a teoria do programa: o modo como concebido intervir sobre a realidade (Rossi et al. 2004)

Conceitualizao das relaes entre um programa e seus efeitos (Weiss, 1972) Modelo de como o programa deve funcionar (Bickman, 1987) O que acontece na caixa preta durante a transformao de input em output (Lipsey, 1987)

Perguntas bsicas da modelagem da interveno:

1) Que objetivos estratgicos de longo prazo o programa pretende alcanar?

2) O que o programa realiza (aes)? O que feito com os recursos disponveis?

3) Quais os efeitos esperados e a quem se busca beneficiar?4) Que fatores de contexto podem influenciar o sucesso da

interveno?5) Como os elementos anteriores se vinculam logicamente em uma

relao de causa-efeito?

?

MODELOS LGICOSModelos Lgicos Descrio Fontes Perguntas

Modelo Lgico Causal

A rede de fatores determinantes (causas) do problema, os elementos crticos e como suas relaes explicam o problema.

Documentos do programa

Entrevistas Observaes Consulta a

especialistas / literatura

Como o problema gerado?

Quais as causas crticas? Como as causas se

articulam na gerao do probelma?

Modelo Lgico Terico

Explicao de como a interveno afetar o problema selecionado na direo esperada e gerar os benefcios sociais desejados. o fundamento terico da interveno.


Entrevistas Observaes Consulta a

especialistas / literatura

Como a interveno espera gerar mudanas e afetar as causas determinantes do problema?

Modelo Lgico Operacional

Cadeia de atividades (os processos) que concorrem para a consecuo dos objetivos do programa


Entrevistas Observaes

Quem faz o qu? Quais so os recursos

investidos? Quais as atividades

previstas/realizadas?



Exemplo Simplificado

Alta incidncia de HIV na populao 15-24 anos

Relaes sexuais no seguras

P

C

Modelo Lgico Causal(Hiptese Explicativa)

Modelo Lgico Terico(Hiptese da Interveno)

Prover informao e conhecimentos

Aumento do uso de preservativo

Mudana de atitude do jovem

Modelo Lgico Operacional(Hiptese da Ao)

Educao sexual nas escolas

Campanhas na TV

Servio de Orientao Sexual na UBS

Validade da Hiptese Causal Validade da Hiptese de Interveno Validade dos Meios

Vantagens /utilidade do modelo lgico.

Construo de consenso e compartilhamento da definio do problema, da teoria da interveno e do desenho do programa entre os stakeholders.

Explicitao dos mecanismos de funcionamento da interveno. Comunicao de forma esquemtica do desenho de uma interveno. Identificao de pontos crticos de M&A. Definio de forma estruturada da interveno a ser avaliada (inclusive

para o controle e acompanhamento da gesto). Permite confrontar o desenho da interveno e o que de fato

implementado. Fornece uma guia para a avaliao normativa de processos e resultados.

Desafios para a modelagem da interveno

Unicidade de entendimento sobre o modelo lgico. Quem deve participar de um processo de modelagem (legitimidade do

modelo). As hipteses causais em geral no derivam de um saber sistematizado

(cientfico) mas de um saber implcito: modelo lgico terico formal x modelo lgico terico tcito.

A modelagem da interveno deve: desafiar a lgica dos executores na sua consistncia; Evitar ser o empacotamento lgico de solues pr-concebidas, em

que no se processou a anlise dos problemas.

uma MUDANA (positiva) na realidade sobre a qual se intervm e que seja alcanvel.

Deve ser o RESULTADO da ao intencional, dirigida e coordenada do Governo (poltica / programa / ao).

passvel de VERIFICAO (metas ; indicadores)

OBJETIVO

Pessoas: aquisio de conhecimentos e habilidades; mudana de atitude e comportamento etc.

Servios/instituies: capacidade tcnica fortalecida, gesto melhorada, desempenho melhorado, maior utilizao, motivao da equipe etc.

Problemas sociais: analfabetismo reduzido; incidncia de doenas e mortalidade reduzidas; aumento da escolarizao etc.

OS OBJETIVOS (RESULTADOS) PODEM ESTAR RELACIONADOS:

A linguagem da ao expressa resultados do ponto de vista do promotor da ao (Poder Pblico).

Objetivo: Promover o uso de mosquiteiros impregnados para o controle de malria

Indicador: nmero de mosquiteiros distribudos

A linguagem da mudana descreve mudanas na condio das pessoas, a partir de sua perspectiva.

Objetivo: Pessoas em reas endmicas dormem sob mosquiteiro impregnado.

Indicador: % de pessoas que dormem sob um mosquiteiro impregnado.

LINGUAGEM DA AOX

LINGUAGEM DA MUDANA

A linguagem da ao expressa resultados do ponto de vista do promotor da ao (Poder Pblico).

Objetivo: Promover o desenvolvimento profissional de 180 inspetores escolares.Indicador: nmero de inspetores capacitados

A linguagem da mudana descreve mudanas na condio das pessoas, a partir de sua perspectiva.

Objectivo: At 2018, 180 inspetores escolares sero capazes de aplicar os novos mtodos e prticas de trabalho.Indicador: nmero de inspetores que sabem como aplicar novos mtodos e prticas de trabalho.

LINGUAGEM DA AOX

LINGUAGEM DA MUDANA

2.2. AVALIAO DE IMPLEMENTAO/PROCESSO

2.2.1. ANLISE DE IMPLEMENTAO

2.2.2. ANLISE DE PRODUO

O programa certo est sendo implementado da melhor forma possvel para as pessoas certas?

(Mary Ann Scheirer, 1994)

Se o seu trem est no trilho errado, toda estao a qual voc chega a estao errada.

(Bernard Malamud, citado em Patton, M. Q. (1997)

O monitoramento pode ser definido como o acompanhamento regular de atividades e processos, metas deprodutos e de resultados, verificando a execuo dos primeiros e a consecuo dos ltimos. Compreende aatividade de verificao, por meio de indicadores e informaes administrativas, se o que deve ser feitoest sendo feito e se os resultados esperados esto sendo gerados (produtos entregues, indicadoresmelhorando, metas sendo atingidas etc.) .

A anlise de implementao busca responder se a interveno est sendo implementada da melhorforma possvel dado o contexto em que ocorre, se os atores agem como esperado, se os beneficirios estosendo atingidos e respondendo interveno, se houve ou necessrio adaptaes ou alteraes naestratgia de implementao para que se produzam os resultados esperados. Em ltima anlise, busca-seexplicar por que uma interveno fracassou ou teve sucesso a partir do que ocorreu durante a suaimplementao em contexto.

A anlise de processos (de produo) da interveno busca explicitar os processos operacionais dainterveno identificando insumos, processos e produtos gerados e analisando a eficcia, a produtividade e aqualidade em cada etapa de produo da interveno. Pergunta sobre o que e como fornecido, ou seja, aqualidade do que se entrega, a produtividade com que se gera o que se entrega, e se o processo capaz degerar a entrega (eficcia).

POR QUE OS PROGRAMAS FALHAM?

O programa mal concebido (tratamento errado)

O programa no implementado (tratamento inexistente)

O programa implementado de modo parcial(tratamento incompleto)

O programa no atinge a quem deve atingir (tratamento cego)

O modo de implementao (estratgia) compromete o programa (e.g. incentivos adversos; burocratizao; acessibilidade etc) (tratamento sabotado)

O programa implementado sem qualidade ou com qualidade varivel (sem padro) (tratamento ruim)

8/22/2018Baseado em Rossi (1993) 109

2.2) AVALIAO DE IMPLEMENTAO\PROCESSO \ MONITORAMENTO

2.2.1) ANLISE DE IMPLEMENTAO (A QUEM E EM QUE CONDIES)- FOCALIZAO (TAXA DE EFICINCIA NA COBERTURA)- INFLUNCIAS DO CONTEXTO E VARIABILIDADE NA INTERVENO

2.2.2) ANLISE DE PRODUO ( O QUE E COMO FORNECIDO?)- PRODUTIVIDADE- QUALIDADE


2.2.1) Anlise de Implementao

Anlise de Focalizao

Influncias do contexto e variabilidade na interveno resultados

FOCALIZAO


Populao Brasileira

Crianas de 6 a 15 anos

Vivendo em famlias pobres

Matriculadas na escola

Frequentando

Com baixo desempenho

ANLISE DE FOCALIZAO (I)


Pblico- Alvo (P)

Populao

Atendidos (A)

(B)

(I)

(E)Erro de incluso

Erro de excluso

No Atendidos

Tx Bruta de Atendimento: (A / P) x 100

Tx Lquida de Atendimento: (B / P) x 100

Se Tx Liq < 1 erro de excluso

Erro de Incluso (%) = (I /A) x 100

Erro de Excluso (%) = (E/P) x 100

ANLISE DE FOCALIZAO (II)

8/22/2018 114

Pblico-Alvo(P) Pblico NO alvo

Atendidos (A)

Acerto(B) Erro de Incluso (I)

No Atendidos Erro de Excluso (E) Acerto

Taxa Liq de Atendimento Erro de Incluso (%)=

100

Taxa de eficincia da cobertura = . .

.

100 =


Obs.: As famlias demandantes (T) incluem as que preencheram cadastros que no foram enviados e as que no preencheram o cadastro, mas procuraram o programa. Taxa de Eficincia da cobertura

= +

x 100


Como alcanar uma boa taxa de eficincia na cobertura?

Sistema de informao com dados necessrios e suficientes dos candidatos ao programa.

Treinamento das equipes. Controle de qualidade em uma amostra das informaes

coletadas (e.g. cross-check dos mesmos inscritos registrados por diferentes funcionrios).

Auditoria nos registros do programa. Atualizao peridica dos registros do programa.

CASO MXICO


2.2.1) Anlise de Implementao

Anlise de Focalizao

Influncias do contexto e variabilidade na interveno resultados

INFLUNCIAS DO CONTEXTO E VARIABILIDADE DA INTERVENO NOS RESULTADOS

A anlise da implementao aumenta o potencial de generalizao da interveno, sua validade externa (Champagne et al., 2011) Princpio da similitude Princpio da robustez Princpio da explicao

Quando realizar? Quando os efeitos so no nulos ou pouco robustos Quando uma interveno nova implementada


1) Analisa as variaes na forma da intervenoa) Explicao das causas que operam na transformao da interveno durante sua

implementao.

b) Explicao das diferenas entre o desenho da interveno e a forma como de fato implementada (avalia o grau de implementao).

TIPOLOGIA DA ANLISE DE IMPLEMENTAO

8/22/2018 120

Interveno (T1)

Interveno (T2)

Interveno (T3)

Fatores de contexto

X1X2...Xn Integralidade

Intensidade Qualidade

Desenhado

X1X2...Xn

Implementado

X1

Caractersticas contextuais (C)

2) Analisa as variaes nos efeitos observados da interveno

a) Analisa a influncia da variao na implementao ( X) sobre os efeitos observados ( Y) .

b) Analisa a influncia da interao entre o contexto e a interveno sobre os efeitos observados ( Y) .


X Y

X Y

C Fatores moderadores sinrgicos ou antagnicos


2.2.2) Anlise de Produo

Anlise de Produtividade

Anlise de Qualidade acessibilidade, pertinncia, intensidade,

continuidade, integralidade

ANLISE DA PRODUO


MODELO DE UM PROCESSO DE PRODUO

INPUTS OUTPUTS

materiaisequipamentos

instalaespessoas

ambiente R$

mtodo

(INSUMOS) (OPERAES) (PRODUTOS)

OUTCOMES

PRODUTOSBENS/SERVIOS

PROCESSO

(RESULTADOS)

PROCESSADORES

CUSTOS

Perguntas tpicas:- Como funciona o programa (qual o seu

fluxo de processos)?- O que realizado em cada processo

durante a operao do programa?- Como realizado? Com que insumos?- Como os componentes da operao do

programa se articulam?- O que produzido?

MODELO DE UM PROCESSO DE PRODUO

INPUTS

OUTPUTS

materiais

equipamentos

instalaes

pessoas

ambiente

R$

mtodo

(INSUMOS)

(OPERAES)

(PRODUTOS)

OUTCOMES

PRODUTOS

BENS/SERVIOS

BENEFICIRIOS

PROCESSO

(RESULTADOS)

PROVEDORES

PROCESSADORES

SISTEMA DE PRODUO

Processo 1

Processo 2

Processo 3

Processo 4

Processo 5


Processo 1

Processo 2

Processo 3

Processo 4

Processo 5

Processo 1

Processo 2

Processo 3

Processo 4

Processo 5

Processo 1

Processo 2

Processo 3

Processo 4

Processo 5

Beneficirio Resultados


Ex.: Fluxo de execuo do Programa Bolsa Escola (Decreto 3.823/2001)

O detalhamento operacional do programa (seu sistema deproduo) contribui para:

Identificar elementos gerenciais e de controle Escolher os pontos de monitoramento de processos (onde pode ocorrer dificuldades, potenciais

gargalos para a implementao, riscos etc.) Construir indicadores para os pontos de controle no fluxo de processos e para os resultados da

produo

Identificar atores e perfil dos agentes para cada etapa do processo.

Identificar os processos para avaliao de produtividade equalidade

Redesenhar o sistema de produo Oferecer um mapa de execuo para replicao/adaptao em

contextos diversos.


ANLISE DE PRODUTIVIDADE

Conceitos Produtividade = outputs / inputs

Produtividade Total x Produtividade Parcial (econmica, tcnica, do trabalho etc.)

Produtividade como capacidade empregada: output produzido / output potencial


INPUTS (insumos) OUTPUTS (produtos)

Recursos Materiais (instalaes, equipamentos)

Bens, Servios, Informao, Conhecimento etc.

Recursos Financeiros

Recursos Humanos (experincia, formao, competncias)

Recursos organizacionais (informao, tecnologias, normas, procedimentos etc.)

Fatores que influenciam a Produtividade Caractersticas da Demanda

Intensidade da demanda (elasticidade da capacidade dos recursos humanos) Temporalidade da demanda (ex. picos de atendimento em unidades de urgncia) Distribuio espacial da demanda (ex. acessibilidade geogrfica x utilizao plena dos recursos)

Caractersticas dos Recursos Recursos mais raros ou mais onerosos (ex. especialista x agente de sade) gera uma produtividade

menor substituio e habilitao de recursos menos onerosos. Quantidade de recursos (ex. taxa decrescente de retorno da quantidade de trabalho). Caractersticas dos recursos humanos (experincia, formao, motivao etc.). Inovao tecnolgica(permite produzir mais servios, mas algumas novas tecnologias exigem

tambm melhores e mais onerosos recursos humanos ). Caractersticas do Processo

Simplicidade mantida a eficcia (nmero de etapas, nmero de pontos de deciso, nmero de recursos mobilizados)

Centralizao (risco para a acessibilidade) x descentralizao Integrao dos sistemas de informao (coleta, tratamento e controle) simplificao.

8/22/2018Footer Text

ANLISE DE QUALIDADE (ACESSIBILIDADE, PERTINNCIA, INTENSIDADE, CONTINUIDADE, INTEGRALIDADE)

Acessibilidade: Quais os obstculos para o acesso ao servio, benefcio, oportunidade etc.? Acessibilidade temporal (prazos, tempo de espera, fila etc.) Acessibilidade geogrfica (distncia ao servio, transporte, adaptao s PPNE

etc) Acessibilidade econmica (custos diretos e indiretos para o acesso) Acessibilidade cultural (lngua, costumes, religio, cultura tnica etc) Acessibilidade informacional (conhecimento e informao sobre servios,

benefcios, oportunidades etc.)


Intensidade: Qual a razo entre a quantidade de servios/benefciosofertados e a necessidade? Intensidade= Servios / Necessidades (dose)

A intensidade pode ser > 1 : interveno demasiada< 1 : interveno insuficiente

Produtividade= Servios / Recursos Disponibilidade = Recursos / Necessidades

Intensidade = Produtividade x Disponibilidade

A intensidade afetada pela acessibilidade (quanto mais difcil o acesso ao servio/benefcio maiores as chances de ser menos utilizado afetando a intensidade).


Pertinncia: A escolha da interveno (soluo tcnica) a maisadequada necessidade, ou seja, a mais eficaz em tratar anecessidade?

A interveno escolhida leva ao resultado esperado- eficaz ? O conceito de pertinncia , em geral, normativo (tem base no avano

da cincia e da tcnica): evidence-based practice uma critrio relativo, pois depende do contexto e da necessidade. A anlise de pertinncia depende de uma diagnstico de necessidades

(sociais, mdicas, econmicas etc).


Integralidade: os servios/benefcios ofertados so suficientes face ao rol denecessidades?

A anlise da integralidade seria a avaliao da pertinncia do conjunto das intervenes em facedo conjunto das necessidades.

Continuidade: as etapas sequenciais de um processo de interveno estoasseguradas? A descontinuidade pode acarretar perdas:

Temporais (perda de tempo) Espaciais (deslocamentos desnecessrios) Informacionais (perda de informao entre etapas) Relacionais (perda de relaes, mudanas de recursos)

A continuidade depende da acessibilidade a todas as etapas do processo.


Em sntese: fatores de desempenho internos aosistema de produo.


Qualidade Global do Processo

Acessibilidade

Pertinncia

Intensidade Produtividade

Continuidade

Integralidade


Contexto Organizacional

Objetivos e metas organizacionais. Decises de aquisio e alocao de

recursos no sistema de produo. Capacidade de avaliar, aprender e

inovar. Valores, incentivos, modos de

cooperao/participao na organizao do trabalho, na administrao de conflitos, na comunicao.

Influncia dos fatores de contexto organizacional

2.3. AVALIAO DE UTILIDADE

2.3.1. ANLISE DE EFEITOS / IMPACTO

2.3.2. ANLISE DE EFICINCIA

Perguntas: Que efeitos medir/observar? Quando medir/observar? Que parcela dos efeitos medidos/observados resultante da interveno? (Impacto)

Que efeitos medir/observar? O efeito buscado pelo programa deve ser identificado e justificado a priori.

No pela facilidade em medir No garimpar efeitos a posteriori

ANLISE DE EFEITOS (I)

EfeitoPrevisto

Sim NoD

esej

vel Sim (+) A D

No (-) B C

Quando observar/medir? A influncia do tempo na medio dos efeitos

a) Imediatos/mdio prazo/longo prazo

b) Efeitos que decaem (aumentam) com o tempo

c) Distncia entre a interveno e a avaliao dos efeitos.

ANLISE DE EFEITOS (II)

Que parcela dos efeitos medidos/observados resultante da interveno? (Impacto) Analisa a relao causal entre uma interveno e seus efeitos: X(causa) Y (efeito)

Condies para Causalidade XYi. Causa deve preceder o efeitoii. Causa e efeito devem estar ligadas empiricamenteiii. A relao entre as duas variveis no pode ser explicada por uma terceira

varivel (terceiro excludo) Exemplo de dificuldade: a causalidade reversa (XY)

ANLISE DE EFEITOS (III)


CAUSALIDADE DETERMINSTICA CAUSALIDADE PROBABILSTICA

A) Relao de determinismo absoluto

Critrio da necessidade e suficincia de X

X Y P(Y|X=1)=1~X ~Y P(Y|X=0)=0

i) X deve ocorrer para que Y ocorraE

ii) Se X ocorrer ento Y ocorre

Ex: A 3 Lei de Newton

B) Relao de determinismo no absoluto (parcial): causa suficiente ou necessria

i) X necessrio mas no suficiente para que Y ocorra.X ~Y ou Y P(Y|X=1)=[0, 1]

~X~Y P(Y|X=0)=0

ii) X no necessrio mas suficiente para que Y ocorra.~XY ou ~Y P(Y|X=0)=[0,1]

XY P(Y|X=1)=1

C) Relao de incerteza: causa no suficiente e no necessria

i) X no necessrio nem suficiente para que Y ocorra.Se X ocorre ento Y mais provvel

Se X no ocorre ento Y menos provvel

P(Y|X=1)>P(Y|X=0)

8/22/2018Fonte: Pal, L. A. (2014) Beyond Policy Analysis. Toronto: Nelson Education Ltd., p. 280. 143

Um modelo de impacto da interveno(viso simplista)

Reduzir o limite de velocidade nas

rodovias

Velocidade mdia nas estradas

Nmero de acidentes

8/22/2018Fonte: Pal, L. A. (2014) Beyond Policy Analysis. Toronto: Nelson Education Ltd., p. 280. 144

A realidade bem mais complexa...

Condies das estradas

Congestionamento

Condies climticas Desenho da

estrada

Dirigir embriagado

Imprudncia do motorista

Lei Seca

Educao para Trnsito

Nmero de acidentes

Reduzir o limite de velocidade nas

rodovias

Velocidade mdia nas estradas


Efeito Bruto Efeito LquidoEfeito de

outros processos

Efeito de Desenho

Diferena estimada no indicador de

resultado antes e depois do programa

Parcela da diferena estimada que

devida ao programa (impacto)

Parcela da diferena estimada que devida

a outros fatores externos ao programa

Parcela da diferena

estimada que devida ao

desenho da prpria avaliao

de impacto

O que o impacto de um programa?

VALIDADE INTERNA


Efeitos de outros processos Descrio

Seleo no controlada Autoseleo (local de moradia,

motivao, letrados etc.) Seleo induzida (deciso

administrativa, poltica etc.) Evaso do programa (atrito).

Alguns indivduos do pblico-alvo tem maior probabilidade de participar do programa devido a caractersticas prprias, eventos ou processos fora do controle do avaliador.

Os participantes do programa diferem de forma sistemtica dos no participantes antes da interveno, quando ambos fazem parte do pblico-alvo.

Os mesmos fatores que levam seleo de alguns participantes do programa so os mesmo fatores que podem explicar a diferena entre o seu resultado e o dos no participantes aps a interveno vis de seleo.

Mudanas endgenas Tendncia secular (longo prazo) Eventos repentinos (curto prazo) Maturao

Ocorrncias naturais ou de contexto que afetam o efeito de interesse de forma independente doprograma.

Outros programas Interveno de outros programas sobre o mesmo pblico-alvo ao mesmo tempo.


Efeitos de desenho DescrioEfeitos Estocsticos (Validade Estatstica)

Flutuaes estatsticas tomadas como efeito do programa (Erro tipo I falsos positivos).

Baixo poder estatstico levando a concluso de no efeito quando de fato existe um (Erro tipo II falso negativo)

Efeitos do Instrumento e da Estratgia de Medida(Validade da Medida)

Validade da varivel: A varivel escolhida mede adequadamente o fenmeno que se quer medir? (ex. renda mede pobreza?)

Confiabilidade do instrumento de medida: variaes de diferenas estimadas na varivel de interesse em funo da capacidade de se gerar o mesmo resultado em diferentes aplicaes. (ex. o Cad.nico oferece uma medida de renda confivel - renda declarada?);

Sensibilidade da medida para detector mudanas: a medida dos efeitos (resultados) desejados deve ser sensvel o suficiente para detector mudanas na magnitude almejadapela interveno.

Observado

No observado

Antes da interveno

Depois da interveno

Mundo Real:O indivduo foi tratado

Mundo ContrafactualO indivduo no foi tratado

PROBLEMA FUNDAMENTAL DA AVALIAO DE IMPACTO

Observado

No observado

Antes da interveno

Depois da interveno


0

= 1 0

?


Mundo ContrafactualO indivduo no foi tratado

1

MEDIDO

ESTIMADO

Observado

Observado

Antes da interveno

Depois da interveno


0

= 1 ?


Mundo RealUm outro indivduo que no foi tratado

1

Para inferir causalidade preciso identificar um substituto para o indivduo do mundo CONTRAFACTUAL que seja VLIDO.

CASO CONCRETO: A INFLUNCIA DO PLANO DE SADE NA SADE DA POP. AMERICANA.

Homens MulheresAlgum Plano

de SadeNenhum Diferena Algum Plano

de SadeNenhum Diferena

Sade

ndice de Sade

4,01 3,70 0,31 4,02 3,62 0,39

Caractersticas

No Brancos 0,16 0,17 -0,01 0,15 0,17 -0,02

Idade 43,98 41,26 2,71 42,24 39,62 2,62

Educao 14,31 11,56 2,74 14,44 11,80 2,64

Tamanho da Famlia

3,50 3,98 -0,47 3,49 3,93 -0,43

Empregado 0,92 0,85 0,07 0,77 0,56 0,21(0,02)

Renda Familiar $106.467,00 $45.656,00 $60.810,00 $106.212,00 $46.385,00 $59.828,00

Tamanho da Amostra

8.114 1.281 8.264 1.131

8/22/2018Fonte: Angrist, J. D., Pischke, J.S. (2015) Mastering Metrics: the Path from Cause to Effect. Princeton: Princeton University Press. 152

ATIVIDADE


Discutir em 5 minutos nos grupos:

As diferenas observadas podem ser atribudas ao plano de sade? Por que?


Antes da interveno

Depois da interveno

Observado

No Observado

VIS

Observado

= + -

VIS


Estimativa no enviesada

Estimativa no enviesada

VIS

Trs condies devem ser satisfeitas para a validade de uma estimativa de impacto:i) Na mdia, as caractersticas (observveis e no observveis) dos grupos de tratamento e

de comparao devem ser as mesmas.ii) O grupo de tratamento e o grupo de comparao devem apresentar a mesma reao ao

programa.iii) Os grupos de tratamento e de comparao no podem ser expostos de maneira diferente

a outras intervenes durante o perodo de avaliao.

Desenho da Avaliao Descrio Obs.

1) Mtodo No Experimental Estudo que simplesmente observa o tamanho e a direo da relao entre variveis, usando ou no controlesestatsticos para possveis alternativasde explicao.

No permite atribuir causalidade .

2) Experimento Aleatrio Controlado As unidades de anlise so alocadas aleatoriamente aos grupos de tratamento (T) e controle (C).

O desenho considerado mais rigoroso para atribuio de causalidade.

3) Experimento Natural As unidades de anlise sosubmetidas ao T ou ao C por eventosnaturais ou exogenamenteproduzidos; causas no manipuladas.

Utiliza fatores exgenos como eventos naturais ou polticas como estratgiade identificao do efeito causal.

4) Quase-Experimento As unidades de anlise no so alocadas aleatoriamente aos grupos de T e C.

Utiliza mtodos de anlise quebuscam aproximar do experimentocontrolado.

MTODOS PARA ANLISE DE IMPACTO


1) Mtodo No-Experimental


T

INTERVENO

x

0 C

A) DESENHO COMPARAO ESTTICA ou COM e SEM o programa

depois

Pressuposto:

Estimativa-

Objetivo: Aumentar a renda dos jovens.

Dois anos aps o programa os jovens que se inscreveram no programa ganham duas vezes mais do que aqueles que no se inscreveram.

Perguntas:

1. Pode-se dizer que o impacto do programa foi de 100% sobre a renda dos jovens? Por qu?

2. Essa estimativa pode estar enviesada? Nesse caso a estimativa de impacto estaria subestimada ou sobrestimada?


CASO: PROGRAMA DE TREINAMENTO PROFISSIONALPARA JOVENS DESEMPREGADOS.


T T

INTERVENO

x

0

B) DESENHO ANTES-DEPOIS

antes depois

Pressuposto:

Estimativa

-

Objetivo: aumentar a produo de arroz

Antes do programa: mdia de 1.000 quilogramas (kg) de arroz por hectare

Um ano aps o incio do programa: mdia de 1.100 quilogramas (kg) de arroz por hectare.

Perguntas:

1. Qual seria a estimativa de impacto usando o desenho antes-depois?

2. Essa estimativa pode estar enviesada? Por qu?

3. Suponha que no ano de implementao do programa tenha ocorrido uma seca. Nesse caso a estimativa antes-depois estaria subestimada ou sobrestimada?


CASO: PROGRAMA DE MICROCRDITO PARAAGRICULTORES ADQUIRIREM FERTILIZANTES.

8/22/2018Fonte: Gertler, P., Martinez, S., Premand, P., Rawlings, L. B., Vermeersch, C.M. 2011. Impact Evaluation in Practice. Washington DC: World Bank, P.41.

163

2) EXPERIMENTO ALEATRIO CONTROLADO


Pop.Elegvel

Amostra de

Elegveis

T

C

Aleatorizao 2

T

C

INTERVENO

x

0

Linha de base

antes depois

= 1 0

0

1

Aleatorizao 1

Objetivo: Reduzir o gasto per capita das famlias em sade pelo menos US$9.00

100 municpios foram aleatoriamente escolhidas para a proviso do subsdio.


CASO: PROGRAMA DE SUBSDIO A FAMLIAS RESIDENTES EMREAS RURAIS PARA AQUISIO DE PLANOS DE ASSISTNCIABSICA A SADE PARA CONSULTAS E MEDICAMENTOS.

8/22/2018Fonte: Gertler, P., Martinez, S., Premand, P., Rawlings, L. B., Vermeersch, C.M. 2011. Impact Evaluation in Practice. Washington DC: World Bank, P.62. 166

POTENCIAIS PROBLEMAS DE VALIDADE INTERNA E EXTERNA EM EXPERIMENTOS ALEATRIOS CONTROLADOS

Contaminao do grupo de controle: Influncia devido interao com o grupo de tratamento.

Cross-over: passagem de participantes do grupo de controle para o grupo de tratamento ou vice-versa aps a alocao aleatrio.

Atrito: sada de participantes do experimento ao longo do perodo de avaliao da interveno.

Efeito Hawthorne: mudana de comportamento entre os indivduos de um grupo detratamento pelo simples fato de saberem estar participando de um estudo.

Efeito John Henry: os indivduos do grupo de controle mudam seu comportamento dadireo do efeito buscado pelo tratamento por terem sido excludos do grupo detratamento.


Definido por situaes nas quais um agente externo (Z) interveno de interesse (X) aloca aleatoriamente indivduos aos grupos de tratamento e de controle.

Agentes exgenos (Z): desastre natural, caracterstica geogrfica, mudanas repentina em polticas. Exemplo 1: Furaco Katrina gerou a alocao de crianas de escolas de baixo desempenho da cidade de

Orleans para escolas de alto desempenho de reas suburbanas da regio. Bruce Sacerdote estimou oimpacto da mudana da qualidade da escola frequentada no resultado educacional dessas crianas(comparado s crianas que no foram deslocadas).

Exemplo 2: Uso da diferena de linha de corte utilizada por diferentes estados americanos para conferir ocertificado de concluso do ensino mdio (General Educational Development-GED) de alunos queabandonaram a escola e prestaram a bateria de exames que permitem conferir o certificado. Tyler,Murnane e Willett estimaram o impacto da obteno do GED na renda do trabalho de alunos evadidos combaixo nvel de qualificao.

Exemplo 3: Sorteio realizado entre 1970-1975 pelo Departamento de Defesa nos EUA para definir osjovens (19-20 anos) que seriam elegveis ao recrutamento para a guerra do Vietnam foi utilizado porJoshua Angrist para estimar o impacto do servio militar no renda do trabalho.

Dificuldade: Argumentar que a alocao natural ao tratamento foi de fato exgena, ou seja, a participao notratamento no sofreu influncia dos participantes.


3) EXPERIMENTO NATURAL

3.1) Variveis Instrumentais

O desenho explora algo que seja aleatrio e se relaciona com a condio de tratamento(instrumento).

A varivel instrumental deve ser: Correlacionada com o tratamento (relevncia) testvel No correlacionada com o resultado na condio de no tratamento (validade)

pressuposto


instrumento

resultadotratamento

EXEMPLO (KEARNY E LEVINE, 2015)

8/22/2018

Footer Text

172

Instrumento: a distncia da localidade torrede TV mais prxima que transmitia o programae se a torre transmitia em UHF ou VHF

Dois grupos:i) Localidades com forte recepo: a menos

e 60 milhas das torres e com transmissoUHF.

ii) Localidades com fraca recepo: todas asdemais que violam uma das duascondies.


As crianas em reas com forte recepo do programa tinham, em 1980, maior probabilidade de estar na srie adequada idade (1,5 e 2,0 p.p)

3.2) Regresso descontnua

Usa o prprio critrio de seleo do programa como estratgia de identificao caso duas condies ocorram: O indicador usado para eleger o indivduo para o programa uma varivel contnua. O critrio de elegibilidade bem especificado utilizando esse indicador.

Exs.: Idade de aposentadoria; ndice de pobreza com base na renda; idade legal para ingresso no mercado de trabalho; resultado de exame para ingresso na universidade (e.g. ENEM).

Os indivduos logo acima do ponto de corte (tratados) e logo abaixo do ponto de corte (comparao) tendem a ser equivalentes a menos da condio de participao no programa.

A RD estima o impacto pela diferena nos resultados observados dos grupos em torno do ponto de corte (logo um LATE).

Pressuposto: o resultado de interesse (Y) na condio de no tratamento cresce de modo contnuo com a varivel de seleo (X) em torno do ponto de corte.

Permite estimar o impacto sem excluir ningum elegvel.



1

Di

0

Di=1 se Xi < c

0 se Xi > c

Xc X

Y

Critrio de elegibilidade Resultado de interesse

Objetivo: Aumentar o consumo dealimentos pelas famlias pobres (at50 pontos no indicador de pobreza)


CASO: PROGRAMA DE TRANSFERNCIA DE RENDA PARAFAMLIAS POBRES.

No elegvel

Elegvel

8/22/2018Fonte: Gertler, P., Martinez, S., Premand, P., Rawlings, L. B., Vermeersch, C.M. 2011. Impact Evaluation in Practice. Washington DC: World Bank, P.86 180

Limitaes da RD:- Produz uma estimativa local (LATE) do impacto, no sendo possvel generaliz-la para grupos distantes da

linha de corte.- H um trade-off entre vis e poder estatstico determinado pelo intervalo de casos em torno do ponto de corte.

O poder estatstico diminui quando se reduz o intervalo de casos em torno do ponto de corte mas o risco de vis se reduz. O contrrio ocorre quando se aumenta o intervalo de casos em torno do ponto de corte.

4) QUASE-EXPERIMENTO

4.1) Diferenas em diferenas (DiD)4.2) Pareamento (Matching)


A

4.1) Diferenas em Diferenas (DiD)

Compara as mudanas nos resultados ao longo do tempo entre o grupo de tratamento e o grupo de comparao.


antes depois

B

Y

Estimativa enviesada do impacto:B-A (primeira diferena)

CD

Mudana devida a fatores externos que variam com o tempo: D-C (segunda diferena)

DiD=(B-A) (D-C)

4.1) Diferenas em Diferenas (DiD)

Compara as mudanas nos resultados ao longo do tempo entre o grupo de tratamento e o grupo de comparao.


antes depois

B

Y

Estimativa enviesada do impacto:B-D (primeira diferena)

DiD=(B-D) (A-C)

DC

A Vis

ImpactoDiferena existente entre o grupo de tratamento e de controle antes do tratamento:A-C (segunda diferena)

Antes Depois DiferenaTratamento A B (B-A)Comparao C D (D-C)Diferena (A-C) (B-D) DiD


A estimativa DiD representada em tabela:

DiD=(B-A) (D-C)

ou

DiD= (B-D) - (A-C)

Um pressuposto precisa ser satisfeito para que DiD gere uma estimativa no enviesada do impacto:

Tendncias equivalentes entre controle e tratamento na ausncia doprograma, ou seja, que no ocorram eventos durante o transcurso daavaliao que possam afetar de modo diferente o grupo de tratamento eo grupo de controle afetando o resultado de interesse.


Violao do pressuposto de tendncias equivalentes na estimativa DiD


antes depois

C

B

Y

A

D

Estimativa enviesada do impacto:B-D

Vis assumido

Impacto estimado

Vis real

Impacto real

Diferena existente entre o grupo de tratamento e de controle antes do tratamento:A-C (segunda diferena)

DiD=(B-D) (A-C) Estimativa enviesada!

Teste (I): avaliar se as tendncias temporais dos grupos de controle etratamento antes da implementao do programa so equivalentes.


antes depois

B

Y

D

A

C

DiD=(B-D) (A-C)

Teste (II): teste do placebo

Estimar a DiD utilizando um grupo de tratamento falso.A estimativa de impacto deve ser zero.

Estimar a DiD sobre um resultado falso (um que nopossa ser afetado pelo programa). A estimativa deve sezero.

Teste (III): Estimar a DiD utilizando mais de um grupo de comparao. As estimativas devem ser aproximadamente iguais.


4.2) Mtodo de pareamento (MATCHING)

Identifica unidades equivalentes, segundo um conjunto de variveis observveis , entre participantes e no participantes do programa (ajuste estatstico ): pareamento

Assume que o vis de seleo depende apenas de variveis observveis(pressuposto)

No funciona caso o vis de seleo dependa de variveis no observveis Ex> Programas de participao voluntria


= + -

VIS

A estimativa utilizando o pareamento segue os seguintes passos:

1. Escolhe um indivduo tratado

2. Encontra-se o(s) indivduo(s) mais parecido(s) com ele no grupo de comparao (no tratados).

3. Calcula-se o impacto estimado para cada indivduo tratado fazendo a diferena entre o resultado aps o tratamento neste indivduo e a mdia dos resultados do no tratamento nos indivduos com ele pareados pertencentes ao grupo de comparao (no tratados).

4. Toma-se a mdia dessas diferenas.


8/22/2018Fonte: Gertler, P., Martinez, S., Premand, P., Rawlings, L. B., Vermeersch, C.M. 2011. Impact Evaluation in Practice. Washington DC: World Bank, P.108 199

Quanto menos variveis so consideradas, mais h risco de deixar de fora variveisrelevantes que interferem simultaneamente na participao no programa e noresultado de interesse.

Quanto mais variveis se considera no pareamento mais difcil se torna encontrarpares equivalentes na base de dados disponvel (Maldio da dimensionalidade)

O uso do pareamento por escore de propenso (propensity scorematching) ajuda a resolver a dificuldade da muldimensionalidade nopareamento. Ao invs de parear um a um os indivduos que participam e no participam do

programa a partir de cada varivel, calcula-se a probabilidade de cada indivduo departicipar do programa dado suas caractersticas observveis (escore depropenso).

P(Xi)=Prob (Di=1| Xi) = [0,1]


Escore de propenso

O mtodo de pareamento por escore de propenso exige um suportecomum entre o grupo de tratamento e o grupo de comparao.

8/22/2018Fonte: Gertler, P., Martinez, S., Premand, P., Rawlings, L. B., Vermeersch, C.M. 2011. Impact Evaluation in Practice. Washington DC: World Bank, P.110

201

Passos bsicos na pareamento por escore de propenso:

1. Ter uma base de dados com indivduos participantes e no participantes do programa que contenha muitas caractersticas relevantes (que afetam a prob. de participar e o resultado) medidas na linha de base.

2. Estimar a probabilidade do indivduo participar do programa condicionada s suas caractersticas (P(Xi)).

3. Verificar a existncia de um suporte comum e restringir a amostra aos indivduos cujo P(Xi) se localize no suporte comum.

4. Para cada indivduo do grupo de tratamento associar o seu vizinho mais prximo no grupo de comparao com base no P(Xi).

5. Verificar aps o pareamento se h um balanceamento entre as caractersticas (Xi) do grupo de tratamento e o de comparao pareado.

6. O impacto do programa estimado pela diferena mdia do resultado de interesse entre o grupo de tratamento e o de comparao pareado.


Limitaes do mtodo do pareamento por escore de propenso:

1. Requer bases de dados grandes com muitas variveis e um suporte comum entre grupo de tratamento e de comparao.

2. O pareamento s pode ser feito com base em caractersticas observveis (variveis no observveis ainda podem gerar diferenas sistemticas entre os grupos de tratamento e comparao).

3. menos robusto RCT, IV, RDD, DiD!


2.3. AVALIAO DE UTILIDADE

2.3.1. ANLISE DE EFEITOS / IMPACTO

2.3.2. ANLISE DE EFICINCIA

Perguntas:

Os benefcios gerados justificam os custos?

possvel obter da interveno melhores resultados por um custo equivalente ou o mesmo resultado por um custo inferior?

Existem alternativas de interveno mais eficientes (maior utilidade ao menor custo)?

Eficincia um conceito relativo. S faz sentido por comparao entre intervenes em termos de custos e benefcios

gerados.

A eficincia no o nico valor a ser levado em conta na elaborao e implementao daspolticas pblicas.

Os benefcios so em geral estimados por meio da anlise de efeitos (seo anterior)

A anlise de eficincia exige a estimativa de custos Custos diretos da interveno (fixos e variveis)

Quais os recursos necessrios para implementar o programa? Qual o volume ser utilizado? Qual o preo da unidade de consumo por recurso utilizado?

Que outros custos devem ser considerados? Custos indiretos Externalidades (negativas) Custos de oportunidade


Mtodos de avaliao de eficincia:

Anlise custo-benefcio Anlise custo-efetividade


Anlise custo-benefcio

Alte

rnat

iva

Bene

fcio

Cust

os

Bene

fcio

L

quid

o

Raz

o Be

nefc

io/

Cust

o

A $ 9.000.000

$ 6.000.000

$ 3.000.000 1.50

B $ 6.000.000

$ 4.000.000

$ 2.000.000 1.50

C $ 2.000.000

$ 1.000.000

$1.000.000 2.00

Entre duas ou mais intervenes se comparam oscustos totais com os benefcios totais monetizados e seopta pela alternativa de menor razo custo/benefcio(ou de maior razo benefcio/custo).

Dificuldades:

i) Custos e benefcios apurados sobre quem(participantes, financiador, sociedade)?

ii) Monetizar benefcios nem sempre possvel.


Para discusso ...

Pergunta: Qual a alternativa de interveno voc adotaria? Por qu?

Anlise custo-efetividade

Alte

rnat

iva

Bene

fcio

Cust

os

Raz

oCu

sto

/ Ef

etiv

idad

e

A100 km $ 6.000.000 $ 60.000 / km

B200 km $ 4.000.000 $ 20.000 / km

C100 km $ 1.000.000 $ 10.000 / km

Entre duas intervenes com o mesmo nico objetivo,opta-se pela que produz a maior quantidade do resultadodesejado (ex. nmero de graduados, vidas salvas, kmconstrudo) ao menor custo.

Dificuldade: No possvel comparar o retorno deprogramas com diferentes objetivos.


Para discusso ...

Pergunta: Qual a alternativa de interveno voc adotaria? Por qu?

3. PROJETO DE AVALIAO (DESENHO, GESTO E DISSEMINAO)

CICLO DE UM PROJETO DE AVALIAO

Documents

AVALIAÇÃO DE POLÍTICAS PÚBLICAS: TIPOLOGIAS E TÉCNICAS DE ...repositorio.enap.gov.br/bitstream/1/3369/2/Avaliação de... · setor público e seus tomadores de decisão operam