34
Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR) Claudia Romano Fátima Amazonas, Túlio Barbosa, Hans Binswanger, Alberto Costa, Naércio Menezes, Elaine Pazello

Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

  • Upload
    azuka

  • View
    22

  • Download
    0

Embed Size (px)

DESCRIPTION

Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR). Claudia Romano Fátima Amazonas, Túlio Barbosa, Hans Binswanger, Alberto Costa, Naércio Menezes, Elaine Pazello. Sumário da Apresentação. O que é o PCPR Desenho do Estudo - PowerPoint PPT Presentation

Citation preview

Page 1: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Avaliação de Impacto do Projeto de Combate à Pobreza Rural

(PCPR)

Claudia Romano

Fátima Amazonas, Túlio Barbosa, Hans Binswanger, Alberto Costa, Naércio Menezes, Elaine Pazello

Page 2: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Sumário da Apresentação

• O que é o PCPR

• Desenho do Estudo

• Principais desafios e Métodos utilizados para lidar com estes desafios

• Principais Resultados

• Capital Social

• Implicações para Políticas Públicas

Page 3: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

O que é o PCPR

• Programa opera na zona rural do Nordeste desde 1993; baseado na demanda comunitária.

• Financia pequenos projetos comunitários, de infraestrutura, produtivos e sociais.

• Exemplos: pequenos sistemas de abastecimento de água; eletrificação; casa de farinha; beneficiamento mel; centro comunitário

Page 4: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

O Programa opera em grande escala:(1993 a 2005)

Page 5: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Qual a pergunta? Como responder?

• Definição do que o estudo deve responder

• Compreensão do funcionamento do Projeto

Page 6: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Desenho do Estudo: Aspectos gerais

Pergunta: impacto do programa sobre acesso a serviços de infra-estrutura, ativos, saúde, e capital social ?

Note: diferente de perguntar se processo CDD é melhor do que benefícios distribuídos aleatoriamente

Page 7: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Desenho do Estudo:Aspectos gerais

• Amostra: 864 domicílios entrevistados em 2005; em 54 comunidades tratamento e 54 controle; 8 domicílios por comunidade

• Abrangência: Ceará, Piauí e Rio Grande do Norte

• Análise sobre impacto entre 2002 e 2005

Page 8: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Principais Desafios do Estudo

(1) Viés de Seleção

(2) Falta de Perfil de Entrada

(3) Qualidade dos Dados

Page 9: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Principais desafios para desenho do estudo: (1) Viés de seleção

• O PCPR estimula comunidades a se auto-selecionarem, portanto: – Comunidades que obtém subprojetos são

mais capacitadas, têm melhor capital social, possivelmente maior renda e riqueza do que as comunidades não-beneficiadas

– Portanto, temos um viés de seleção positivo

Page 10: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Método: Reduzindo o viés de seleção- 3 métodos em 4 etapas

1) Método “amostragem pipeline” (lista de espera):

o tratamento selecionado entre beneficiários de 2002 (primeiro subprojeto)

o controle selecionado entre solicitantes já aprovados mas ainda não contemplados pelo programa em 2005

Esta forma de seleção garante que controle seja mais similar a tratamento

o mas ainda há possibilidade de viés pois há 3 anos de diferença na obtenção do projeto

Page 11: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Reduzindo o viés de seleção

2) Método Propensity-Score matching - PSM (pareamento por índice de probabilidade).

– Diminui as diferenças devidas a características observadas

– PSM em dois estágios:o Primeiro estágio: nível comunitário para

seleção amostraloSegundo estágio: na análise, níveis

domiciliar e comunitário

Page 12: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

PS antes e depois do pareamento

Page 13: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Reduzindo o viés de seleção

3) Análise de painel ou “diferenças-em-diferenças”:

- diminui as diferenças entre controle e tratamento devidas a características de efeitos aditivos em variáveis não-observáveis e observáveis não medidas

– As únicas características não passíveis de controle são as não-observáveis de efeito variável

Page 14: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Resultados indicaram que a combinação destas 4 etapas teve efeito na redução do

viés

Page 15: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Principais desafios: (2) falta de perfil de entrada

• Faltavam dados domiciliares da situação no período anterior à implementação dos subprojetos

• Perfil de entrada realizado pela Fecamp era muito recente (2004) para retorno e estudo de impacto de médio-prazo.

Page 16: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Método: Como lidamos com falta de um perfil de entrada

• Coleta de dados com “recall”

• Capital físico (ativos), capital social e alguns indicadores sobre saúde.

• Momento importante: última vez que Brasil ganhou a Copa do Mundo (julho de 2002)

• Situação antes da formação da associação

Page 17: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Principais Desafios: (3) Qualidade dos Dados

• Testes de campo e treinamento entrevistadores: – Questionários testados no campo duas vezes

• Dados:– Taxa de resposta a questionários foi alta– Análise dos dados revelou pequena proporção de

outliers• Exceção foram dados sobre valor da terra e

tamanho da propriedade. Decidiu-se por não utilizar estes dados na análise

Page 18: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

PRINCIPAIS RESULTADOS

Page 19: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Impactos positivos sobre acesso a água e eletricidade

• Todos modelos estimados demonstraram impacto positivo e significativo do programa sobre acesso à água e à rede elétrica

Page 20: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Efeitos sobre acesso a águaTabela 3.12: Impacto do PCPR sobre o acesso a rede de água

água Amostra resultante do matching Modelo 1 Modelo 2 Modelo 3

0,095* Tratamento

(0,034) 0,242*

Trat*Abast (0,044) -0,029

Trat*Eletrif (0,028) -0,009

Trat*Prod (0,036) 0,290*

Trat*Ce*Abast (0,049) 0,033

Trat*Rn*Abast (0,051) 0,010

Trat*Rn*Prod (0,050) -0,029

Trat*Pi*Eletr (0,028) -0,029

Trat*Pi*Prod (0,028)

0,029 0,029 0,029 constante

(0,028) (0,028) (0,028) nº de observ. 573 573 573 F (k, n-1) 7,93 . . Prob > F 0,0050 . . R-quadrado 0,0189 0,0851 0,1033

*Entre parênteses desvios-padrões robustos à heterocedasticidade. * Estatisticamente Significante a 5%

Page 21: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Efeito sobre eletrificaçãoTabela 3.13: Impacto do PCPR sobre o acesso a rede de luz

luz Amostra resultante do matching Modelo 1 Modelo 2 Modelo 3

0,088* Tratamento

(0,020) 0,042

Trat*Abast (0,024) 0,400*

Trat*Eletrif (0,080) 0,066*

Trat*Prod (0,023) 0,054*

Trat*Ce*Abast (0,026) -0,010

Trat*Rn*Aabast (0,046) 0,029

Trat*Rn*Prod (0,023) 0,400*

Trat*Pi*Eletr (0,080) 0,106*

Trat*Pi*Prod (0,035)

0,010 0,010 0,010 Constante

(0,013) (0,013) (0,013) nº de observ. 573 573 573 F (k, n-1) 18,92 10,43 6,87 Prob > F 0,0000 0,0000 0,0000 R-quadrado 0,0285 0,1051 0,1122

Page 22: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Impactos sobre ativos domiciliares

• Impacto positivo sobre ativos, em todos os modelos, inclusive sobre cada tipo de ativo e de projetos analisados separadamente (por volta de 30 coeficientes estimados)

• Nenhum dos coeficientes de impacto no valor total de ativos é estatisticamente significativo; somente alguns dos impactos em tipos específicos de ativos são estatisticamente significativos

Page 23: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Efeito sobre ativos per capita

Amostra resultante do matching ativos totais domiciliares per capita Modelo 1 Modelo 2 Modelo 3

523,789 Tratamento

(442,423) 505,380

Trat*abast (446,599) 430,351

Trat*eletrif (448,319) 558,453

Trat*prod (458,631) 602,750

Trat*Ce*abast (447,093) 76,347

Trat*Rn*abast (532,012) 749,101

Trat*Rn*prod (506,935) 430,351

Trat*Pi*eletr (449,109) 353,757

Trat*Pi*prod (448,862)

-480,328 -480,328 -480,328 Constante

(434,952) (435,716) (436,483) nº de observ. 573 573 573 F (k, n-1) 1,400 0,600 1,450 Prob > F 0,237 0,615 0,205 R-quadrado 0,015 0,015 0,019

Page 24: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

PCPR reduz incidência de doenças

• Análise das doenças mais comuns: diarréia, verminoses, dengue, hepatite, asma e doença de chagas

• PCPR diminui a incidência do conjunto das doenças e, em especial, sobre ‘hepatite’, ‘asma’ e ‘doença de chagas’

• Resultados indicam pequeno efeito positivo também sobre mortalidade infantil

Page 25: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Efeito sobre incidência de doenças

doenças Diarréia Verminoses Dengue Hepatite Asma Chagas Doenças Tratamento 0,350 0,467 0,022 1,040* 1,229* 1,219* 0,704 (0,592) (0,548) (0,550) (0,534) (0,538) (0,643) (0,512) Nº de obs. 72 72 72 72 71 66 66 Chi2(k) 0,350 0,730 0,000 3,800 5,210 3,600 1,890 P > chi2 0,554 0,394 0,969 0,051 0,023 0,058 0,169 Pseudo R2 0,004 0,007 0,000 0,037 0,048 0,045 0,009

Page 26: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

O que o estudo não respondeu

• Este estudo usou o capital físico (ativos) como um indicador da renda. – Comunidades pobres podem consumir grande parte

de aumento na renda, o que não se reflete em aumento de capital.

• Resultados indicam que há probabilidade do impacto na renda ser positivo, mas não são conclusivos. – Para medir impacto na renda é necessário usar

dados de perfil de entrada coletados na época de implementação dos projetos

Page 27: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Capital Social - KS

• Objetivo: medir impacto do PCPR na organização da vida social e instituições locais e as relações entre as comunidades e o Estado

• Medir impacto quantitativamente

• Construção de índices a partir de questões concretas e simples

Page 28: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Como medimos Capital Social• Indices de Capital Social (KS)

– “CONDICIONANTES”

– Cognitivo: grau de confiança, solidariedade e ajuda mútua

– Estrutural: formação e engajamento em associações

– “RESULTANTES”

– Participação comunitária: solução conjunta de assuntos locais

– Participação civil: representação e influência em decisões governamentais

Page 29: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Impactos no Capital Social são maiores na relação entre comunidade e governo local: induz maior transparência pública

e redução de riscos de corrupção.

Page 30: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Conclusões Principais KS

– Impacto positivo em capital social em geral, mas maior em indicadores de envolvimento da comunidade na política pública local

– O PCPR se baseia no capital social existente, transformando o capital social comunitário em ação de controle e participação na esfera de políticas públicas locais

– Assim induz maior controle sobre interferência política e corrupção

Page 31: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Implicações para Políticas Públicas

• Alcance com relação aos serviços de infra-estrutura é alto e abrangente, enquanto impacto na renda ainda baixo

• Alguns Governos Estaduais estão assumindo atender a infra-estrutura básica com recursos do Tesouro (Estadual e/ou Federal)

• Nova Fase – Projetos Desenvolvimento Local : Integração rural-urbana – maioria dos municípios de pequeno porte

• Ênfase em projetos produtivos com alcance de mercado – arranjos produtivos locais como base para os investimentos

Page 32: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Implicações para Políticas Públicas

• Fortalecimento da Integração das políticas nos 3 níveis de governo, utilizando no âmbito local os mecanismos participativos do PCPR: Conselhos Municipais e Territoriais

• Integração Regional através do tratamento das questões ambientais, gerenciamento dos recursos naturais, ampliação da escala , ampliação do acesso aos mercados

• Competitividade, Inovação, Tecnologia – aplicação estratégica

Page 33: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Sugestões para Futuros Estudos

• Um estudo metodologicamente apropriado não é necessariamente difícil de ser implementado e tem um alto poder de produzir resultados úteis e confiáveis;

• Os termos de referência dos estudos de avaliação de impacto devem ser claramente definidos no período de preparação do Projeto, devendo ser anexados ao PAD;

• O perfil de entrada deve ser realizado em até seis meses após a declaração de efetividade do empréstimo; a contratação do perfil deve fazer parte de um pacote de todas as atividades/produtos esperados no estudo de avaliação de impacto;

• Selecionar indicadores de avaliação com clara relação (causa-efeito) com as atividades intencionais do Projeto; evitar a tentação de grande número de indicadores

• MIS deve conter registro das informações associadas com atividades e indicadores, incluindo o perfil das comunidades no momento de entrada no Projeto

Page 34: Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

Conclusão• Elabore a pergunta certa para o estudo

(olhando em perspectiva o que deseja obter)

• Forneça todas as informações sobre o funcionamento real do programa

• Defina claramente os indicadores que, por experiência dos gestores, são provavelmente afetados pelo programa

• Os resultados serão muito úteis!