Upload
hoangbao
View
221
Download
0
Embed Size (px)
Citation preview
Treinamento em Monitoria e Avaliação para o Governo de Moçambique
27 de fevereiro a 03 de março de 2017Maputo
Aula 06
PROGRAMA RENDA MELHOR:
da formulação à avaliação
Parte 2Curso de Monitoria e Avaliação
Maputo, Moçambique27 de fevereiro a 03 de março de 2017
Antonio Claret Campos FilhoEspecialista em Políticas Públicas e Gestão Governamental
Teoria da Mudança e sistema de M&A – Programa Renda Melhor, Governo do Rio de Janeiro
A renda per capita das famílias beneficiadas é elevada até a
linha de extrema pobreza
Ati
vid
ad
es
Algoritmos e sistema de informações
Acompanhar
desembolsos
financeiros
Revisar
Benefícios
Selecionar
Beneficiários
Folha de Pagamento
Bolsa Família
Sistema de Monitoria e Avaliação
Famílias em pobreza extrema
recebem os benefícios financeiros do Programa Renda Melhor
Pro
du
tps
Imp
act
o
Melhoria nas Condições de Vida da
População do Estado do RJ
Articulação Interinstitucional
estabelecida
Re
sult
ad
os
Re
sult
ad
os
Fin
ais
Folha de Pagamento
do Renda Melhor
elaborada
Ibsu
mo
Acompanhar
Condicionalidades
Portal Rio Sem
Miséria
Lei Orçamentária
Repasse financeiro
ao agente pagador
Sistema de Gestão do Renda Melhor
Cadastro Único
Indicadores Fontes de
Verificação
Pesquisa Avaliação
de Impacto
Taxa de cobertura da
população alvo do
programa como um todo e
de grupos de especial
interesse
Redução da taxa de
trabalho infantil
Aumento da renda
Manual
Operatrivo
Nº benefícios pagos
Recursos transferidos
Regras de negócio do
programa definidas
Marco normativo
estabelecido (leis,
decretos, acordos de
cooperação etc.)
Sistema de
Gestão do Renda
Melhor
Aumento da segurança
alimentar
• O Manual Operativo (MOP) tem como objetivo fornecer informações sobre o Programa Renda Melhor, desde a sua concepção, bases legais e demais informações, com especial foco nos aspectos técnicos e operacionais, permitindo transparência e maiores esclarecimentos às demais Subsecretarias da SEASDH, aos demais Secretários de Estado e instituições responsáveis pela execução dos diversos serviços e atividades de gestão técnica, operacional e financeira do programa.
Manual Operativo do Programa Renda Melhor
Estruturação do MOPCAPÍTULO 1. ALCANCE E UTILIZAÇÃO DO MANUAL OPERATIVO
o Apresenta o Manual Operativo no que diz respeito à sua finalidade, estrutura, cobertura institucional, escopo, usuários e procedimentos para a sua atualização.
CAPÍTULO 2. PLANO RIO SEM MISÉRIA
o Apresenta a estratégia definida para o Plano Rio Sem Miséria e a metodologia desenvolvida pela FGV de predição de renda e implementada pela SEASDH com o apoio operacional do PRODERJ.
CAPÍTULO 3. SOBRE O PROGRAMA RENDA MELHOR
o Descreve os objetivos e as principais características do Programa Renda Melhor. Apresenta também uma retrospectiva sobre o Projeto Piloto, as expansões de 2012 (48 municípios) e 2013 (40 municípios) e o processo de revisão dos benefícios.
Estruturação do MOP (cont.)CAPÍTULO 4. ORGANIZAÇÃO DO PROGRAMA
o Apresenta a estrutura organizativa e operacional do programa Renda Melhor relacionando os principais atores – interinstitucionais e intrainstitucionais – e respectivos papéis na operacionalização do programa.
CAPÍTULO 5. GESTÃO ORÇAMENTÁRIA E FINANCEIRA DO PROGRAMA o Detalha os papéis e procedimentos que estão sob a responsabilidade da
SEASDH/SSPOA, SEPLAG e SEFAZ, descrevendo as principais etapas e procedimentos relacionados ao processo mensal de pagamento dos benefícios do Programa Renda Melhor.
CAPÍTULO 6. MODELO DE OPERAÇÃO E GESTÃO o Apresenta as ferramentas desenvolvidas em parceria institucional com o
PRODERJ - Sistema de Gestão do Programa Renda Melhor e Sistema Estadual de Consulta ao CadÚnico - destacando seus objetivos, características e sua relevância para apoiar a gestão e o monitoramento do Renda Melhor.
o Apresenta, também, o Modelo Operacional do programa, detalhando as principais etapas e fluxos do ciclo mensal de pagamento.
Estruturação do MOP (cont.)CAPÍTULO 7. MONITORAMENTO E AVALIAÇÃO
o Apresenta o Portal de Informações Gerenciais do Rio Sem Miséria, descrevendo os objetivos, características, principais informações disponibilizadas - gráficos e relatórios -, público alvo e sua relevância para o monitoramento do Plano Rio Sem Miséria.
o Aborda também as parcerias institucionais estabelecidas entre a SSIPS/SEASDH, o CEPERJ, o BIRD, a SAE e o MDS para realizar a pesquisa de campo domiciliar do Programa Renda Melhor.
o Ademais, apresenta um resumo das auditorias de controle externo realizadas, bem como suas recomendações e providências tomadas pela SEASDH para atendê-las.
CAPÍTULO 8. MARCO NORMATIVOo Apresenta as normativas que foram publicadas sobre o
Programa Renda Melhor – decretos, lei e resoluções.
Avaliação do Renda Melhor
Avaliação do Programa Renda Melhor
OBJETIVO:
• Avaliar os impactos da transferência de recursos adicionais do Programa Renda Melhor sobre as famílias beneficiárias.
Teoria da Mudança e sistema de M&A – Programa Renda Melhor, Governo do Rio de Janeiro
A renda per capita das famílias beneficiadas é elevada até a
linha de extrema pobreza
Ati
vid
ad
es
Algoritmos e sistema de informações
Acompanhar
desembolsos
financeiros
Revisar
Benefícios
Selecionar
Beneficiários
Folha de Pagamento
Bolsa Família
Sistema de Monitoria e Avaliação
Famílias em pobreza extrema
recebem os benefícios financeiros do Programa Renda Melhor
Pro
du
tps
Imp
act
o
Melhoria nas Condições de Vida da
População do Estado do RJ
Articulação Interinstitucional
estabelecida
Re
sult
ad
os
Re
sult
ad
os
Fin
ais
Folha de Pagamento
do Renda Melhor
elaborada
Ibsu
mo
Acompanhar
Condicionalidades
Portal Rio Sem
Miséria
Lei Orçamentária
Repasse financeiro
ao agente pagador
Sistema de Gestão do Renda Melhor
Cadastro Único
Indicadores Fontes de
Verificação
Pesquisa Avaliação
de Impacto
Taxa de cobertura da
população alvo do
programa como um todo e
de grupos de especial
interesse
Redução da taxa de
trabalho infantil
Aumento da renda
Manual
Operatrivo
Nº benefícios pagos
Recursos transferidos
Regras de negócio do
programa definidas
Marco normativo
estabelecido (leis,
decretos, acordos de
cooperação etc.)
Sistema de
Gestão do Renda
Melhor
Aumento da segurança
alimentar
AVALIAÇÃO DE IMPACTO RENDA MELHOR SEASDH/SAE/ MDS/ CEPERJ/ BANCO MUNDIAL
Hipóteses:
• Impactos diretos - Por se tratar de um Programa de transferênciade renda, espera-se que essa transferência tenha impactos diretossobre aspectos da vida das famílias
• Impactos diferenciados pela magnitude da transferência e pelascaracterísticas dos receptores - O impacto pode ser maior oumenor dependendo da magnitude da renda transferida e do tipode beneficiário que recebe essa renda adicional
• Efeitos indiretos - ex: Informacional (renda adicional pode darpara a família informação, afetando suas preferências); Mudançana alocação do tempo dos beneficiários; Aprendizado (p. ex.:deixar de consumir os bens que entram no cômputo dessa renda)
PARCERIAS DA SEASDH para a Avaliação do Programa Renda Melhor
Fundamentais para superar limitações internas.
CEPERJ: coordenação das entrevistas aos beneficiários em duasrodadas, 2012 e 2013.
Banco Mundial: apoiou a contratação de consultor individualresponsável por analisar os dados coletados nas entrevistas paraaferir o impacto do programa.
MDS: Avaliação prevista no Termo de Cooperação (2011); apoiona discussão metodológica e análise de dados
SAE/PR: apoio na discussão metodológica e análise de dados
PESQUISA CAMPO - CEPERJ
AMOSTRA:
• Amostra original: 3.950 famílias (1.975 beneficiárias do BolsaFamília e do Renda Melhor e 1.975 famílias beneficiárias apenasdo Bolsa Família)
COLETA EM DOIS MOMENTOS NO TEMPO:• Março a Abril de 2012: 3.848 domicílios (15.867 pessoas)- 38,41% Controle
(apenas PBF) e 61,59% tratamento (PBF e RM)
• Maio de 2013: 3.880 domicílios (15.703 pessoas) - 38,87% Controle (apenasPBF) e 61,13% tratamento (PBF e RM)
• OBS.: 13,70% dos domicílios entrevistados na 1ª rodada não foramlocalizados na segunda rodada – realização de reposições;
• A avaliação foi aplicada em 14 municípios da Região
Metropolitana do Rio de Janeiro.
• Questionários (80 questões)
Permitiu conhecer os domicílios e famílias do Programa
(caracterização)
Permitiu coletar dados para a análise de impacto
Possibilitou também realizar estudos preliminares para
aferir a adequação do mecanismo de predição de renda
PESQUISA CAMPO - CEPERJ
Cobertura Espacial da Pesquisa
METODOLOGIA:
• Diferenças em diferenças: contrastou-se o resultado observado em uma
determinada característica de interesse nas famílias beneficiadas (Renda
Melhor mais Bolsa Família) e não beneficiadas (apenas Bolsa Família) antes do
Programa (pesquisa Linha de Base) e após o Programa (Pesquisa Seguimento).
• Regressão Descontínua (RD): contrasta os resultados nas características de
interesse entre famílias com renda predita muito similares e próximas ao
ponto de corte de R$100 na renda familiar per capita
AVALIAÇÃO DE IMPACTORENDA MELHOR
INDICADORES:
• Foram selecionados 260 indicadores para representar as condições de bem-
estar e socioeconômicas do grupo de interesse:
• Educação (80)
• Saúde (6)
• Bem-Estar de Crianças e Jovens (11)
• Consumo alimentar (44)
• Condições Habitacionais (73)
• Trabalho (46)
AVALIAÇÃO DE IMPACTORENDA MELHOR
• Foram utilizados 8 modelos que variam de acordo com os controles e suasespecificidades;
• Os modelos 1 a 4 controlam pelo processo de seleção, controlando ou pela rendapresumida ou pelas variáveis que determinam a renda presumida. Esses modelosutilizam o princípio metodológico de Regressão Descontínua.
• Modelos 5, 6, 7 e 8 não controlam pelo processo de seleção, não incluem nem arenda presumida nem os determinantes da renda presumida. Esses modelosutilizam o princípio metodológico de Diferenças em Diferenças.
MODELOS PARA A AVALIAÇÃO DE IMPACTO
IMPACTO SOBRE A RENDA
• A diferença entre a renda apresentada pelo grupo de tratamento(beneficiários) após o programa e a renda esperada na ausência do programapara esse mesmo grupo é de R$ 84,00 – esse é o impacto observado doprograma sobre a renda domiciliar
RESULTADOS DA AVALIAÇÃO DE IMPACTO
IMPACTO SOBRE A RENDA
• No caso da renda per capita, o impacto é de R$ 14
• OBS.: O impacto na renda per capita foi menor que o impacto na renda famílias porqueo número de pessoas nas famílias que recebem o Renda Melhor diminuiu menos quenas famílias do grupo controle (teria o programa favorecido a permanência dos jovenspor mais tempo em suas casas?)
RESULTADOS DA AVALIAÇÃO DE IMPACTO
IMPACTO SOBRE OUTRAS DIMENSÕES
• EDUCAÇÃO e SAÚDE
• Não foram detectados impactos significativos do programa sobre essasdimensões
• Impacto do PBF se dá muito pelas condicionalidades. PRM não impõenenhuma nova condicionalidade
• BEM ESTAR DE CRIANÇAS E JOVENS
• Existe um efeito pequeno mas significativo em relação a redução dotrabalho infantil de crianças de 10 a 13 anos
RESULTADOS DA AVALIAÇÃO DE IMPACTO
• TRABALHO
• Há muitos indicadores com impacto positivo e inclusive estatisticamente
significante para trabalho. O programa apresenta maior impacto sobre o
trabalho que sobre a educação
• Aumento na participação de jovens e adultos na população
economicamente ativa e na ocupação
RESULTADOS DA AVALIAÇÃO DE IMPACTO
IMPACTOS SOBRE OUTRAS DIMENSÕES
• CONSUMO ALIMENTAR Não foi observado efeito na percepção das famílias quanto a sua
segurança alimentar Mas teve impacto positivo e significativo sobre o consumo de carnes e
frutas
• ORÇAMENTO FAMILIAR: Efeito relevante sobre a redução dos domicílios onde o peso do aluguel
é o fator mais relevante no orçamento
• CARACTERÍSTICAS DOS DOMICILIOS: A maioria dos indicadores não apresentou impactos significativos Os destaques foram para a redução de domicílios alugados; aumentos de
bens duráveis (computador e telefone celular).
RESULTADOS DA AVALIAÇÃO DE IMPACTO
Resultados:
• Os impactos são muito dispersos entre as diferentes áreas e indicadores;
• A Dimensão Trabalho apresenta resultado médio positivo esignificativo. Esse efeito tem grande influência do componenteCondição de Ocupação;
• A outra Dimensão que se mostrou bastante relevante foi a de Habitação,especialmente a partir do subcomponente de Infraestrutura e Posse.
INDICADOR SINTÉTICO
• Busca captar as diferentes possíveis aplicações do recurso adicional recebido
pelas famílias a partir do Programa.
RESULTADOS DA AVALIAÇÃO DE IMPACTO
O processo e os resultados da avaliação abriram duas novas frentes de trabalho:
1. Novos estudos de avaliação• Necessidade de aprofundar a análise de indicadores sintéticos que
possibilitem também analises quanto a:a) heterogeneidade do impacto do benefício (em que medida o impactoé diferente em diferentes grupos)
b) heterogeneidade da intervenção (em que medida pessoas quereceberam um benefício maior tiveram mais impacto que aquelas quereceberam um benefício menor)
2. Avaliação do Preditor de Renda• Analisar o grau de focalização e análise da qualidade do preditor• Construção e teste de um indicador de renda presumida, baseado nas
Pesquisas de campo, que seja mais adequado
RESULTADOS DA AVALIAÇÃO DE IMPACTO
PREDITOR DE RENDA
Análises iniciais demonstram que:
• A renda presumida diminui erro de inclusão mas aumenta o errode exclusão em relação à renda declarada no CADÚNICO.
• Entretanto, no somatório dos erros de inclusão e exclusão, omecanismo de predição de renda apresenta valores maisfavoráveis que a renda declarada para identificar as famíliaspobres.
• Estudos iniciais apontam para a possibilidade de aprimoramento domecanismo de predição de renda.
RESULTADOS DA AVALIAÇÃO DE IMPACTO
• Desenvolvida por Pereira & Ferraz (PUC-RJ)• Método: diferenças em diferenças
• O programa impacta de forma positiva o fluxo escolar, aumentando astaxas de aprovação e reduzindo o abandono escolar.
• Dentro do subconjunto dos alunos elegíveis, são os alunos mais pobres,os meninos, e aqueles com maior risco de abandono que mais sebeneficiam do programa.
• Não encontrada evidência de que os efeitos encontrados possam serexplicados pelo efeito renda advindo dos programas Cartão FamíliaCarioca e RM.
AVALIAÇÃO DE IMPACTORenda Melhor Jovem
OBRIGADO!
[email protected]@ipc-undp.org
Curso de Monitoria e AvaliaçãoMaputo, Moçambique
27 de fevereiro a 03 de março de 2017