Avaliação de Impacto do Programa Bolsa Família: uma ...antigo.enap.gov.br/downloads/ec43ea4fProgramaBolsaFamilia.pdf · Objetivos • Combater a fome e ... Avaliação de Impacto

CURSO DE APERFEIÇOAMENTO EM AVALIAÇÃO DE PROGRAMAS SOCIAIS – SEGUNDA TURMA

Avaliação de Impacto do Programa Bolsa Família:uma proposta preliminar

Grupo IMônica Vasconcelos Ribeiro

Guilherme Coelho RabeloDillian Adelaide da Silva Goulart

Sônia Christina Brant WoffRaimundo Rainero Xavier

Márcia Regina Gonçalves MuchagataCarla Márcia de Lacerda Alves

Dezembro de 2005

Parte I – O Programa Bolsa Família

Parte II – Proposta de avaliação –projeto preliminar

Parte I

O Programa Bolsa Família

Parte Parte I I –– O O ProgramaPrograma

•• Medida Provisória no 132 de 20 de outubro de 2003.

• Lei no 10.836, de 09 de janeiro de 2004.

• Decreto 5.209, de 17 de setembro de 2004.

• O Bolsa Família unifica quatro programas federais de transferência de renda: Bolsa Escola, Bolsa Alimentação, Auxílio Gás e Cartão Alimentação.

• Processos de integração/unificação de transferência com outras esferas do governo.

CriaCriaçãção do Bolsa Famo do Bolsa Famíílialia

Programa de transferência de renda com condicionalidades :

• Alívio imediato da pobreza por meio da transferência direta de renda

• Superação da pobreza e inclusão social por meio do exercício de direitos sociais básicos (condicionalidades: saúde e educação) e do acesso a programas complementares

Características

•• Foco na famílias, e não nos seus membros isoladamente

• Unificação dos critérios de seleção dos beneficiários e das condicionalidades

• Execução descentralizada / gestão intersetorial e controle social

• Conjugação de esforços entre os entes da federação

• Abrangência nacional, com implantação gradativa nos municípios

• Compromisso dos governos e das famílias

Objetivos•• Combater a fome e promover a segurança alimentar e nutricional.

• Promover o acesso à rede de serviços públicos, em especial, de saúde, educação e assistência social.

• Promover a emancipação sustentada das famílias que vivem em situação de pobreza e extrema pobreza.

• Promover a integralidade, complementaridade e sinergia das ações sociais do Poder Público..

Complexidadedo Programa Bolsa Família

•• Inovação•Abrangência•Volume de recursos•Dimensão territorial•Intersetorialidade•Integração de programas de outras esferas do governo

Complexidadedo Programa Bolsa Família

•• Desenho federativo e necessidade de construção de consensos

• Integração de bases de dados distintas

• Especificidade dos programas anteriores

• Processo de unificação e convivência com programas remanescentes

ATENDIMENTO - Abril/2004100% dos municípios

8 milhões de famílias

+ de 30 milhões de pessoas

Metas

Meta para 2005: 8,7 milhões de famílias atendimento de 70% da população pobre do Brasil

ALCANCE: 5.562 Municípios brasileiros

Distribuição Física por Região Programa Bolsa-Família

Ref. Abril/05

CENTRO OESTE4%

NORDESTE50%

NORTE8%

SUDESTE27%

SUL11%

Total de famílias: 6.997.575

Fonte: Secretaria Nacional de Renda de Cidadania

SeisSeis grandes grandes eixoseixos::

Gestão• Cadastro• Gestão dos Benefícios• Programas Complementares• Condicionalidades (foco principal de nossa presençaaqui hoje – detalharemos ao final)• Controle social e fiscalização

Gestão:Fortalecimento da Gestão Municipal

Matriz de responsabilidade e modelo de gestão compartilhada

Termo de adesão dos municípios ao Programa Bolsa Família

Apoio financeiro para a atualização de cadastros pelos municípios

Programas ComplementaresConvergência de políticas e programas sociais destinados aos

beneficiários do Programa Bolsa Família, com o objetivo de ampliar o acesso aos direitos sociais e construir o processo de emancipação econômica das famílias

Pré-requisitos para atuação integrada:

-Definição de territórios prioritários;-Levantamento do perfil das famílias e vocações locais;

-Identificação de demandas sociais;-Oferta de ações e programas

Controle socialPublicação da Instrução Normativa n° 01 sobre o controle social

do PBF, que divulga orientações aos municípios para constituição da instância de controle social do programa e para o desenvolvimento de suas atividades.

Formalização do Controle Social como requisito para adesão dos municípios ao Programa Bolsa Família.

FiscalizaçãoImplementaImplementaçãção, em janeiro de 2005, da Rede Po, em janeiro de 2005, da Rede Púública de blica de

FiscalizaFiscalizaçãção. o. • - Parceria entre o MDS e o Ministério Público Federal

(MPF), os Ministérios Públicos Estaduais, a Controladoria Geral da União (CGU) e o Tribunal de Contas da União (TCU) para fiscalização do Bolsa Família.

DefiniDefiniçãção de rotinas para trabalho conjunto com CGUo de rotinas para trabalho conjunto com CGU

RegrasRegras para fiscalizapara fiscalizaçãção pro próópriapria

Critérios da Proposta de Expansão 2005Garantir cobertura conjunta mínima de 70% da meta de pobreza

nos municípiosFixação de quotas municipais de famílias novas e de migração de

acordo com o percentual de cobertura conjunta da estimativa de pobreza.

Os municípios foram divididos nas seguintes faixas de cobertura conjunta (BF+BES): • Abaixo de 70%• Entre 70% e 100% • Acima de 100%

Para cada faixa, calcularam-se as regras de expansão para famílias novas e migração.

Prioridades Para Expansão 2005Destinação do Bolsa Família para atendimento de

demandas de populações específicas (índios e quilombolas);

Substituição das famílias que não atendem aos critérios do programa por famílias do público-alvo: para cada benefício cancelado pelos municípios, será feita inclusão correspondente.

Atendimento das regras pactuadas com os estados e municípios.

O Impacto do programa nas condições de vida dos beneficiários

••Em 2004 realizou-se pesquisa junto às famílias beneficiadas do PBF, que constatou:• - a necessidade da bolsa por falta de acesso ao trabalho remunerado;• - a importância da regularidade do benefício na organização do • orçamento familiar;• - a importância do benefício para o comércio local;• - compromisso por parte das crianças: ir à escola passa a ser a sua forma de ajudar a incrementar a renda da Família.

• Fonte: SAGI

CondicionalidadesCondicionalidades• Acompanhamento do crescimento e desenvolvimento infantil, por meio da vigilância alimentar e nutricional de crianças menores de 7 anos• Assistência ao Pré-natal e puerpério• Vacinação em dia para criança menores 7 anos

• Acompanhamento da Freqüência escolar mínima de 85% para crianças de 6 a 15 anos

SaúdeSaúde

EducaçãoEducação

Objetivos

• Garantir acesso aos serviços sociais básicos: saúde e educação

• Promover a participação efetiva das famílias no processo educacional e nas ações de promoção da saúde.

• Identificar famílias em situação de maior vulnerabilidade ou riscode exclusão social, para direcionar ações específicas.

Papéis Papéis Complementares Complementares das condicionalidades das condicionalidades a) auxiliam a reorientação das prioridades da família no

tocante à educação e à saúde de seus membros;

a) estimulam o compromisso pelo aumento da oferta local de serviços públicos de educação e saúde para os beneficiários do programa; e

c) constituem importante instrumento de coleta de informações de educação, saúde e nutrição, para efeito de direcionamento dos serviços locais e formulação de políticas específicas para os membros das famílias beneficiárias.

RegulamentaçãoRegulamentação

• Lei nº 10.836, de 09 de janeiro de 2004 (art. 3º)

• Decreto nº 5.209, de 17 de setembro de 2004 (art. 27 e 28)

• Portaria Interministerial nº 3.789, DOU de 18 novembro de 2004 (Freqüência Escolar)

• Portaria Interministerial nº 2.509, DOU de 22 novembro de 2004 (Ações de Saúde)

Regulamentação Regulamentação –– ConcepçãoConcepção

a) Gestão compartilhada e Intersetorial

b) Previsão de sanções gradativas, para:- levar as famílias a buscarem apoio nas áreas envolvidas na execução do programa, para cumprir as contrapartidas –condicionalidades.

- permitir que as ações específicas de acompanhamento familiar, reduzam a vulnerabilidade e risco social da família e contribuam para o cumprimento das condicionalidades.

Parte II

Avaliação de Impacto do Programa Bolsa Família: uma proposta preliminar


Introdução

• O objetivo da construção de uma proposta de avaliação

• A avaliação de um programa social

• A avaliação de impacto

• O Programa Bolsa Família

• O Desenvolvimento e a organização do trabalho


Metodologia - I

Roteiro para a realização do Diagnóstico

• Identificação do problema central• Criação de uma Árvore de Problemas• Criação de uma Árvore de Objetivos• Identificação dos atores relevantes e Análise de envolvimento• Análise das Alternativas para a implementação do programa• Análise de contexto e pressupostos, também denominado de Marco Lógico do programa• Criação da Matriz de Planejamento do Programa• Definição dos indicadores e linha de base


Metodologia - II

Roteiro para o desenho da avaliação

• Identificação dos usuários• Definição dos Objetivos e Periodicidade• Definição dos Critérios de avaliação• Definição dos Indicadores e suas linhas de base• Definição dos Métodos e técnicas para a avaliação• Identificação dos Dados Qualitativos necessários, suas fontes e meios de verificação• Identificação dos Dados Quantitativos necessários, suas fontes e meios de verificação • Definição dos Métodos e período de coleta de dados• Definição dos Métodos e técnicas de análise de dados• Descrição dos Limites e restrições da pesquisa avaliativa• Descrição das equipes necessárias e orçamento


Identificação do problema central

• Reuniões técnicas

• Análise documental

• Hipótese de relações causais uni-direcionais

• Construção da árvore de problemas

• Construção da árvore de objetivos


Árvore de problemas - I


Árvore de problemas - II


Árvore de problemas - III


Árvore de objetivos - I


Árvore de objetivos - II


Árvore de objetivos - III


• Identificação dos atores relevantes e Análise de envolvimento

• Análise das Alternativas para a implementação do programa

• Análise de contexto e pressupostos, também denominado de Marco Lógico do programa

• Criação da Matriz de Planejamento do Programa

• Definição dos indicadores e linha de base


ANÁLISE DE CONTEXTO E PRESSUPOSTOS - MARCO LÓGICO DO PROGRAMA - I

ManutenManutençãção do pacto polo do pacto polííticotico

Folha de pagamento do Folha de pagamento do Programa em Programa em comparacomparaçãção com o o com o Cadastro Cadastro ÚÚnico e nico e estimativa de famestimativa de famíílias lias pobres pobres -- PNADPNAD

NNúúmero de fammero de famíílias lias recebendo o recebendo o

benefbenefííciocio

11,2 milh11,2 milhõões de es de famfamíílias atlias atéédez/2006dez/2006

FamFamíílias com renda lias com renda adequada para adequada para subsistsubsistêênciancia

OBJETIVO DO PROJETOOBJETIVO DO PROJETO

Acompanhamento regular do Acompanhamento regular do crescimento e crescimento e

desenvolvimento infantil com desenvolvimento infantil com anotaanotaçãção no carto no cartãão da criano da crianççaa

Sistema de VigilSistema de Vigilâância ncia Alimentar e Nutricional Alimentar e Nutricional (SISVAN)(SISVAN)

Peso/idadePeso/idade

100 % das crian100 % das criançças as de 0 a 6 anos de 0 a 6 anos

beneficibeneficiáárias do rias do PBFPBF

Melhoria do estado Melhoria do estado nutricional de criannutricional de criançças as (0 a 6 anos)(0 a 6 anos)

OBJETIVO SUPERIOR / OBJETIVO SUPERIOR / FINALIDADE FINALIDADE ÚÚLTIMALTIMA

MEDIDASMEDIDASMETASMETAS

PRESSUPOSTOSPRESSUPOSTOSMEIOS DE MEIOS DE

VERIFICAVERIFICAÇÃÇÃOOINDICADORESINDICADORES

ESTRATESTRATÉÉGIAGIANNÍÍVEL DE VEL DE INTERVENINTERVENÇÃÇÃOO


ANÁLISE DE CONTEXTO E PRESSUPOSTOS - MARCO LÓGICO DO PROGRAMA - II

ManutenManutençãção de o de contratos com contratos com terceirizadosterceirizados

RelatRelatóórios de auditoria rios de auditoria dos sistemas e bases dos sistemas e bases de dadosde dados

Sistemas de gestSistemas de gestãão o implementados e implementados e gerando dadosgerando dados

Portarias assinadas e Portarias assinadas e sistemas de gestsistemas de gestãão o implementados implementados (cadastro, folha de (cadastro, folha de pagamento, sistemas pagamento, sistemas de monitoramento dede monitoramento decondicionalidadescondicionalidades

Estabelecimento do Estabelecimento do plano operacional do plano operacional do ProgramaPrograma

ManutenManutençãção dos pactos o dos pactos com entes federados e com entes federados e com com ááreas de governo reas de governo envolvidasenvolvidas

Termos e planos de Termos e planos de metas / relatmetas / relatóórios de rios de acompanhamento dos acompanhamento dos sistemas e bases de sistemas e bases de dadosdados

Mecanismos de Mecanismos de acompanhamento acompanhamento implementados e implementados e gerando dadosgerando dados

Termos de adesTermos de adesãão o assinados com metas / assinados com metas / portarias portarias interministeriais interministeriais assinadasassinadas

PactuaPactuaçãçãoo do do Programa com entes Programa com entes federados e federados e ááreas de reas de governo envolvidasgoverno envolvidas

Estabilidade econEstabilidade econôômica mica do pado paííss

PrestaPrestaçãção anual de o anual de contascontasDados do PPADados do PPA

Programa definido Programa definido como prioridade no como prioridade no PPAPPA

DotaDotaçãção o ororççamentamentááriaria

NNãão o ––contingenciamento de contingenciamento de recursos do Programarecursos do Programa

RelatRelatóórios de Gestrios de GestããooDados do PPADados do PPAPrograma definido Programa definido como prioridade no como prioridade no PPAPPA

Distribuir renda Distribuir renda atravatravéés do Programa s do Programa Bolsa FamBolsa Famíília lia --definidefiniçãção do PBF o do PBF como prioridade como prioridade PolPolííticatica

RESULTADOSRESULTADOS

PRESSUPOSTOSPRESSUPOSTOSMEIOS DE MEIOS DE

VERIFICAVERIFICAÇÃÇÃOOINDICADORESINDICADORESESTRATESTRATÉÉGIAGIA

NNÍÍVEL DE VEL DE INTERVENINTERVENÇÃÇÃOO


A avaliação - I

• Usuários – Gestores Federais

• Objetivo principal – Avaliação de impacto

• Critério – Eficácia e efetividade

• Pesquisa quantitativa e qualitativa

•Indicadores e linha de base na pesquisa quantitativa - Peso versus idade de crianças de 0 a 6 anos

•Linha de base - Indicadores medidos no último ano pelo SISVAN no Programa Bolsa Alimentação – famílias que migraram para o Bolsa Família


A avaliação – II – Métodos e técnicas

• Pesquisas quantitativa e qualitativa, sendo a quantitativa uma avaliação de impacto, com delineamento quasi-experimental, com a comparação das medidas em dois tempos de coleta.

• Coleta de dados da pesquisa quantitativa – dois períodos, base de dados do SISVAN e base de dados da folha de pagamentos do Bolsa Familia (1 ano atrás e a medida atual)

•Grupos: Controle e tratamento

•Viabilidade: Necessidade de avaliação da viabilidade de uso de bases secundárias de dados (bases dos municípios)


A avaliação – III – Métodos e técnicas

• A pesquisa qualitativa será do tipo Grupo Focal.

• Aplicação de questionários e entrevistas com vinte grupos focais, nas cinco regiões geográficas do país, área urbana e rural. São quatro grupos em cada região, totalizando vinte grupos focais.


A avaliação – IV – Equipes necessárias e orçamento

• A equipe de elaboração da pesquisa será constituída de 1 coordenador geral, com título de doutorado; dois coordenadores para as pesquisas qualitativa e quantitativa; oito técnicos, distribuídos em dois grupos, um com cinco pessoas para a pesquisa qualitativa e outro com três para a pesquisa quantitativa; além de quatro estagiários que auxiliarão em todo o trabalho e uma pessoa de nível médio para secretariar o grupo.

• Para a realização da pesquisa qualitativa e solução de algumas questões que porventura surgirão com relação à pesquisa quantitativa, foram orçados, também, passagens, diárias e combustível. Para deslocamento das capitais para as cidades do interior será utilizado o carro da Conab sem custo adicional, sendo necessário apenas combustível. Verificou-se o custo de material de consumo, informática e outros, conforme planilha orçamentária anexa.


Discussão e Conclusão

•A Avaliação de impacto é fundamental para a avaliação do programa

•A Avaliação de impacto é bastante complexa do ponto de vistas das metodologias e do ponto de vista da implementação

•A proposta apresentada é promissora e está baseada em metodologia científica. Porém ela é bastante limitada e servirá de ponto de partida para a criação de uma proposta de avaliação mais consistente


FIM

OBRIGADO !

Documents

Avaliação de Impacto do Programa Bolsa Família: uma ...antigo.enap.gov.br/downloads/ec43ea4fProgramaBolsaFamilia.pdf · Objetivos • Combater a fome e ... Avaliação de Impacto