Instrumentos de Monitoramento e Pesquisas de Avaliação para aprimoramento de programas sociais: a experiência da SAGI/MDS Porto Alegre, 5 de novembro de 2011 Paulo Jannuzzi SAGI/MDS

SAGI - Secretaria de Avaliação e Gestão da Informação

Paulo Jannuzzi

SAGI/MDS

Instrumentos de Monitoramento e Pesquisas de Avaliação para aprimoramento de programas sociais: a experiência da SAGI/MDS

Porto Alegre, 5 de novembro de 2011


• Maior regularidade na promoção de eventos na área, como o IV Seminário de Avaliação e Qualidade do Gasto Público

• Temas de M&A presentes nos jornais – impressos e mídia televisiva

• Oferta de cursos na área

• Criação de programas de pós-graduação com abordagem mais multidisciplinar

• Fortalecimento de redes de pesquisadores, profissionais e demandantes – Rede Brasileira de Monitoramento e Avaliação

• Aumento da produção acadêmica e profissional em M&A

Evidências da Importância crescentes do M&A


• A institucionalização das atividades de monitoramento e avaliação (M&A) da ação governamental vem ganhando força no Brasil.

• Indicadores de Monitoramento e Pesquisas de Avaliação vem sendo empregados com maior regularidade por diversas instituições públicas para acompanhar os desdobramentos das atividades planejadas e implementadas, de modo a auxiliar a gestão e garantir níveis crescentes de eficiência e efetividade do gasto público.

Interesse crescente em Sistemas de M&A no Brasil


www.mds.gov.br/sagi -> pesquisador -> publicações

http://www.mds.gov.br/sagi


• No âmbito do IBGE – Sistema Integrado de Pesquisas Domiciliares

– Reformulação do Sistema de Pesquisas Econômicas

– Comitê de Estatísticas Sociais

– Levantamentos sobre infraestutura administativa – MUNIC e ESTADIC

– Incorporação da sociedade, governo e academia no plan. Censo 2010

• No âmbito subnacional – Renovação da agenda de pesquisa e estudos dos institutos estaduais e

municipais de planejamento e estatísticas

– Interesse por maior intercâmbio técnico entre as instituições

– Fortalecimento da ANIPES

Produção mais ampla de Estatísticas para M&A


• No âmbito dos Ministérios – INEP/MEC: novo EducaCenso, Prova Brasil

– DataSus: organização e disponibilização das informações produzidas na rede de saúde, em nível municipal, estadual e federal

– Senasp/MJ: organização das estatísticas e informações sobre segurança pública, em conjunto com o Forum Brasileiro de Segurança Pública

– Infologo/MPrev: estatísticas da Previdência Social (benefícios, acidentes de trabalho etc) e CNIS

– MTE : RAIS, CAGED, informações sobre IMO e Qualificação

– MDS: Senarc – Cadastro Único de Programas Sociais e SAGI – Indicadores de Programas e Pesquisas de Avaliação

Organização e Produção mais sistemática de Registros de Programas e Cadastros Públicos para M&A


• Respondem às demandas por maior transparência e efetividade do gasto público pela sociedade, seja pelo fortalecimento das instituições democráticas, seja pela pressão da arrecadação tributária

• Respondem à profissionalização crescente da Administração Pública, nas três esferas

• Respondem à introdução de sistemáticas mais sofisticadas de planejamento e controle na gestão das Políticas Públicas

• Respondem às demandas decorrentes da estruturação de um conjunto mais amplo de Políticas Sociais, instituídas como direitos na Constituição de 1988

Institucionalização dos Sistemas de M&A e maior disponibilização de informação para M&A


Ampliação do Gasto Público em Políticas Sociais


Ampliação do escopo e escala das Políticas Sociais


Evolução do gasto social e ampliação do escopo e escala dos programas socias: o caso do MDS

11,4 14,3

18,3

22,6 24,3

28,6

32,6

38,9

0

5

10

15

20

25

30

35

40

45

2003 2004 2005 2006 2007 2008 2009 2010

BIL

HÕ

ES

R$


Segurança Alimentar e Nutricional

Banco de alimentos

Carteira Indígena

Cisternas

Consad

Cozinha Comunitária

Distribuição de Alimentos

Educação Alimentar e Nutricional

PAA

Restaurante Popular

Agricultura Urbana

Ações complementares

Programa Bolsa Família

Cadastro Único

CREAS

CRAS [Programa de Atenção Integral às Famílias]

Projovem Adolescente

Benefício de Prestação Continuada - BPC

BPC na Escola

Serviço socioassistenciais – crianças de 0 a 6 anos

Transferência de Renda Assistência Social

Serviço socioassistenciais – Pessoas idosas e Pessoas com deficiência

P E T I

Benefícios eventuais

Serviço de Proteção Social aos adolescentes em cumprimento de medidas sócio educativas

SENTINELA [Serviço de Proteção Social a Crianças e Adolescentes Vítimas de Violência, Abuso e Exploração Sexual e suas famílias]

Carteira do Idoso

SESEP

SAGI

Erradicação da pobreza extrema

Monitoramento, Avaliação, Gestão da Informação e Capacitação de atores

sociais

Condicionalidades

MINISTÉRIO DO DESENVOLVIMENTO SOCIAL E COMBATE À FOME

SECRETARIA EXECUTIVA

GABINETE DA MINSTRA

CONJUR AECI

SPO

SAA

ASPAR AI


Monitoramento e Avaliação da Ação Governamental está presente em várias instâncias


Monitoramento e Avaliação no MDS


Missão da SAGI

Produzir informações sistematizadas com o propósito de

• melhorar a gestão,

• avaliar e monitorar a efetividade das políticas de

desenvolvimento social e combate à fome,

por meio da realização de estudos

• sobre a demanda social,

• a implementação de programas e

• o impacto das políticas desenvolvidas,

da publicação de documentos de referência sobre a situação

social

no Brasil e

da capacitação de atores sociais


4

1

3

6

1

4

4

2

4

2

2

2

1

5

3

19

17

1

2

4

0 2 4 6 8 10 12 14 16 18 20

Serviço Social

Secretariado Executivo

Psicologia

Pedagogia/Educação

Letras

História

Geografia/Geoprocessamento

Farmacologia / Saúde pública

Estatística/Matemática

Engenharia

Economia

Direito

Desenho Industrial

Demografia

Comunicação Social

Ciências Sociais e Políticas / Antropologia

Ciência da Computação/Processamento de dados/Adm.de…

Biblioteconomia

Agronomia

Administração/Gestão Empresarial

Qtde de pessoas

RH SAGI segundo última formação

Equipe M&A: •Diversidade de formação •Experiência na gestão e operação de programas •Capacidade de comunicação •Espírito de inovação •Conjunto de consultores especializados



• Ferramentas de Gestão de Informação

• Indicadores e Painéis de Monitoramento de

Programas

• Pesquisas de Avaliação de Desenho,

Implementação e Impactos de Programas

• Estratégias de disseminação do conhecimento

produzido


Projetos concluídos

Secretaria

ANO

Total

2004 2005 2006 2007 2008 2009 2010

SENARC 1 1 6 1 1 1 1 12

SAIP 0 0 0 1 1 1 0 3

SNAS 0 4 6 2 1 4 7 24

SESAN 0 3 11 4 3 3 3 27

GERAL 0 2 2 3 2 5 2 16

Total por ano 1 10 25 11 8 14 13 82

Projetos concluídos, por ano, por secretaria finalística


• Cultura de monitoramento e avaliação de programas é incipiente, assim como seu principal elemento estruturador (Sistema de Proteção Social vem sendo construído desde a Constituição de 1988)

• Formação em Avaliação de Políticas e Programas ainda é incipiente, fortemente disciplinar, distante da realidade operacional enfrentada pelo agente público

• Maioria dos programas sociais tem 10 a 20 anos, com potencial de avaliabilidade muito distintos

• Resistência dos gestores à avaliação (natureza humana !)

Em que pesem os avanços na institucionalização dos Sistemas de M&A,´o contexto brasileiro ainda é desafiador


• Projetos de avaliação são confundidos com projetos de pesquisa de natureza acadêmica

• Múltiplas demandas de informação do gestor não permitem fazer recortes no objeto de estudo de modo a potencializar o “desenho metodológico”

• Tempo da decisão e recursos monetários disponíveis são fatores críticos para uso da pesquisa

• Contexto de intervenção de um programa é muito mais complexo (conflito de interesses, dificuldade de cooperação etc)

• Múltiplos sujeitos e agentes envolvidos

• Produtos dos programas podem ser muito distintos: benefício monetário, isenção tributária ou serviços

Em que pesem os avanços na institucionalização dos Sistemas de M&A,´o contexto brasileiro ainda é desafiador


1. Clareza do foco dos esforços em M&A

2. Clareza da abrangência e objeto

3. Clareza sobre a avaliabilidade do programa

4. Formalização das etapas de especificação do instrumento de monitoramento e avaliação

5. Ajustamento dos instrumentos de M&A ao estágio de maturidade e necessidade do programa

6. Ajustamento da técnica à complexidade do programa

7. Complementaridade entre instrumentos monitoramento, pesquisas de avaliação e estudos avaliativos

È preciso, pois, ter um conjunto de diretrizes e estratégias para conseguir avançar na produção de

informação e conhecimentos em M&A


• Podem ser orientados mais ao – aprimoramento interno de programas, – gestão e decisão orçamentária ou – prestação de contas da ação governamental ao

parlamento ou à sociedade.

• Assumem características diferentes, dependendo de onde estão sediados – Ministério da Fazenda, – Ministério do Planejamento, – Ministérios setoriais, – Assessoria da Presidência, – Órgão de Controle Externo – Parlamento ou Sociedade

Clareza da Finalidade de Sistemas de M&A


• Podem abarcar a – integralidade das ações de governo, – algumas áreas setoriais ou – um conjunto seletivo de projetos prioritários.

• A abrangência conceitual e programática dos sistemas de

M&A pode ser – mais macro- quando se referem a Políticas ou Estratégias

de Governo – meso – quando voltados ao acompanhamento gerencial e

analítico de programas e/ou organizações – micro-ambiental- quando a ênfase avaliativa recai sobre

indivíduos, processos ou produtos muito específicos.

Clareza da Abrangência e Objeto


Estudo da avaliabilidade do Programa: primeiro passo

1. Analisar a avaliabilidade do programa

2. Definir o foco da avaliação

3. Definir estratégia metodológica

4. Coletar as informações

5. Organizar as informações

6. Analisar as informações

7. Apresentar as informações


Avaliabilidade do programa (Worthen et al 2004)

• Verificação preliminar

– O programa já engrenou ou tem problemas de gestão – Não é o caso de visitas e auditorias – Há sistemas ou registros informatizados acerca dos procedimentos

– Já existe um conjunto mínimo de indicadores de monitoramento

• Existem elementos para orientar a demanda de avaliação – “Esclarecer o modelo ou a teoria do programa” – “Examinar o programa na implementação para determinar se corresponde

ao modelo e se tem condições de alcançar suas metas e objetivos” – “Explorar diferentes abordagens da avaliação para determinar o grau em

que satisfazem as necessidades de informação dos interessados e se sua implementação é praticável”.

– “Definir as prioridades da avaliação e com os usos que se pretende fazer em estudo”


Formalização das etapas: da demanda à pesquisa de avaliação

1. Discussão 2. Termo de Referência 3. Contratação

SAGI/UC

•Definição da avaliação a ser realizada

•Relevância do estudo proposto

•Identificação de parceiros interinstitucionais relevantes

SAGI/UC

•Elaboração do TOR pela SAGI

•Revisão do TOR pela UC

SAGI/SAA e/ou Órgão de Cooperação Internacional

•Aprovação do TOR

•Elaboração de edital

•Avaliação de propostas técnicas e comerciais

•Contratação da instituição executora (IE)

4. Interlocução para operacionalização do estudo

5. Acompanhamento 6. Resultados Finais

SAGI/UC/IE

•Definição de questões relevantes para o estudo

•Disponibilização dos dados necessários para a realização da pesquisa

SAGI/IE

•Desenvolvimento dos instrumentos de pesquisa

•Envolvimento no treinamento de equipes

•Acompanhamento in loco do trabalho de campo

•Análise, discussão e aprovação de relatórios parciais e do relatório final

SAGI/UC/IE

•Recomendações da avaliação (IE)

•Discussões com gestores e parceiros interinstitucionais

•Retroalimentação dos programas

7. Divulgação dos Resultados 8. Publicações 9. Disponibilização dos microdados

SAGI/UC/IE

•Apresentação dos resultados finais ao MDS

•Coletivas de imprensa (ou seminários ou outros formatos) abertos ao público externo

SAGI

•Cadernos de estudos

•Relatórios de pesquisa

•Livros

•Multimeios

SAGI

•Disponibilização ao CIS dos microdados desidentificados e documentação pertinente

SAGI = Secretaria de Avaliação e Gestão da Informação / SAA=Secretaria de Assuntos Administrativos /UC = Unidade Cliente / IE= Instituição Executora / CIS = Consórcio de Informações Sociais


Avaliação ex-ante

de demandas

Avaliação de

desenhos de

implementação

Avaliação de

resultados e

impactos

Avaliação custo-

efetividade Avaliação de

processos

Avaliação ajustada à maturidade e necessidades do Programa em seu “ciclo de vida”


• Não existe “padrão ouro” de técnicas avaliativas

• Um bom pesquisador ou avaliador deve saber que técnicas são mais adequadas frente à complexidade do programa, às perguntas que se requer responder e às condições de exequibilidade do projeto (tempo, recursos, equipe, cooperação etc).

• Eclestismo metodológico responsável: abordagens quantitativas e qualitativas não são mutuamente excludentes em um projeto de pesquisa ou avaliação. São complementares, compatíveis e conectáveis.

Avaliação deve ser ajustada à complexidade do programa, não o contrário


Ecletismo Metodológico e rigor técnico: Triangulação de técnicas e sujeitos

Painel longitudinal com desenho quase-experimental Beneficiários X Não Beneficiários

Pesquisas amostrais

Abordagens qualitativas: entrevistas, grupos focais, avaliação participativa

Levantamentos e ferramentas web

Indicadores e Painéis


Avaliação de Impacto do Bolsa Família 2 (desenho quase experimental) No Nordeste, crianças em domicílios beneficiários do Bolsa Família, são mais propensas a freqüentar a Escola

0,6

0,65

0,7

0,75

0,8

0,85

0,9

0,95

1

6 7 8 9 10 11 12 13 14 15 16 17

Frequencia escolar atual, por idade – Meninos, região Nordeste, 2009

BF Non-recipients: NE,Males

BF Recipients: NE,Males

Não-beneficiário: NE, masculino

Beneficiário: NE, masculino

0,6

0,65

0,7

0,75

0,8

0,85

0,9

0,95

1

6 7 8 9 10 11 12 13 14 15 16 17

Frequencia escolar atual, por idade – Meninas, região Nordeste, 2009

BF Non-recipients: NE,Females

BF Recipients: NE,Females

Não-beneficiário: NE, feminino

Beneficiário: NE, feminino

30


Pesquisa Quantitativa de Avaliação do Programa

de Erradicação do Trabalho Infantil (PETI)

Articulação do PETI com o CRAS e CREAS:

– De acordo com os gestores, a principal forma para identificação de

crianças para o PETI é a busca de crianças em situação de trabalho

(53,6%). Os encaminhamentos feitos pelos CRAS também são realizados

com frequência (20,2%).

– Em 26,8% dos municípios as famílias de crianças e adolescentes

beneficiários do PETI são acompanhadas pelos CRAS.

– A maioria das atividades oferecidas às famílias é realizada no próprio

núcleo do PETI (85,7%) ou no CRAS (78,6%).

– O Bolsa Família é o Programa mais articulado com o PETI, segundo os

gestores entrevistados (97,3%). Logo após encontramos o CRAS

(89,3%) e o ProJovem Adolescente (72,3%).


Estudo qualitativo de Avaliação do Programa de

Erradicação do Trabalho Infantil (PETI)

Principais resultados

• As crianças e adolescentes disseram que o fato delas estarem

trabalhando foi o motivo principal de terem entrado no PETI.

• As crianças e adolescentes também afirmam que “a vida melhorou”

depois do PETI, especialmente porque:

“conviviam

com as piores

situações de

violência e

maus tratos”

“o dinheiro do

PETI auxiliou na

convivência

familiar”

“a vida melhorou

depois de entrar

no PETI porque

brincam muito e

aprendem a ter

respeito com os

outros.”


Eu acho que o mais importante é

a erradicação do trabalho

infantil, que já diz tudo, as

crianças que estão aqui elas saem

do trabalho, e muitas aqui

trabalhavam em casas de farinha,

na roça, com os pais, e aqui não,

tem uma ajuda financeira e eles

vêm, se divertem, aprendem e

saem do trabalho Relato de monitor do PETI

O PETI ajudou minhas crianças...

meus filhos saírem da rua, sem

contar assim, que ajuda

financeiramente, que o governo dá

pra gente, já me auxilia muito na

alimentação deles e assim, tira eles

da rua, e financeiramente me ajuda

na alimentação... Relato de mãe de criança

beneficiária do PETI


Monitoramento e avaliação são processos analíticos organicamente articulados, que se complementam no tempo, com o propósito de subsidiar o gestor público de informações mais sintéticas e tempestivas sobre a operação do programa –resumidas em painéis ou sistemas de indicadores de monitoramento – e informações mais analíticas sobre o funcionamento desse, levantadas nas pesquisas de avaliação.

Complementaridade de Sistemas de Monitoramento e Pesquisas de Avaliação


Monitoramento e Avaliação de Programas

M&A de programas compõe-se de atividades de Monitoramento de programas Avaliação de Programas por meio de dados por meio de pesquisas por meio de indicadores ex-ante (diagnóstico) por meio de Painéis gerenciais desenho dos programas por meio de Painéis analíticos processo resultados e impactos custo-efetividade Recurso: base de dados e Recurso: técnicas de aplicativos pesquisa social Aprimoramento da Gestão do Programa


Construção do Painel de Indicadores do Plano Brasil

Sem Miséria


Premissas na especificação de indicadores

O MONIB pressupõe um exercício de identificação de indicadores-chave para construção de painéis, segundo diferentes lógicas de organização: - encadeamento das ações e programas - área temática ou programática - nível estratégico-tático da ação

Os indicadores-chave devem ser selecionados segundo critérios de relevância e pertinência à ação monitorada, periodicidade de atualização, especificidade e sensibilidade das medidas, evitando redundância e ambiguidade nas informações apresentadas.


Aplicativos Informacionais www.mds.gov.br/sagi


Tab Social


Pesquisas SAGI


Bibliografia de referência

•JANNUZZI,P.M. Avaliação de programas sociais no Brasil:

repensando práticas e metodologias das pesquisas avaliativas.

Planejamento e políticas públicas. Brasilia, n.36, p. 252-

275,2011.(www.ipea.gov.br)

•VAISTMAN,J.; PAES SOUSA,R. Avaliação de programas e

profssionalização da gestão pública. Brasilia, Revista

Brasileira de Monitoramento e Avaliação, n.1,p.20-37, 2011.

•ROSSI,P.H. et al. Evaluation: a systematic approach.

Thousand Oaks: Sage, 2004.

•WORTHERN, B.R. et al. Avaliação de programas:

concepções e práticas. São Paulo: EdUsp;Ed. Gente, 2004.

http://www.ipea.gov.br/


Obrigad@!

Paulo Jannuzzi

Secretário de Avaliação e Gestão da Informação

Ministério do Desenvolvimento Social e Combate à Fome

(+ 5561 3433-1501 )

SAGI – Secretariat of Evaluation and Information Management

News & Politics

Instrumentos de Monitoramento e Pesquisas de Avaliação para aprimoramento de programas sociais: a experiência da SAGI/MDS Porto Alegre, 5 de novembro de 2011 Paulo Jannuzzi SAGI/MDS