Avaliação como Processo de aprendizagem organizacional e

inovação no desenho e gestão de programas sociais: a experiência da

SAGI/MDS

Paulo Jannuzzi

Secretaria de Avaliação e Gestão da Informação

Ministério de Desenvolvimento Social e Combate à Fome

Estrutura do MDS: Secretaria para produzir Informação e Conhecimento para suas Políticas e Programas

População Pobre

Quilombolas Indigenas Ribeirinhos

Trabalhador rural

Agricultores familiares

População em situação de rua

Desempregados e subempregados urbanos

As Políticas e Programas de Desenvolvimento Social e o Plano Brasil Sem Miséria foram criados para mitigar e superar a Pobreza, entendida

como fenômeno Multi-determinado, Multifacefato e Mutidimensional de privação de direitos

População Pobre

Quilombolas Indigenas Ribeirinhos

Trabalhador rural

Agricultores familiares

População em situação de rua

Políticas e Programas universais

Programas de natureza redistributiva, afirmativa e transversal

Desempregados e subempregados urbanos

A superação da Pobreza requer esforço de Articulação Multi-setorial, assegurando direitos, serviços e benefícios, universais, redistributivos e

compensatórios

Educação Saúde Trabalho Ass. Social

Bolsa Família Ben.Prest. Cont. Acesso Agua e Alimento Oportunidades de Incl.Produtiva Serviços Socio-Assistenciais

População Pobre

Quilombolas Indigenas Ribeirinhos

Trabalhador rural

Agricultores familiares

População em situação de rua

Políticas e Programas universais

Programas de natureza redistributiva, afirmativa e transversal

Desempregados e subempregados urbanos

Também é necessário um grande esforço de Coordenação e Pactuação Federativa, envolvendo um conjunto amplo de agentes públicos e

sociais

Educação Saúde Trabalho Ass. Social

Bolsa Família Ben.Prest. Cont. Acesso Agua e Alimento Oportunidades de Incl.Produtiva Serviços Socio-Assistenciais

Mais de 600 mil agentes públicos e sociais envolvidos

A complexidade do desenho e operação da estratégia de superação da Pobreza requer a produção, disseminação e apropriação de um volume considerável de Informação e Conhecimento – Pesquisas de Avaliação- segundo estágio do ciclo de um programa:

• Diagnósticos de Públicos-Alvo

• Prospecção de Experiências e

Desenho de Programas

• Avaliações de Implementação de ações de Programas

• Avaliações de Resultados e Impactos

• Estudos de Custo-Efetividade

Disponibilização pública de todas as pesquisas, com ficha técnica, sumário executivo/publicação e microdados, com o

objetivo de potencializar disseminação e análises posteriores

• Censo da População em Situação de Rua em 2007/08

• Censo da População Quilombola em Comunidades Tituladas em 2011

• Estudo de Demanda de Qualificação Profissional e Outras ações de Inclusão Produtiva em 2012

• Pesquisa sobre Segurança Alimentar de Crianças de 0 a 5 anos do Cadastro Único em 2013

http://aplicacoes.mds.gov.br/sagirmps/simulacao/sum_executivo/pdf/sumario_145.pdf

Entre os mais pobres (ED2), 18% da pesquisa, somente 10% haviam feito algum curso de qualificação em sua vida, a larga maioria pagando do próprio bolso

Diagnósticos de Públicos-Alvo

• Estudo sobre o desenho, a gestão a implementação e os fluxos de acompanhamento das condicionalidades de saúde para povos indígenas em 2012

• Pesquisa com Grupos Focais de Beneficiários do Bolsa Família para Qualificação de Cartas e Mensagens em 2013

• Suplemento de Inclusão Produtiva da Pesquisa de Informações Básicas Estaduais e da Pesquisa de Informações Básicas Municipais em 2014

http://aplicacoes.mds.gov.br/sagirmps/simulacao/sum_executivo/pdf/sumario_150.pdf

Prospecção de Experiências e Desenho de Programas

• Censo do Sistema Único da Assistência Social, anual desde 2007

• Perfil das famílias que sofreram repercussões sobre o benefício do PBF em decorrência do processo de revisão cadastral em 2012

• Avaliação Qualitativa do Pronatec em 2013

• Estudo da Cobertura, Oferta e Desempenho dos alunos no Pronatec em 2014 http://aplicacoes.mds.gov.br/sagirmps/simulacao/su

m_executivo/pdf/sumario_141.pdf

Avaliação de Implementação de Programas

“... as unidades ofertantes têm, em maior ou menor medida, se adaptado ao Pronatec/BSM. As unidades ofertantes com menor expressão tendem a ser mais flexíveis na relação com os interlocutores municipais. Elas mantêm contatos mais constantes com os gestores, atendendo com maior frequência às suas demandas de aberturas de cursos, turmas e flexibilidade de horários..... O SENAI e, em menor grau, o SENAC, tendem a ser mais resistentes às demandas dos gestores, às mudanças solicitadas em termos de estrutura, horários e especialmente às regras e padrões de condutas impostos aos alunos do Pronatec/BSM...

• Censo do Sistema Único da Assistência Social, anual desde 2007

• Perfil das famílias que sofreram repercussões sobre o benefício do PBF em decorrência do processo de revisão cadastral em 2012

• Avaliação Qualitativa do Pronatec em 2013

• Estudo da Cobertura, Oferta e Desempenho dos alunos no Pronatec em 2014 http://aplicacoes.mds.gov.br/sagirmps/ferramentas/

docs/Caderno%2024%20-%20Inclus%C3%A3o%20Produtiva%20Urbana.pdf

Avaliação de Implementação de Programas

79,0

76,5

79,3

81,4

65,0 70,0 75,0 80,0 85,0To

tal d

em

atrí

cula

s

Ind

ivíd

uo

s n

ãoin

scri

tos

no

Cad

Ún

ico

Ind

ivíd

uo

sap

enas

insc

rito

s n

oC

adÚ

nic

o

Be

ne

fici

ário

sd

o B

ols

aFa

míli

a

Taxa

de

con

clu

são

• Avaliação de Impacto do Bolsa Família 2005 e 2009

• Suplemento de Segurança Alimentar e Nutricional nas PNADs 2004, 2009 e 2013

• Estudo Nutricional de Crianças de 0 a 5 anos do Bolsa Família mediante integração longitudinal Cadastro e Sisvan em 2014

• Estudo dos efeitos do Pronatec na empregabilidade formal e formalização de microempre-endimentos em 2015 http://aplicacoes.mds.gov.br/sagirmps/simulacao/su

m_executivo/pdf/sumario_148.pdf

Avaliação de Resultados e Impactos

• Avaliação de Impacto do Bolsa Família 2005 e 2009

• Suplemento de Segurança Alimentar e Nutricional nas PNADs 2004, 2009 e 2013

• Estudo Nutricional de Crianças de 0 a 5 anos do Bolsa Família mediante integração longitudinal Cadastro e Sisvan em 2014

• Estudo dos efeitos do Pronatec na empregabilidade formal e formalização de microempre-endimentos em 2015 http://aplicacoes.mds.gov.br/sagirmps/simulacao/est

udos_tecnicos/pdf/110.pdf

Avaliação de Resultados e Impactos

Indicadores de Monitoramento e Avaliação

• Painel de Conjuntura e Programas Sociais

• Indicador de Insegurança Alimentar na PNAD

• Indicador de Prevalência de Sub-alimentação da FAO

• Indicador de Pobreza e Extrema Pobreza, com tratamento de Renda zero e Sem declaração na PNAD 1992 a 2013

• Indicador de Pobreza Multidimensional (efeitos integrados das políticas)

13,0 12,9

8,2 8,9 8,4

7,7 8,0 8,6

7,9 7,9

6,7 6,1

5,0 4,6 3,9 3,7 3,5

2,7 2,9

13,5

3,1

14,0 13,8

9,0 9,8

9,2 8,5 8,8

9,3 8,7 8,6

7,4 6,9

5,6 5,3 4,4 4,3 3,9

3,1 3,3

30,6 30,3

22,5 22,8 22,6 21,5

22,8 23,2 23,1 23,3

21,1 19,9

16,0

14,8

13,0 11,9

9,9

7,8 7,5

31,1

7,8

31,6 31,3

23,4 23,7 23,4 22,3

23,6 23,9 23,8 24,0

21,9

20,6

16,6 15,5

13,6 12,5

10,4

8,2 8,0

0,0

5,0

10,0

15,0

20,0

25,0

30,0

35,0

http://aplicacoes.mds.gov.br/sagirmps/simulacao/estudos_tecnicos/pdf/88.pdf

0

5.000.000

10.000.000

15.000.000

20.000.000

25.000.000

30.000.000

35.000.000

Crônicos Carentes Vulneráveis Transitórios

1992 1995 1999 2003 2004 2009 2013

-2,9 %aa

-13,6 %aa

+9,2%aa -7,7 %aa

+18,9%aa

-6,6 %aa

-3,7 %aa

-11,8 %aa

Evolução da Pobreza Multidimensional Brasil 1992 a 2013 (%)

Finalizando.... Os princípios de trabalho na produção de

informação e conhecimento nas avaliações • Avaliação como instrumento de aprendizado organizacional e inovação no

desenho e gestão de programas

• Envolvimento de técnicos das secretarias finalísticas na especificação e acompanhamento da avaliação

• Avaliação necessária para o estágio do programa em seu ciclo de implantação

• Avaliação possível frente aos custos, tempestividade e oportunidade

• Triangulação de métodos: não há um método universal ou padrão-ouro

• Triangulação de sujeitos: gestores, técnicos, beneficiários e não-beneficiários

• Triangulação de avaliadores: externo, interno, mista e participativa

• Envolvimento do IBGE, IPEA, pesquisadores do CNPq

• Transparência ativa dos estudos e avaliações

• Disseminar resultados é tão importante quanto produzir, para todos envolvidos

• Customizar produtos e estratégias de disseminação para ampliar apropriação

6.349 alunos certificados de Janeiro de 2014 a junho de 2015

Criando capacidades de apropriação da Informação e Conhecimento produzido nos técnicos e gestores no país: 3 Cursos à distância SAGI/CEGOV

2.886 alunos

1.253 alunos

Apropriação e Uso das informações: processo gradual e complexo, que começa com o envolvimento das equipes dos

programas no processo de avaliação

Obrigado!

Visite Portal SAGI: www.mds.gov.br/sagi