Avaliação como estratégia de produção de informação e ... · MATERIAL DE REFERÊNCIA . ... Frequência Escolar para ... Inclusão Produtiva, Cadastro Único, Mob. Social

Avaliação como estratégia de produção de informação e conhecimento para aprendizado organizacional e busca de

consensos político-intitucionais com vistas ao aprimoramento do desenho e gestão de Políticas e Programas Sociais:

lições que aprendemos em 10 anos na SAGI

Paulo Jannuzzi

SAGI/MDS

Estrutura do MDS: Secretaria para produzir Informação e Conhecimento para suas Políticas e Programas

SAGI – Secretaria de Avaliação e Gestão da Informação do MDS

www.mds.gov.br/sagi

CONHEÇA MAIS SOBRE A SAGI

BOLETIM SAGI

Política Programas Produtos

Responsabilização / Prestação de contas

Estudos realizados em universidades / Dados das agências de estatística

Universidades ONGs

Desempenho e mérito

Think Tanks Agências multilaterais

Ministério do Planejamento e Finanças

Departamentos de Ministérios sociais

Melhoria do programa ou projeto



SAGI é uma Unidade de Monitoramento e Avaliação voltado a aprimoramento de programas

MATERIAL DE REFERÊNCIA

DISPONÍVEL EM WWW.MDS.GOV.BR/SAGI

http://www.mds.gov.br/sagi

MATERIAL DE CONSULTA COMPLEMENTAR

DISPONÍVEL EM WWW.MDS.GOV.BR/SAGI


MATERIAL DIDÁTICO

DISPONÍVEL EM WWW.MDS.GOV.BR/SAGI -> CAPACITANDO MDS


POLÍTICAS E PROGRAMAS PÚBLICOS

Apontamentos fundamentais

• No Brasil, as Políticas Sociais representam 25% do PIB, mais de 300 programas federais, além dos existentes em 27 UF e nos 5.564 municípios, envolvendo mais de 10 milhões de gestores e técnicos públicos nas 3 esferas

• Uma parte muito expressiva das Políticas e programas sociais foram efetivamente criados nos últimos 25 anos, pós Constituição de 1988, estando pois em diferentes estágios de maturidade institucional

• As Políticas e programas operam em contextos sociais e econômicos muito diversos, múltiplos públicos-alvo e em ambientes diferenciados de capacidade de gestão

Políticas Sociais no Brasil: escopo e cobertura

• Integram-se ao conjunto de Políticas Socias que estruturam o Sistema de Proteção Social no processo de desenvolvimento, particularmente após a Constituição de 1988

• Representam inovações programáticas que buscam superar a estratégia fragmentada de ações dirigidas aos grupos vulneráveis em Saúde e Nutrição e de acesso ao alimento mediante a distribuição de cestas básicas, que ocorreram nos anos 1980

• Representam avanços no Sistema de Seguridade Social, até então estruturado sobre a ótica contributiva, para garantir proteção social aos trabalhadores informais, deficientes, idosos sem aposteadoria ou pensão, etc.

• Tem a natureza de políticas de cunho redistributivo, emancipatório e compensatório, com estratégia de implementação voltada a populações vulneráveis por diferentes aspectos: pela fome, insegurança alimentar, insuficiência de renda, trabalho irregular e falta de oportunidades de geração de renda, violência, etc.

Políticas de Desenvolvimento Social

Famílias vulneráveis

Serviços de Assistência

Social

Segurança Alimentar e Nutricional

Transferência de renda

Inclusão Produtiva

Educação

Saúde

Direitos humanos

Igualdade Racial

13

Desenvolvimento Agrário

Emprego

Seguridade Social

Programas de Desenvolvimento Social: programas para diversos públicos, articulados com ações estruturantes e transversais do Sistema de Proteção Social, coordenados e

operados por múltiplos agentes no território

Políticas para as Mulheres

Trabalhador rural e volante

Trabalhador na informalidade ou baixa renda

Agricultor familiar

População em situação de rua

Quilombolas e outros PCT

Mães com filhos com renda baixa

Governo Federal

Governos Municipais

Governos Estaduais

Entidades e Organizações Sociais

Plano Brasil Sem Miséria - Eixos de atuação

Garantia de meios para sobrevivência, acesso a serviços

públicos e oportunidades de emancipação pessoal

Elevação da renda Aumento das condições de bem-estar

Garantia de Renda

Inclusão Produtiva Urbana e Rural

Acesso a Serviços Públicos

Pobreza é privação de acesso a direitos

Em uma sociedade democrática e solidária, em um mundo urbanizado e rico, ninguém deve ser privado de meios para garantir a sua sobrevivência, privado dos meios para acessar direitos e serviços sociais, e privado

dos meios de informação e de acesso a oportunidades de autoaperfeiçoamento

SAGI – LIÇÃO APRENDIDA 01

• Informação e Conhecimento são insumos fundamentais para

orientar a ação governamental, tanto para formuladores e

dirigentes ao nível estratégico como para os gestores e

técnicos ao nível tático e operacional, responsáveis pelos

programas e serviços e que podem, no trabalho cotidiano,

gerar mudanças contínuas na realidade social vivenciada pela

população;

A INFORMAÇÃO E CONHECIMENTO PARA POLITICAS SOCIAIS É DEMANDADA POR MUITOS ATORES DIFERENTES, EM UM CONTEXTO DE

ARRANJO FEDERATIVO E COMPARTILHADO DE IMPLEMENTAÇÃO

Gov Federal: + 6.000

Municípios: 600.000 - Técnicos e gestores - Conselheiros - Entidades

Secretaria Estaduais : 20.000

Sociedade Civil Universidades População Brasileira

Políticas de Desenvolvimento Social e Plano Brasil Sem Miséria


• Formuladores de políticas, gestores e técnicos de programas,

nos escritórios de planejamento ou nos postos de serviços,

não necessitam de Informação e Conhecimento exaustivo,

mas de informação relevantes, consistente, compreensível e

no tempo adequado à sua apropriação na decisão para as

diferentes etapas do ciclo de um programa;

Produtos de Informação e Conhecimento: Site personalizado para facilitar a coleta de dados e relatórios do Plano Brasil Sem

Miséria para gestores de programas e operadores

Produtos de Informação e Conhecimento - O produto mais acessado: relatórios customizados para todos os 27 Estados e 5.565

municípios, atualizados a cada 2 ou 3 meses


• Sistemas de Monitoramento e Avaliação constituem-se em

processos articulados de levantamento, organização e

disseminação de informação e conhecimento para o ciclo de

gestão de políticas e programas públicos, dirigidos a subsidiar

o aprimoramento de seu desenho e sua gestão, garantir mais

transparência da ação governamental e prover evidências do

mérito e da efetividade de políticas e programas;

Demanda crescente de informação

para Políticas Públicas

Desafios da Produção de Informação para Políticas Públicas

Maior detalhamento temático - Ex: Pequisa Painel Longitudinal de Pobreza

Maior confiabilidade - Projeções populacionais (por UF pelo método componentes )

Maior regularidade - Ex: Pnad Contínua

Maior detalhamento territorial/granularidade - Ex: EducaCenso

Sistemas de Monitoramento e Avaliação

SISTEMAS DE MONITORAMENTO E AVALIAÇÃO (SM&A)

ESTRUTURAM-SE DE DIFERENTES FORMAS E ARRANJOS PARA PROVER DEMANDA CADA VEZ MAIS INTENSA E COMPLEXA DE

INFORMAÇÃO E CONHECIMENTO

• Produtos e Serviços informacionais cada vez mais complexos • Escopo temático mais abrangente e interdisciplinar • Maior detalhamento geográfico • Maior detalhamento de públicos-alvo dos programas • Atualização mais frequente • Disseminação customizadas para diferentes usuários


• Estes sistemas envolvem um conjunto de atividades –

articuladas, sistemáticas e tecnicamente orientadas – de

registro, produção, organização, acompanhamento e análise

crítica de informações resultantes da Gestão de Políticas

Públicas, para identificação de demandas sociais, desenho,

seleção, implementação e avaliação de soluções para essas,

com a finalidade de subsidiar a tomada de decisão de técnico

e gestores envolvidos nas diferentes etapas do ciclo de vida

ou maturação das políticas e de seus programas;

Problemas

sociais

Avaliação

somativa

Necessidades de informação e conhecimento

Definição da agenda

Formulação

Decisão

Implementação

Políticas e Programas demandam diferentes Produtos de Informação e Conhecimento: tipos de avaliações de acordo com a implementação do programa, incluindo Estudos de

Cenários, Programa de Prospecção e Meta-avaliações

Avaliação de desenho do projeto

Avaliação das demandas sociais

Avaliação de Processos e Implementação

Avaliação dos custos e efetividade Avaliação dos

Impactos e efeitos

Prospecção de programas existentes

Estudos de Cenários Futuros

Meta-Avaliações

Pesquisas e Estudos Avaliativos SAGI – 2011 a 2014


• Os produtos desses sistemas devem responder às

necessidades do estágio de maturidade de um programa,

podendo se constituir em documentação de programas e seus

modelos lógicos; serviços de organização de dados,

computação de indicadores de monitoramento, realização de

pesquisas de campo, elaboração de estudos com dados

secundários, resenhas de publicações e artigos em temáticas

correlatas; compilação de estudos em meta-avaliações;

prospecção de programas já existentes em outros países, etc;

POLÍTICAS SOCIAIS DEMANDAM INFORMAÇÃO E CONHECIMENTO DIVERSOS

Produtos de Informação e Conhecimento: dados e indicadores sociais organizados, relevantes e personalizados a nível nacional, estadual e municipal

em ferramentas web para facilitar a obtenção de dados relevantes

SAGI – Secretariat of Evaluation and Information Management

Produtos de Informação e Conhecimento: ferramentas interativas da web para apresentar mapas e indicadores específicos para ajudar e orientar a equipe

técnica para direcionar seus esforços em níveis submunicipais

O ACESSO E USO DO DADOS, PESQUISAS E PRODUTOS – GOOGLE ANALYTICS

De 5 mil usuários/mês em 2011 para 50 mil em 2014


• Monitoramento e Avaliação são processos analíticos

organicamente articulados, que se complementam no tempo,

com o propósito de subsidiar o gestor público de informações

mais sintéticas e tempestivas sobre a operação do programa

– resumidas em painéis ou sistemas de indicadores de

monitoramento – e informações mais analíticas sobre o

funcionamento desse, levantadas nas pesquisas de avaliação;

Produtos de Informação e Conhecimento: painéis de indicadores organizados pelos burocratas de nível estratégico, estaduais

e operadores

Número de beneficiários do Programa Bolsa Família

Número de pessoas inscritas no Cadastro Único formalizadas como microempreendedores

Frequência Escolar para crianças de 6 a 15 anos

Atendimento das condicionalidades de saúde


• Informação deve ser disponibilizada segundo padrões

aceitáveis de validade e confiabilidade. Pior que não ter

informação é dispor de informação equivocada, mal

levantada ou organizada. Interpretações descuidadas de

resultados de estudos avaliativos podem levar à produção de

factoides que conspiram contra o aprimoramento da ação

pública;

FACTÓIDE FATO


• Informação e Conhecimento devem ser produzidos a partir de

uma perspectiva multi-métodos e de triangulação de sujeitos.

Não há método ou técnica “padrão-ouro” de coleta de dados

ou de avaliação de programas. Problemas e programas

complexos requerem abordagens integradas de

monitoramento e avaliação;

Programa

Estudos de Impacto

Quasi-experimental

Evidências qualitativas:

Entrevistas estruturadas com as famílias e funcionários

Grupos focais

Cartas de pessoas

Pesquisas nacionais e

específicas por público-

alvo

Produtos de Informação e Conhecimento: Triangulação de métodos é o padrão-ouro.

Estratégia avaliativa pode contemplar métodos qualitativos, quantitativos, quasi-experimentais , painéis longitudinais, amostras probabilíticas, amostras intencionais

Pesquisa Painel

Longitudinal de Pobreza Cadastro Único e

Integração de dados

administrativos



Disseminação Pública • Ficha Técnica • Resumo executivo • Questionários • Microdados para

uma análise mais aprofundada das universidades e por qualquer cidadão

Produtos de Informação e Conhecimento: 130 estudos específicos de avaliações e pesquisas, mais de 40 programas, desde 2004,

com resultados e microdados apresentado na Web


• No desenvolvimento de pesquisas de avaliação, assim como

nos demais produtos, o uso de equipes mistas, garante a

sinergia entre conhecimento interno de gestão e

especialidade técnica trazida de fora, gerando produtos com

maior potencialidade de uso, não apenas pela adequação às

demandas mais relevantes como também pela legitimidade

conferida pelo envolvimento inicial dos agentes internos ao

programa;

Programa

Pesquisas de agências

estatísticas

Firmas nacionais ou internacionais de

Consultores

Produtos de Informação e Conhecimento: Triangulação de avaliadores também é o padrão-ouro.

Projetos de pesquisas

universitárias

financiados por

Conselhos de Pesquisa

Estratégias participativas de

coleta de informações

(cartas de beneficiários)

Avaliações de estudos feitos

pela equipe interna



Produtos de Informação e Conhecimento: Estudos técnicos escritos por equipe interna a respeito de questões específicas sobre a

agenda de Monitoramento e Avaliação


• Além de se dispor de competência técnica de produzir

pesquisas específicas, estudos avaliativos apoiados em

registros administrativos, cadastros públicos e base de dados

de sistemas informatizados de gestão de programa é

estabelecer parceria com instituições produtoras de

estatísticas públicas e estatísticas setoriais para que as

descontinuidades administrativas e eventuais cortes

orçamentários não interrompam o ciclo de produção de

conhecimento para aprimoramento das políticas;

Parcerias entre MDS e IBGE

• PNAD - Suplementos

2004 - Aspectos Complementares de Educação e Acesso a Transferências de Renda de Programas Sociais e Segurança Alimentar

2006 - Aspectos Complementares de Educação, Afazeres Domésticos e Trabalho Infantil e Acesso a Transferências de Renda de Programas Sociais

2007 - Aspectos Complementares da Educação de Jovens e Adultos e Educação Profissional

2009 - Segurança Alimentar

2013 – Segurança Alimentar

2014 – Qual.Profissional, Inclusão Produtiva, Cadastro Único, Mob. Social

Parcerias entre MDS e IBGE

• MUNIC – Pesq.Inf.Básicas Municipais – 2005 , 2009 e 2013 - Assistência Social

– 2014 – Inclusão Produtiva

• Estadic – Pesq.Inf. Básicas Estaduais – 2012 e 2013 - Assistência Social

– 2014 – Inclusão Produtiva

• Pesquisa de Entidades da Assistencia Social – 2007 e 2014

• Cadastro Único – Formulário da versão 7 e compatibilização endereços

• Pesquisa Painel Longitudinal de Pobreza

PRONATEC

MEI

PAA

FOMENTO

Censo Educ

Superior

CAGED

RAIS

Produção de informações tempestivas e úteis para: • Formulação de

serviços e programas

• Monitoramento de ações, serviços e programa

• Avaliação de ações, serviços e programas

CadÚnico

SISVAN

Estudos avaliativos com base na Integração de dados longitudinais do Cadastro Único, Bolsa Família e outros Registros Administrativos

1. Integração de BDs: rotinas e estratégias 2. Integração de BDs: CadÚnico x Sisvan 3. Dados descritivos Transversais 4. Dados analíticos Transversais 5. Análise Longitudinal _________________________

0%

2%

4%

6%

8%

10%

12%

14%

16%

18%

20%

Longitudinal Transversal

Proporção das crianças menores de 5 anos, beneficiárias do PBF e acompanhadas nas condicionalidades de saúde, que estão com desnutrição crônica, segundo as

perspectivas Longitudinal e Transversal – Brasil 2008/2012

2008

2009

2010

2011

2012

2 a

7 a

no

s

0 a

5 a

no

s

1 a

6 a

no

s

0 a

5 a

no

s

1 a

6 a

no

s

2 a

7 a

no

s

3 a

8 a

no

s

3 a

8 a

no

s

4 a

9 a

no

s

4 a

9 a

no

s

Integração Cadastro e SISVAN

1. Integração de BDs: rotinas e estratégias 2. Integração de BDs: CadÚnico x Sisvan 3. Dados descritivos Transversais 4. Dados analíticos Transversais 5. Análise Longitudinal _________________________

0%

2%

4%

6%

8%

10%

12%

14%

16%

18%

Longitudinal Transversal

Proporção das crianças menores de 5 anos, beneficiárias do PBF e acompanhadas nas condicionalidades de saúde, que estão com excesso de peso,

segundo as perspectivas Longitudinal e Transversal - Brasil 2008/2012

2008

2009

2010

2011

2012

4 a

9 a

no

s

3 a

8 a

no

s

2 a

7 a

no

s

0 a

5 a

no

s

1 a

6 a

no

s

4 a

9 a

no

s

3 a

8 a

no

s

2 a

7 a

no

s

1 a

6 a

no

s 0 a

5 a

no

s

Integração Cadastro e SISVAN


• Tão importante quanto produzir informação é se esforçar

para que ela chegue aos destinatários que podem fazer uso

inteligente e efetivo da mesma. Informação para o Ciclo de

Gestão de Políticas e Programas é complexa e requer esforço

intenso de Capacitação e Formação e deve ser sistematizada

em suportes adequados – documentos, sínteses, portais,

produtos multimídia – e customizados para diferentes tipos

de usuários no governo federal, estadual, municipal e nos

equipamentos sociais;

Produção, Disseminação e Capacitação em Monitoramento e Avaliação: A Secretaria de Avaliação e Gestão da Informação do MDS

www.mds.gov.br/sagi


Produtos de Informação e Conhecimento - Publicações personalizadas para todos os diferentes usuários potenciais de estudos avaliações:

resumo e apresentação mais detalhada dos resultados das avaliações

Produtos de Informação e Conhecimento - Publicações personalizadas para todos os diferentes usuários potenciais dos estudos das avaliações:

apresentar resultados anuais do Censo SUAS

Versão eletrônica: Gráficos e manchetes

Publicação: dados selecionados (mais descritivos)

Produtos de Informação e Conhecimento - Publicações personalizadas para todos os diferentes usuários potenciais de estudos avaliações: contribuições

para disseminar a cultura de monitoramento e avaliação pela Revista Brasileira de Monitoramento e Avaliação e financiamento de seminários acadêmicos

Revista Brasileira de Monitoramento e Avaliação

Seminários Acadêmicos e Técnicos patrocinados

Ciclo de Formação em Conceitos e Técnicas para Elaboração de Diagnósticos, Monitoramento e Avaliação de Programas e Ações do MDS

Produtos de Informação e Conhecimento: Oferecendo cursos personalizados presenciais e à distância sobre o acompanhamento

e as questões de avaliação, utilizando manuais básicos e ferramentas multimídia e virtuais

Produtos de Informação e Conhecimento: Oferecendo cursos personalizados presenciais e à distância sobre o

acompanhamento e as questões de avaliação, utilizando manuais básicos e multimídia escritos para os gestores do programa

Curso Objetivo Carga-

horária

1. Diagnóstico

para a formulação de

programa

Desenvolver a capacidade de utilizar fontes de

informação a partir de programas e estatísticas oficiais

para diagnosticar a situação e propor um programa

público

20 a 40

horas

2. Ferramentas e

indicadores para

programas de

monitoramento

Preparar os participantes para utilizar sistemas de

informação, e desenvolver metodologias para a

construção de indicadores para o acompanhamento do

programa público

20 a 40

horas

3. Introdução aos

métodos de

investigação e estudos

de avaliação

Desenvolver habilidades essenciais para a compreensão

dos resultados da avaliação e as metodologias, o seu

potencial e as limitações

40 horas


• A apropriação da Informação e Conhecimento na Política ou

no programa não é, pois, tarefa trivial, guiada por

voluntarismo ingênuo ou tecnocrático, mas por juízo

adequado de oportunidade, conveniência e poder político.

Afinal, programas públicos são sistemas complexos e

dinâmicos, passam por mudanças significativas em seu

desenho e mesmo em seus objetivos em seu período de

implantação; são operados em geral por meio de arranjos

federativos, envolvendo diversos processos de trabalho e

milhares ou centenas de milhares de agentes.

Pesquisas e Estudos Avaliativos Desafios na Disseminação e Apropriação dos Resultados

Pesquisas e Estudos Avaliativos Desafios na Disseminação e Apropriação dos Resultados

Avaliadores e relatórios de avaliação podem apresentar achados e fazer recomendações, mas são os formuladores de políticas e outros tomadores de decisão que, em última instância, determinam que achados devem ser encarados com maior relevância e quais recomendações devem ser implementadas.

Avaliadores gostariam em algumas situações, às vezes frequentemente, de dispor do poder de impor as mudanças e recomendações que fizeram em seus estudos, mas esse não é o papel deles. ....

Avaliadores devem trabalhar diligentemente em informar e facilitar o uso dos seus achados ( e não ficar sentado e esperando algo acontecer)....

Eles não são os usuários finais das avaliações (Dabelstein e Patton 2012:196)

O ACESSO E USO NA PESQUISA ACADÊMICA – GOOGLE ACADÊMICO

Fator de Impacto H de 17

http://poko.ad/bcn/?/projects/all-you-need-is-less/

Obrigado !!

www.mds.gov.br/sagi

Documents

Avaliação como estratégia de produção de informação e ... · MATERIAL DE REFERÊNCIA . ... Frequência Escolar para ... Inclusão Produtiva, Cadastro Único, Mob. Social