102
Introdução ao uso de indicadores no monitoramento e avaliação de programas Paulo de Martino Jannuzzi

Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

  • Upload
    cbjrnmg

  • View
    7.358

  • Download
    6

Embed Size (px)

DESCRIPTION

Apresentação do Professor Paulo Jannuzzi em oficina para grupo de Técnicos da Prefeitura de Belo Horizonte, realizada em março de 2009.

Citation preview

Page 1: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Introdução ao uso de indicadores no monitoramento e avaliação de programas

Paulo de Martino Jannuzzi

Page 2: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Tópicos da Apresentação

1. Conceitos básicos sobre Indicadores

2. Monitoramento e Avaliação de Programas

3. Agenda de trabalho ANIPES

Page 3: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Tópicos da Apresentação

1. Conceitos básicos sobre Indicadores

BibliografiaGUIMARÃES, J.R.S e JANNUZZI, P.M. IDH, Indicadores sintéticos e suas aplicações em políticas públicas: uma análise crítica. Revista Brasileira. Est. Urbanos e Regionais, Salvador 7 (1):73-89, 2005.JANNUZZI, P.M. Indicadores sociais no Brasil. Campinas: Alínea/Puc-Campinas, 2001, 146 p.JANNUZZI, P.M. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Revista do Serviço Público. Brasília 56(2):137-160, abr/jun 2005.

 

Page 4: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas
Page 5: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

O terremoto de 8 graus da escala Richter atingiu o

município de Wenchuan, na província de Sichuan, às 14h28 do dia 12 de maio

2008

Page 6: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas
Page 7: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Por que o interesse crescente por Indicadores

• Retomada do planejamento como instrumento para a ação

pública - PPA, LDO, Plano Diretor, Estatuto da Cidade

• Novos formatos de execução das políticas sociais

• Pressão por maior efetividade do gasto social

• Mudança da auditoria TCU : formalidade -> resultados

• Reforma Gerencial da Administração Pública

• Forte aumento do nível médio de qualificação dos gestores públicos

Page 8: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Ciclo de Políticas Públicas

Definição de Agenda

Percepção e definição de problemas,

“agenda setting” FormulaçãoIdentificação de

alternativas e avaliação das opções, decisão e

elaboração de programas

DemandasNovas/recorrentes;

nacionais/internacionais

ImplementaçãoPlano de ações, monitoramento.

AvaliaçãoResultados, impactos,

eventual correção da ação, término

ou reinício do ciclo.

Sistema de Dados e Indicadores para

o Diagnóstico

Indicadores para tomada de decisão

quanto aos programas

Painel de Indicadores para Monitoramento

Dados e Indicadores de Pesquisas de

Avaliação

Page 9: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Funcionalismo PúblicoTotal 2002 – 2006 (mil)

Esfera 2002 2006 Var %

Federal 805,4 831,2 3,2

Estadual 2.902,0 3.152,0 8,6

Municipal 3.290,5 4.217,0 28,2

Total – 3 esf 6.997,9 8.200,2 17,2

Total RAIS 28.683,9 35.155,2 22,6

Por que o interesse crescente por Indicadores

Page 10: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Funcionalismo Público com nível superiorTotal 2002 – 2006 (mil)

Por que o interesse crescente por Indicadores

Esfera 2002 2006 Var %

Federal 303,7 378,0 24,5

Estadual 970,6 1.272,4 31,1

Municipal 600,3 1.048,1 74,6

Total – 3 esf 1.874,6 2.698,5 44,0

Total RAIS 3.670,9 5.266,0 43,5

Page 11: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

O que é um Indicador ? Para que serve ?

Page 12: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Retratando a realidade social....

Page 13: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Retratando a realidade social....

Page 14: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Retratando a realidade social....

Page 15: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Retratando a realidade social....

Page 16: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Retratando a realidade social....

Page 17: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

– Recurso metodológico para “retratar” a realidade social, de forma simplificada, mas objetiva e padronizada

– Medidas que operacionalizam um conceito abstrato ou dimensão de interesse da ação pública

Conceito Indicadores a construir

Composição material da habitação

Condições de Vida Infraestrutura urbana e entorno

da população Disponibilidade de alimentos

Rendimentos

Inserção no mercado de trabalho

Indicadores Sociais

Page 18: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Construção de Indicadores Sociais

Page 19: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Alguns exemplos de indicadores e seus usos

Page 20: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Taxa de mortalidade infantil

Violëncia

Em 100 mil

Page 21: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Taxa de analfabetismo

Page 22: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Taxa de desemprego

Page 23: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Índice de Gini

Page 24: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Coeficiente técnicos de recursos

Page 25: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Índice Sintético : um exemplo

Page 26: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Quais são as principais fontes de dados para construção de

indicadores ?

Page 27: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

I B G E

Unidades Regionais

Unidades Regionais

AgênciasMunicipais

AgênciasMunicipais

AgênciasMunicipais

Ministérios

INEP

Datasus

Min Trab

Agências estaduais

Estatísticas

SEADE

FEE

IPARDES

SEI

FJP

Sistema Estatístico Nacional

Data-prev

Senarc e Sagi/

MDS

Min C&T

Sec Planej

IDESP

Page 28: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Subsistema de

Estatísticas Sociais

Estatísticas Demográficas

Estatísticas do Trabalho

Estatísticas da Saúde Estatísticas

da Educação

Estatísticas da Pobreza

Subsistema de Estatísticas Econômicas

Estatísticas Industriais

Estatísticas dos

Serviços

Estatísticas do

Comércio

Estatísticas Agropecuárias

Contas Nacionais

Sistema Estatístico Nacional

Estatísticas ambientais

Page 29: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Principais fontes de estatísticas

Subsistema de Estatísticas sociais

1. Censos Demográficos decenais/Contagens

2. Pesquisa Nacional por Amostra Domicílios

3. Pesquisas amostrais específicas

4. Reg. Administrativos e Pesquisas dos Ministérios

5. Estatísticas Vitais

Page 30: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Censos Demográficos

•Primeiro: 1872 Depois de 1940, decenal

•Contagens populacionais no meio do decênio

•Cobertura total do território nacional

•40 milhões de domicílios em 2000

•Mais de 150 mil recenseadores

•Principal fonte de dados municipais

•Questionário básico (dom, família,sexo, idade, alfabetização)

•Questionário da amostra (10% dos domicílios)

•Coleta de informações comparativa/e detalhada (educação, ocupação, rendimentos, migração, nupcialidade etc)

Page 31: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Pesquisa Nacional Amostra Domicílios (PNAD)

• Primeira: 1967 – depois de 1970, anual.• Cobertura quase total (exclusive zona rural da antiga região Norte até 2003) e cobertura completa a partir de 2004.• Amostra de aprox. 140 mil domicílios.• Resultados para estados e regiões metropolitanas.• Principal fonte de dados em nível estadual.• Escopo temático similar ao Censo (amostra). • Investigações específicas (fecundidade, anticoncepção, migração, mobilidade social, educação, saúde, associativismo, participação política, bens de consumo, consumo de energia, trabalho, trabalho infantil, previdência, segurança alimentar, merenda escolar, acesso a programas de transferência de renda.)

Page 32: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Pesquisa Nacional por Amostra de Domicílios

Page 33: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Pesquisa com amostra probabilística – IBGE

Pesquisa Nacional por Amostra de Domicílios

Page 34: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Registros Administrativos* IBGE Estatísticas do Registro Civil anual Pesq. Inf. Básicas Municipais anual*   Ministério do Trabalho RAIS anual CAGED mensal * Ministério da Educação Censo Escolar anual Censo do Ensino Superior anual Sist Aval Educ Basica – Pv Brasil bi-anual  

* Ministério da Saúde: Estatísticas de mortalidade anual Registro de Vacinações anual Assistência Médico-Sanitária irregular Notificação de Nascidos Vivos anual Estatísticas Produção SUS mensal

* Outros Anuário da Previdência Social anual Estatísticas Arrecad. Federal anual

Page 35: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Pesquisa de Informações Básicas Municipais (MUNIC)

Informações municipais sobre:– Estrutura administrativa– Nível de participação e formas de controle social

(conselhos municipais)– Instrumentos de planejamento municipal (Plano

Plurianual, Plano Diretor, Lei de Parcelamento do solo, etc)

– Justiça e segurança (delegacia de mulheres, juizado de pequenas causas, etc)

– Cultura e lazer (bibliotecas públicas, livrarias, jornais locais, ginásios de esporte, etc)

Indicadores para:– Grau de participação e controle popular da ação

pública– Estágio de desenvolvimento institucional do

planejamento e gestão pública municipal

Page 36: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Registros administrativos dos Ministérios, Secretarias e Programas

Extração de informações e

integração em um Data Warehouse

(DW)

Imagens de satélite

Chave de integração:

município ou indivíduo

Page 37: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Quais são as principais publicações de indicadores sociais ?

Page 38: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas
Page 39: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas
Page 40: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas
Page 41: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas
Page 42: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas
Page 43: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas
Page 44: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas
Page 45: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Sites na Internet

IBGE www.ibge.gov.br INEP www.inep.gov.br DATASUS www.datasus.gov.br Ministério Trabalho www.mte.gov.br Ministério Planejamento www.planejamento.gov.br FEE (RS) www.fee.gov.br IPARDES (PR) www.ipardes.gov.br SEADE(SP) www.seade.gov.br Nações Unidas www.un.org/databases OCDE www.oecd.org/statistics OIT www.ilo.org OMS www.who.int/whosis OPAS www.paho.org PNUD www.unpd.org/ toppages/statistics B. Est.Trabalho EUA www.bls.gov Bureau Censo EUA www.census.gov

Page 46: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas
Page 47: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas
Page 48: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas
Page 49: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

A escolha de indicadores para uso no Ciclo de Políticas Públicas deveria se pautar, ademais da revelância dos mesmos à proposta

– Pelas propriedades de que dispõe

– Pela natureza de seu uso/interpretação

Indicadores: Propriedades e Classificações

Page 50: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Propriedades dos Indicadores

1. Relevância Social 2. Validade

3. Confiabilidade4. Cobertura

5. Sensibilidade6. Especificidade

7. Periodicidade na atualização8. Desagregabilidade

9. Factibilidade para obtenção10. Comunicabilidade

11. Replicabilidade de sua construção12. Historicidade

Page 51: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Diagnóstico

Avaliação Formulação

Implementação

Indicadores para retratar a realidade social - amplitude

temática e escala

Indicadores Sintéticos ou Multicritérios para tomada de decisão

Indicadores especificos e conclusivos acerca

da eficiência, eficácia e efetividade dos

programas

Indicadores no Ciclo das Pol Públicas

Indicadores para “filmar” as mudanças - sensibilidade, periodicidade

Page 52: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Propriedades dos Indicadores

Page 53: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Propriedades dos Indicadores

Page 54: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Propriedades dos Indicadores

Page 55: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Propriedades dos Indicadores

Page 56: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Propriedades dos Indicadores

Page 57: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Propriedades dos Indicadores

Page 58: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Propriedades dos Indicadores

Page 59: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Classificação dos Indicadores

Page 60: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Indicadores objetivos e subjetivos

Page 61: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Indicadores objetivos e subjetivos

Page 62: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Indicadores objetivos e subjetivos

Page 63: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Indicadores objetivos e subjetivos

Page 64: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Indicador 1

Método deaglutinação

      

Índice composto ou sintético

Indicador 2

Indicador 3Índice de custo de vida

Indice de Desenvolvimento Humano

Que dimensões utilizar ?

Como combinar ?

Que pesos atribuir ?

Indicadores analíticos ou sintéticos

Page 65: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Índice Sintético : um exemploIndicadores Analíticos ou Sintéticos

Page 66: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Índice Sintético : um exemploIndicadores Analíticos ou Sintéticos

Page 67: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Indicadores Analíticos ou Sintéticos

AnoP= Tx. média de

aprovação

Média da nota

padronizada

IDEB = N x P

Taxa média de

abandono %

M= Taxa média de

permanência

IDEB+= NxPxM

1999 78,00 4,56 3,55 10,20 89,8 3,19

2001 79,70 4,33 3,45 8,20 91,8 3,17

2003 80,80 4,42 3,57 6,60 93,4 3,34

2005 81,60 4,61 3,76 5,70 94,3 3,55

Var. 1999-2005 4,62 1,27 5,94 -44,12 5,01 11,25

Page 68: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

 

Indicador-insumoRecurso:

quantidade de médicos por mil habitantes ou

gasto monetário per capita em

saúde

Indicador-processo

Uso dos recursos:Consultas ao mês por Criança até

1 ano

Indicador-produto

Resultado efetivo:Taxa de

morbidade ou mortalidade infantil por

causa específica

Ciclo de formulação e avaliação

Indicador-impactoDesdobramentos

Mais abrangentes

Melhora do nível nutricionalMelhora do

desempenho escolar

Economia futura em gastos com

saúde

Indicadores seg. natureza processual

Page 69: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Finalizando.....

Há muitas estratégias diferentes para retratar a

realidade social através de indicadores.....

Page 70: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Tópicos da Apresentação

2. Monitoramento e Avaliação de Programas

CARVALHO, S.N. Avaliação de programas sociais: balanço das experiênciase contribuição para o debate. São Paulo em Perspectiva, São Paulo,17(3-4): 185-197, 2003COTTA,T.C. Metodologias de avaliação de programas e projetos sociais: análise de resultados e impacto. Revista do Serviço Público, Brasilia, 49(2):103-124, 1998.WORTHERN, B.R. et al. Avaliação de programas: concepções e práticas. São Paulo: EdUsp/Ed. Gente, 2004,

Page 71: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Constatação 1

As metodologias de avaliação de programas sociais têm sido objeto de severas críticas. Basicamente, afirma-se que, na prática, as avaliações não subsidiam o processo

decisório porque seus resultados são inconclusivos, inoportunos e irrelevantes. Inconclusivos em função das

próprias limitações deste tipo de estudo, inoportunos devido à morosidade do processo avaliativo e irrelevantes,

porque não respondem às demandas informacionais de todos os agentes sociais afetos à intervenção (COTTA

1998, p.118).

Page 72: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Constatação 2

De vez em quando, uma “avaliação” mal concebida ou mal executada produz informações que, no melhor dos

casos, seriam enganosas e, no pior, absolutamente falsas. Embora essas ocorrências sejam raras, podem causar

problemas graves. Como geralmente tem ar de respeitabilidade, essas avaliações não costumam ser

questionadas, e o resultado é que decisões importantes sobre programas e serviços essenciais baseiam-se

inadvertidamente em informações falaciosas. (WORTHEN et al. 2004, p.44).

Page 73: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Possíveis fatores que contribuem para tal

1) Tecnocratismo ingênuo – Capacidade de implementação superestimada – Implementação Programada

2) Deficiências na estruturação de Sistemas de Monitoramento

3) Problemas na especificação de Pesquisas de Avaliação

4) Falta de experiência sobre a Avaliabilidade efetiva dos programas públicos, por ser área de conhecimento relativamente nova no país, com forte demanda

1) Campo ainda em profissionalização

2) Falta de rigor metodológico e de informações específicas

3) Problemas na formação acadêmica quanto ao uso de métodos quantitativos e qualitativos e acerca da complementaridade dos mesmos

4) Necessidade de incorporação de novas metodologias com recursos computacionais

Page 74: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Possíveis fatores que contribuem para tal

1) Tecnocratismo ingênuo – Capacidade de implementação superestimada – Implementação Programada

2) Deficiências na estruturação de Sistemas de Monitoramento

3) Problemas na especificação de Pesquisas de Avaliação

4) Falta de experiência sobre a Avaliabilidade efetiva dos programas públicos, por ser área de conhecimento relativamente nova no país, com forte demanda

1) Campo ainda em profissionalização2) Falta de rigor metodológico e de informações específicas

3) Problemas na formação acadêmica quanto ao uso de métodos quantitativos e qualitativos e acerca da complementaridade dos mesmos

4) Necessidade de incorporação de novas metodologias com recursos computacionais

Page 75: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Linha do Tempo da Pesquisa em Avaliação nos EUA

1800-

1940

Estudos avaliativos na Educação Básica- currículos, desempenho, testes - seguindo preocupação e modelos na Inglaterra.

Com o aparecimento de especialistas em eficiência na indústria, iniciam-se estudos avaliativos isolados na Administração Pública (Saúde Pública, Moradia, Trabalho).

1940-

1965

Métodos e técnicas de pesquisa para melhorar eficiência de processos, desenvolvida na Segunda Guerra, passa a ser aplicada na avaliação de programas de qualificação profissional, moradia, planejamento familiar, educação.

Forte influência de técnicas quantitativas psicométricas, aquelas aplicadas na indústria, desenhos experimentais e quase experimentais (aval. resultados)

Page 76: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Linha do Tempo da Pesquisa em Avaliação nos EUA

1965-

1980

1965 – Lei propondo aumento substancial do financiamento à educação e bolsas de estudo paras escolas municipais e universidades, requerendo avaliação de resultados e impactos.

Grande impulso na avaliação de programas em pobreza, qualificação profissional, criminalidade, saúde infantil com a constituição da Great Society (institucionalização do Estado de Bem-Estar Social americano).

Introdução de técnicas de planejamento e programação nos Departamentos (ministérios) Federais.

Carência de profissionais com formação adequada leva à criação de vários programas de mestrado na área, com proposição de desenhos avaliativos mais ecléticos (abordagens qualitativas, voltadas a avaliação de processos)

Produção de vários livros, manuais clássicos e revistas períódicas especializadas

Page 77: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Linha do Tempo da Pesquisa em Avaliação nos EUA

1980-

dias atuais

No Governo Reagan, com a ênfase na desregulamentação e descentralização na prestação de serviços e programas sociais, há um arrefecimento na avaliação em nível federal no seu mandato (8 anos), contrabalançado pela demanda crescente nos estados e municípios.

Entrada de cena das ONGS- com a privatização dos serviços sociais induzida pelo Governo Reagan- também requerem estudos de avaliação, para justificar e validar experiências inovadores e financiamentos de Agências Federais e Privadas

Institucionalização crescente da atividade de avaliação de programas, com profissionais especializados, criação de Associação de Profissionais – American Evaluation Association (1985) e em outros países

Estabelecimento de Diretrizes de Avaliação de Programas na AEA e adotadas em alguns estados e municípios, como critérios para contratação

Reconhecimento da natureza trans-disciplinar da pesquisa avaliativa, da necessidade de desenhos quali-quantitativos integrados, da avaliação interna, emprego de novos recursos tecnológicos

Page 78: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Principais fontes de pesquisas em Avaliação de Programas

American Evatuation Association

www.eval.org

Evaluation Practice

New Directions for Program Evatuation

Encontro anual em outubro-novembro nos EUA

No site há material de treinamento, instrumentos de pesquisa usados, meios de consulta e busca de consultores e instituições especializadas

Canadian Evaluation Society

www.evatuationcanada.ca

Canadian Journal of Program Evatuation

Conferência anual em maio

Material de consulta

European Evaluation Society

www.europeanevaluation.org

Evaluation

Conferência bi-anual em novembro

Material de consulta

Societé Française d´Evaluation

http://www.sfe.asso.fr

Evaluation et mesure de la performance

Jornadas de Estudos anuais – nacional e internacional

Material de consulta

Page 79: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Principais fontes de pesquisas em Avaliação de Programas

Page 80: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Principais fontes de pesquisas em Avaliação de Programas - Brasil

Principais Publicações (várias no www.scielo.br )

Revista do Serviço Público (ENAP)

Revista de Administração Pùblica (RAP)

Revista de Saúde Pública

Revista São Paulo em Perspectiva

Estudos em Avaliação Educacional (Carlos Chagas)

Planejamento e Políticas Públicas (IPEA)

Revista Avaliação em Políticas Públicas (MAPP-UFC)

Publicações do IPEA (Textos para Discussão, Estado da Nação)

Publicações do IBGE (Indicadores Sociais, Publ.anual PNAD)

Políticas Públicas em Foco (Cebrap- Fundap)

Associações Científicas

ANPAD

www.anpad.org.br

Revista de Administração Contemporânea

Encontros anuais, com seções específicas em Gestão Pública e com eventos bi-anuais do ENAPG – Encontro Nacional de Administração Pública e Governo

ANPOCS

ANPEC

ANPED

ABEP

ABET

Rev.Bras. Ciências Sociais

Rev.ANPEC

Rev.Bras. Educação

Rev.Bras.Estudos Populacionais

Rev.da ABET (Estudos do Trabalho)

Page 81: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Principais fontes de pesquisas em Avaliação de Programas - Brasil

Tribunal de Contas da Uniáo

www.tcu.gov.br

Relatorios de Auditoria e Avaliação de Programas

Material de consulta e treinamento

Secretaria de Avaliação e Gestão da Informação

SAGI do MDS

www.mds.gov.br

Relatórios metodológicos das Pesquisas de Avaliação

Instrumentos de pesquisa

Recursos de acesso ao banco de dados do Cadastro Unico

Associação Brasileira de Avaliação Educacional

www.abave.org.br

Fundada em 2003

Material de consulta dispinível

Eventos anuais

Rede Brasileira de Avaliação

www.avaliabrasil.org.br

Fundada em 2002 (site fora do ar em 2008)

Esforço de estruturação em rede pelo país – ONGs, Governo, universidades

Enfoque multidisciplinar (psicologia social a pesquisa operacional)

Page 82: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Confusão entre Monitoramento e Avaliação de Programas

Vários termos similares e relacionados, mas distintos

– Sistemas de Informação para Gestão

– Visitas e contatos de acompanhamento e gestão

– Sistema de Indicadores de Monitoramento

– Pesquisas de Avaliação

– Estudos de Políticas Públicas

– Auditorias operacionais CGU

– Avaliação de Programas do TCU

Page 83: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Confusão entre Monitoramento e Avaliação de Programas

Ministério do Desenvolvimento Social – 4 Secretarias Nacionais

• 3 Voltadas à Implementação dos Programas– SENARC (Bolsa Familia)

– SNAS ( Peti, BPC, PAIF etc)

– SESAN (PAA, Rest. Populares etc)

• SAGI - Gestão da Informação e Avaliação dos Programas » Gestão da Informação: desenvolvimento de ferramentas para coleta

de dados e para integração de sistemas de informação para produzir indicadores de monitoramento dos programas

» Avaliação de Programas: contratação de pesquisas avaliativas externas para os programas

Page 84: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Confusão entre Monitoramento e Avaliação de Programas

Monitoramento – Coutinho (2001, p.11) define o monitoramento como

um processo sistemático e contínuo que, produzindo informações sintéticas e em tempo eficaz, permite rápida avaliação situacional e a intervenção oportuna que confirma ou corrige as ações monitoradas”.

– Rua (2004,p.6) define o monitoramento como: Um conjunto de estratégias de “acompanhamento” de uma

política programa ou projeto, de modo a identificar de maneira oportuna e tempestivamente as vantagens e pontos frágeis na sua execução, a fim de efetuar os ajustes e correções necessárias à maximização dos seus resultados e impactos.

Page 85: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Confusão entre Monitoramento e Avaliação de Programas

Monitoramento – O monitoramento e avaliação dos programas de governo

são ferramentas essenciais para a boa prática gerencial. A avaliação é um procedimento que deve ocorrer em todas as etapas permitindo ao gestor federal o acompanhamento das ações e sua revisão e redirecionamento quando necessário.

– Enquanto o monitoramento é uma atividade gerencial interna, que se realiza durante o período de execução e operação, a avaliação pode ser realizada antes ou durante a implementação, como ao concluir uma etapa ou projeto como um todo, ou mesmo algum tempo depois, devendo se preocupar com o impacto provocado pela intervenção pública em seus beneficiários”. (TCU, 2006, p. 75).

Page 86: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Confusão entre Monitoramento e Avaliação de Programas

Monitoramento Avaliação

Atividade de gestão interna e contínua.

Atividade interna ou externa.

Acontece durante a implementação do programa ou projeto.

Pode acontecer antes, durante ou depois da implementação de um programa ou projeto.

Compara o que está sendo realizado com o que foi planejado.

Com base em dados levantados pelo monitoramento e outras fontes, julga o desempenho de um projeto de acordo com critérios pré- estabelecidos, tais como: eficácia, eficiência, efetividade, sustentabilidade, dentre outros

Fonte: Adaptado a partir de SEPLAN/SGA, 2005

Page 87: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Extração de informações e

integração em um Data Warehouse

(DW)

Imagens de satélite

Chave de integração:

município ou indivíduo

Estruturação de um Sistema de Monitoramento: Integração de Informações de diferentes fontes

Page 88: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Outras instituições

Cadastros e Registros

Transacionais de Programas

Pro-Social

Registro de Alunos

Empresa SP

Frente de Trabalho

.........

Gestores Estaduais

Técnicos de Secretarias

DW

Sim-Gov

SEADE

Indicadores Municipais Seade

Projeções populacionais

Investimentos anunciados

RAIS- CAGED

Pesquisas Municipais

Pesquisa Empr Desemp

Integrando IMO+Qualificação Profissional

Chave de Integração:

Individuos

Chave de Integração:

Municípios

Chave de Integração:

Município-Individuo

Chaves de Recuperação:

Região

Município

Programação

Indicadores

Dados Dados

IBGE

Pesquisa nacional por Am.Dom

Censos Demográficos

Pesquisas Econômicas

Órgãos Externos

DataPrev

DataSus

SED/Mins Trabalho

.......

Page 89: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas
Page 90: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas
Page 91: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Avaliabilidade do programa (Worthen et al 2004)

Situações em que a Avaliação não é adequada:

Não há sequer um sistema de monitoramento/gestão do programa

A avaliação produziria resultados triviais

Os resultados da avaliação não serão usados

A avaliação não tem como produzir informações úteis e válidas

A avaliação é prematura para o estágio do programa

O avaliação será apropriada para fins não justificáveis

Page 92: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Avaliabilidade do programa (Worthen et al 2004)

Passos para estudo da avaliabilidade Verificação preliminar

– O programa já engrenou ou tem problemas de gestão– Não é o caso de visitas e auditorias– Há sistemas ou registros informatizados acerca dos procedimentos– Já existe um conjunto mínimo de indicadores de monitoramento

Existem elementos para orientar a demanda de avaliação– “Esclarecer o modelo ou a teoria do programa”– “Examinar o programa na implementação para determinar se

corresponde ao modelo e se tem condições de alcançar suas metas e objetivos”

– “Explorar diferentes abordagens da avaliação para determinar o grau em que satisfazem as necessidades de informação dos interessados e se sua implementação é praticável”.

– “Definir as prioridades da avaliação e com os usos que se pretende fazer em estudo”

Page 93: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Estratégia Metodológica

1) Técnica de coleta de dadosFontes secundárias e documentaisObservação Realização de entrevistas Realização de Grupos Focais ou Grupos de DiscussãoLevantamentos de Campo

Experimentos e quase-experimentos

2) Amostra, Sujeitos, SituaçõesAmostra probabilística Amostra intencional ou conveniência

3) Instrumentos de pesquisaRoteiroFormulário, QuestionárioGravação, Filmagem, Foto, Mapeamento

Page 94: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Tópicos da Apresentação

3. Agenda de trabalho Anipes

Page 95: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

A Anipes

Associação de instituições e órgãos estaduais e municipais que tem como atividade subsidiar as atividades de:

– planejamento governamental;– formulação e monitoramento de políticas públicas.

Fundada em 1996 (formalmente em 1999) Congrega atualmente mais de 20 instituições, de norte a sul do

país, vinculadas a governos estaduais e municípios, além do IBGE e IPEA.

Page 96: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

www.anipes.org.br

Page 97: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Gestão Anipes 2008-2009

Seade-SP, Sei-BA e Fee-RS

Pauta de trabalho: – Maior integração e compartilhamento de experiências entre

seus filiados – Maior visibilidade institucional entre Governos Estaduais e

Ministérios– Projetos institucionais

IBGE:Sistema Integrado de Projeções e Estimativas Populacionais IPEA:Estudos e Pesquisas da Rede Ipea-Anipes MDS/Senarc: Uso e Exploração analítica do CadUnico

Page 98: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Cursos Anipes 2008

Page 99: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Cursos Anipes 2008

Page 100: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Cursos Anipes 2008

Page 101: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Cursos Anipes 2008

Page 102: Jannuzzi - Indicadores para Monitoramento de Políticas Públicas

Propostas de Atividades para 2009

Projeto MDS/Senarc

Oficina de uso do Cadunico para produção de estatísticas públicas Acompanhamento do recadastramento das famílias, com produção

de indicadores semestrais e comparação anual com PNADs 2007 a 2009 e Censo 2010, em nível estadual

Estudo piloto da expansão das periferias das grandes cidades com imagens de satélites (INPE)

Desenvolvimento de material para Capacitação de gestores municipais e estaduais na produção de indicadores e dados do CadUnico