1

Monitoramento e Avaliação de Programas Sociais

Kathy Lindert, Banco MundialQualidade do Gasto Público no Brasil

26-27 Junho, 2003

2

Plano de ApresentaçãoObjetivos do M&A

Marco conceitual, exemplo

Monitoramento (papel, etapas, etc.)

Avaliação (papel, etapas, etc.)

Disseminação e utilizações

Questões institucionais e sustentabilidade

3

Objetivos do M&AMonitoramento e avaliação podem ajudar os formuladores de política de diversas formas:

Como um instrumento para o planejamento e a elaboração do orçamento: para garantir alocações efetivas dos recursos públicos – planejamento, processo decisório e estabelecidmento de prioridades

Como um instrumento de gestão, revelando o desempenho de atividades em curso, em nível de projeto, programa ou setor, para informar decisões sobre expansão, modificação ou eliminação de programas de acordo com a sua efetividade

Como um mecanismo de accountability, para que haja controle sobre os gestores pela performance de seus programas/projetos e sobre controle sobre os governos pelo desempenho geral

Para obter e manter apoio político, flexibilidade institucional (mesmo entre administrações) e financiamento para atividades bem-sucedidas

4

Marco Conceitual

Resultados • Efeitos intermediários dos produtos sobre os clientes

Produtos • Produtos e serviços produzidos

Atividades• Tarefas empreendidas

para transformar insumos em produtos

Insumos • Financeiros, humanos, e recursos materiais

Metas(Impactos)

• Longo prazo, ampla melhoria na sociedade

Impl

emen

taçã

oO

bjet

ivos

5

Exemplo: Ensino médio

Resultados • Qualificação mais alta; mais oportunidades de emprego

Produtos • Número de jovens completando o ensino médio

Atividades • Educação escolar

Insumos • $, recursos, professores, materiais

Metas(Impactos)

• Níveis mais altos de renda; aumentar o acesso a empregos de maior qualificação

6

Monitoramento

7

Monitoramento da Implementação e Resultados

Monitoramento é um processo contínuo de coleta e análise de informações para comparar a qualidade da implementação do programa com seus resultados esperadosMonitoramento se refere tanto à implementação quanto aos resultadosEnfoque tradicional: Monitoramento de atividades Definir atividades e responsabilidades Monitorar atividades é importante

No entanto: É possível executar as atividades, cumprir as responsibilildades,

mas não progredir até as metas

Questão: como saber quando você obteve sucesso?“Se não se reconhecer o sucesso, vai se valorizar o

fracasso”

8

Principais tipos de Monitoramento

Produto

Atividade

Insumo

Resultado

Impacto

Monitoramento de resultados

Monitoramento de implementação

(enfoque tradicional)

Imp

lem

enta

ção

Res

ult

ado

s

9

Principais etapas do Monitoramento

Acordo sobre os resultados a monitorar

Seleção de indicadores destes resultados

Medição de “baseline”

Eleição de metas quantitativas

Gerenciamento com relação às metas

10

1. Acordo sobre os resultados a monitorar

Os resultados explicitam os objetivos pretendidos da ação governamental – a visãoConsenso sobre estes resultados e sobre esta visão é importante Participação no acordo sobre os resultados é essencial Principais atores interessados devem estar envolvidos (e.g., governo,

sociedade civil, doadores, etc.)

Desenhar para o sucesso Evitar resultados impossíveis

Motivar pessoal com uma visão inspiradora Criar linha de vista (“line of sight”) para todos que trabalham no sistema

entre as suas ações e o resultado desejado

“Se você não sabe para onde vai, todos os caminhos estão certos”

11

2. Seleção de indicadoresIndicadores de resultados não são o mesmo que resultados

Indicadores devem medir resultados, mas também processos e produtos

Um resultado corresponderá tipicamente a mais do que um indicador

Respondem à pergunta:

“Como conheceremos o sucesso, se o virmos?”

12

2. Seleção de indicadores, cont.

Um bom indicador de performance deve ser

Claro (Preciso e não ambíguo)

Relevante (Apropriado ao assunto em questão)

Econômico (Disponível a um custo razoável)

Adequado (Deve proporcionar uma base suficiente para estimar a performance)

Monitorável (Deve poder ser utilizado para validação independente)

13

3. Estabelecendo Dados de “Baseline” sobre Indicadores

Uma “baseline” ou base de performance é...Informação (quantitativa ou qualitativa) que proporcione dados no começo ou logo antes do período de monitoramento. A “baseline” é usada para: Aprender sobre níveis e padrões

recentes de performance sobre o indicador; e para

Medir a performance do projeto, programa ou política subseqüente

14

As fontes de dado podem ser primárias ou secundárias

DADOS PRIMÁRIOS são coletados diretamente pela organização, por exemplo, através de surveys, observação direta e entrevistas.DADOS SECUNDÁRIOS foram coletados por outra pessoa, para um propósito diferente daquele do programa. Exemplos incluem dados de survey coletados por outra agência, uma Pesquisa Demográfica de Saúde, ou dados de um mercado financeiro. Dados secundários podem poupar dinheiro na

aquisição de dados, mas tome cuidado!

15

Dados de “Baseline”

Conversascom

pessoasafetadas

Análisesdos

registrosoficiais

Métodos informais/menos estruturados

Visitas de

campo

Entrevistasdas

comunidades

Observação de participantes

Entrevistas cominterlocutores

chaves

“Grupos focais”

Pesquisasúnicas

Questionários

Pesquisas de painel

Experiências controladas

Censos

Métodos formais/mais estruturados

Observação direta

16

PraticidadeOs dados estão associados com o indicador prático?Pergunte se…Dados de qualidade estão atualmente

disponíveisOs dados podem ser obtidos de forma

regular e em tempoA coleta de dados primários, quando

necessária, é viável e efetiva em termos de custos

17

4. MetasMetas são os níveis quantificáveis dos indicadores que um país deseja atingir num dado ponto no tempoPrecondições Clara compreensão do passado recente Conhecimento dos recursos disponíveis

Considerações políticas Talvez o mais importante seja o custo de não cumprir a

meta… Gerenciamento para o sucesso

Seja realista! Faixas? Nota: gestão por resultados não depende criticamente das metas

18

5. Monitoria e gestão por Metas

“Abertura” faz parte do enfoque Desenvolver estratégias de divulgação para o

público, internet, etc.

Monitoramento deve ser contínuoInformações devem correr “verticalmente” e “horizontalmente”Em nenhum ponto do sistema devem ser coletados dados sem ser analisados Cria incentivos em favor da qualidade dos dados

19

5. MonitoriaFidelida

de

Validade

Pontualidade

Metodologia estávele consistente

Medida clara e diretado desempenho relevante

Dados atualizados esuficientemente freqüentespara influenciar decisões gerenciais

20

5. Monitoria: FreqüênciaQuanto mais observações houver, tanto mais os diagnósticos serãoSegurosSofisticados

?Tempo

Melhorar acesso aos mercados

Ace

sso

TempoMelhorar acesso

aos mercados

Ace

sso

21

Avaliação

22

O papel das avaliaçõesAvaliação baseada em resultados

• Uma avaliação de uma intervenção planejada, sendo realizada ou já completada, para determinar sua relevância, eficiência, efetividade, impacto e sustentabilidade. A intenção é incorporar no processo decisório lições aprendidas.

Propósitos da avaliação

Questões “Por que”: O que causou as mudanças que estamos monitorando?

Questões “Como”: Quais foram as seqüências ou os processos que levaram a resultados bem (ou mal) sucedidos

Questões de “Cumprimento/ Accountability”: As atividades prometidas realmente aconteceram como foram planejadas?

23

Utilização da AvaliaçãoTomar decisões de recursosRepensar as causas de um problemaIdentificar questões referentes a um problema iminente, i.e. evasão de crianças da escolaIdentificar alternativasPromover apoio para a reforma ou inovação do setor públicoAjudar a construir um consenso entre os atores envolvidos sobre como responder a um problema

24

Avaliação significa informação sobre:

Estratégi

a

se estamos fazendo as coisas certasRaciocínio/justificaçãoSatisfação do cliente

Operação

se estamos fazendo as coisas corretamente

Efetividade em alcançar os resultados esperados

Eficiência em otimizar recursos

Aprendizad

o

se há melhores formas de se fazerAlternativasMelhores práticasLições aprendidas

25

Tipos Gerais de Avaliações e Avaliações de Gastos Públicos (PERs)

As avaliações podem ser feitas em vários níveis: Avaliações do desempenho dos gerentes dos programas e

dos funcionários envolvidos na execuçao dos programas Avaliações institucionais Avaliações de programas (enfoque dessa apresentaçao) Avaliações dos setores (assuntos que abrangem vários

setores, política fiscal, política de educaçao, etc.)As avaliações de gastos públicos (PERs) geralmente avaliam em nível mais geral (dos setores), porém também deve-se utilizar as avaliações dos programas

26

Tipos de AvaliaçõesAvaliações de processo de implementação: Provê informação detalhada sobre a operação do

programa segundo o que foi planejado (estamos fazendo as coisas corretamente?)

Provê feedback contínuo para auxiliar os gestores Provê informações detalhadas para aqueles

interessados em aumentar a escala ou replicar Identifica gargalos

Avaliações de custo-benefício: Calcula o custo da intervenção relativamente aos

resultados Estamos fazendo as coisas de forma eficiente?

27

Tipos de Avaliações, cont.Avaliações de impacto: Mede os efeitos do programa para determinar se os

objetivos estão ou não sendo alcançados Tenta estabelecer uma relação de causalidade entre

atividades e impactos Impactos incluem tanto os planejados quanto os não

planejados Avaliações de impacto requerem um contra-factual

claramente estabelecido: O que teria acontecido sem o projeto? Geralmente é preciso comparar aqueles “com” o projeto

(beneficiários, “grupo de tratamento”) e aqueles “sem” o projeto (“grupo de controle”) antes e depois do projeto

28

Estágios da AvaliaçãoEsclarecer os objetivos da avaliaçãoExplorar as informações disponíveisDesenhar a avaliaçãoFormar a equipe de avaliação (capacidade?)Coletar informação (amostra, questionário, piloto, coleta de dados, entrada, controle de qualidade, etc.)AnáliseRelatar, disseminar e discutir os resultadosUsar os resultados: feedback para políticas, orçamentos e planejamento

29

Disseminação e Utilidades da Informação

30

Divulgação

Informar sobre o estado dos projetos

Prover índices sobre problemas

Explicar problemas

Criar oportunidades para considerar melhoras ou alternativas

Prover informação sobre tendências

31

Usando as ConclusõesComo um instrumento para o planejamento e orçamento: Formular/justificar orçamentos Ajudar na alocação operacional de recursos

Como um instrumento de gestão: Melhorar os serviços

Como um instrumento de performance/accountability : Responder às demandas para “accountability” Motivar pessoal Monitorar fornecedores Provocar debate sobre problemas

Reforçar confiança pública

32

Questões institucionais e sustentabilidade

Demanda para M&A é crucial Exigências estruturais (ex. lei nacional que exija M&A de todos os

programas federais) Vínculos orçamentários e de planejamento

Papéis claros Papel formal para organismos de planejamento e finanças

Credibilidade Sistema deve entregar boas e más notícias! Proteção dos gerentes contra conseqüências graves

Responsabilidade (“Accountability”) Papéis da sociedade civil, mídia…

Capacidade técnica