SAGI Secretaria de Avaliação e Gestão da Informção A experiência recente da SAGI/MDS na estruturação do monitoramento de programas Salvador, 11 de outubro

SAGI Secretaria de Avaliação e Gestão da Informção

A experiência recente da SAGI/MDS na estruturação do monitoramento de programas

Salvador, 11 de outubro de 2011.

Departamento de Monitoramento da Secretaria de Avaliação e Gestão da Informação

(DM/SAGI/MDS)


Sumário

MonitoramentoModelo lógicoIndicadoresAlimentação dos indicadoresPainel de monitoramentoO caso do BPCBibliografia


Monitoramento Latu sensu, todas as atividades que realizam algum tipo

de acompanhamento dentro da administração pública acabam sendo identificadas como monitoramento: Controle e auditoria: apura malversação de recursos públicos,

ou seja, se recursos financeiros, humanos ou de infra-estruturação foram geridos de forma contrária às normas que regulam seu uso.

Acompanhamento físico-financeiro: verifica a situação da execução daquilo que foi planejado e inserido na peça orçamentária que disciplina os gastos e/ou investimentos de programas, ações e projetos públicos.

Pesquisas avaliativas: realizadas para a compreensão dos motivos pelos quais determinada ação pública tomou tal ou qual configuração, se esse arranjo favorece a obtenção de resultados e se os resultados pretendidos foram realmente alcançados.


Monitoramento A princípio, a estruturação do monitoramento de

programas pode ter por base conceitual e informacional cada uma das três atividades descritas anteriormente. A forma do monitoramento deve ser determinada: Pelo escopo que se pretende dar ao monitoramento – o que, por

sua vez, dependerá do momento no qual se encontra a ação; E das necessidades de seus gestores.

Apesar disso, duas preocupações são comuns a todas essas abordagens: A necessidade da utilização de indicadores para a realização do

monitoramento de programas; Que esse processo tenha por objetivo subsidiar a gestão dos

programas com informações tempestivas para a tomada de decisão.


MonitoramentoConceitos:

Avaliação: subsidia os gestores com informações mais aprofundadas e detalhadas sobre o funcionamento e os efeitos do programa, levantadas nas pesquisas de avaliação;

Monitoramento: tem o propósito de subsidiar os gestores com informações mais simples e tempestivas sobre a operação e os efeitos do programa, resumidas em painéis ou sistemas de indicadores de monitoramento (Jannuzzi, 2009, p. 124).


Monitoramento Desafios do monitoramento:

Conjunto de indicadores equilibrado, que reflita todos os pontos estratégicos momento que está a ação;

Regularidade; Indicadores sejam calculados com uma periodicidade que

permita aos gestores reagir ainda dentro de um ciclo de execução do programa;

As informações geradas pelos indicadores de monitoramento sejam apresentadas em formato de fácil consumo pelos gestores dos programas;

Escopo: superados os momentos mais problemáticos da implantação de qualquer intervenção pública, começa a ser mais apropriado a introdução de uma abordagem de resultados na estruturação do monitoramento dos programas.


Estruturação do monitoramento

1. Explicitação (esquemática) do desenho do programa: por meio do modelo lógico;

2. Identificação e/ou construção de indicadores (principalmente de eficácia e efetividade);

3. Alimentação dos indicadores;4. Análise dos indicadores;5. Relatório periódico de monitoramento;6. (Re)ação da gestão.


Conceito de modelo lógicoO modelo lógico é uma representação

gráfica de um projeto, programa, serviço ou política, que retrata: as relações entre os componentes

necessários a sua implementação e os efeitos esperados sobre a população.


Componentes básicos do modelo lógico

Dados populacionais

Insumos (Inputs)

Dados para Desenvolvimento

do Programa

Diagnóstico e Planejamento

Impactos(Impacts)

Atividades (Activities)

Produtos (Outputs)

Resultados(Outcomes)

Dados do Programa

Fonte: Manual da oficina de capacitação em avaliação com foco na melhoria do programa. PN DST-Aids, abril de 2005.


Componentes da implementaçãoDivisão em três:

Insumos: são os recursos financeiros, humanos e/ou materiais necessários ao desenvolvimento das atividades;

Atividades: são as variadas tarefas e processos desenvolvidos visando o benefício da população-alvo;

Produtos: são os serviços e bens gerados pela realização das atividades. Esses componentes são os efeitos mais imediatos do programa, obtidos pela combinação de insumos no desenvolvimento das atividades.


Efeitos da açãoDivisão em dois (pelo menos):

Resultados: são as mudanças diretas alcançadas pelos beneficiários através da participação no programa. Esse componente reflete os efeitos esperados do programa sobre o público-alvo;

Impactos: são as contribuições do programa para determinadas mudanças sociais. Esse componente indica os efeitos indiretos do programa sobre a sociedade, ocasionados pelos efeitos somativos de várias políticas públicas sobre a população.


Diferença do marco lógicoEm virtude do formato matricial, da

similaridade semântica e da base conceitual comum, é frequente a confusão do “modelo lógico” com o “marco lógico”. Marco lógico: única matriz com componentes-

chave do programa e instrumentos de mensuração (indicadores, fontes de coleta e suposições consideradas).

Modelo lógico: preocupação exclusiva com a discussão e explicitação do que se costuma chamar de teoria do programa.


Características do modelo lógicoRecurso analítico: não é um retrato

preciso da realidade (que não é nem tão simples nem tão linear);

Simplicidade: imagem sucinta da teoria do programa Apresenta de forma esquemática a

transformação social que os gestores públicos pretendem atingir e o caminho que precisa ser trilhado;

Ferramenta dinâmica: passível de alterações ao longo da vida do programa.


Elaboração do modelo lógicoEstudo de documentos do programa;Realização de oficina com pessoas-chave

para construção do primeiro esboço do modelo: Construção do modelo de trás para frente; Processo: vários esboços e reuniões; Fomento de debate e acordos entre os

gestores;Validação do modelo pelos gestores.



InformaçõesNecessidade: tempestivas, simples e em

quantidade adequada.

Realidade: impossível conhecer todos os detalhes dos vários processos envolvidos na implementação de uma ação pública.

Recurso: indicadores


Especificação de indicadoresFormas de organização:

“Mais de uma dezena de formas e critérios de classificação de indicadores” (Brasil, 2010, p. 27).

Desafio para a estruturação do monitoramento: especificar o conjunto de indicadores que será acompanhado. as que destrincham a teoria do programa e; as que oferecerem os principais tipos de medidas

de desempenho.


Especificação de indicadoresA explicitação da teoria de funcionamento

do programa por meio do modelo lógico auxilia na identificação dos pontos estratégicos do programa, permitindo a especificação de um conjunto de indicadores equilibrado.


Conceito de indicadoresConceito:

“(...) medidas, de ordem quantitativa ou qualitativa, dotada de significado particular e utilizada para organizar e captar as informações relevantes dos elementos que compõem o objeto da observação. É um recurso metodológico que informa empiricamente sobre a evolução do aspecto observado” (Brasil, 2010, p. 21).


Utilização dos indicadoresNo processo de monitoramento, os

indicadores podem ser utilizados para: Acompanhamento do cumprimento de metas; Análise global do desempenho da ação

(eficácia e efetividade).

Subsídio para o planejamento das visitas de campo


Tipos de indicadores


Formatos estatísticos dos indicadores

números absolutos;médias; proporções;razões; taxas; índices.


Identificação/construção de indicadores

Oficina: especificação do conjunto de indicadores em conjunto com a equipe do programa. Consumidores das informações no dia-a-dia:

precisam entender o significado das medidas; Conhecedores dos detalhes dos programas:

qualificam as medidas.



Apresentação do que sejam e a função dos indicadores;Escolha dos elementos do modelo lógico que serão monitorados;Mapeamento de indicadores já existentes;Adaptação de indicadores já existentes aos componentes do modelo lógico;Construção de indicadores para os componentes que precisam ser monitorados e

não possuem medidas especificas;Validação dos indicadores entre os diretores do Departamento de Monitoramento

e da área fim



Planilha de indicadores: Componente do modelo lógico; Interpretação; Método de cálculo; Fontes de informação; Periodicidade.



Plano de implementação: Indicadores com possibilidade de cálculo

imediato; Indicadores com necessidade de

desenvolvimento ou aprimoramento de seus procedimentos de alimentação (instrumentos de coleta, procedimentos de preenchimento, fluxo da informação etc.).


Alimentação dos indicadores Indicadores de impacto: tem como principais

fontes de alimentação os grandes sistemas nacionais de informação, como os da Saúde, da Educação e do Trabalho, além é claro das estatísticas nacionais fornecidas pelo IBGE;

Indicadores de resultados: tem como principais fontes de informação pesquisas sociais, pois precisam necessariamente chegar até os beneficiários para conhecer as transformações ocorridas em suas vidas;

Indicadores de produto: tem como principais fontes de alimentação dados operacionais dos programas.


Alimentação dos indicadores Verificação de todas bases de dados dos programas; Adaptação de rotinas/sistemas existentes: Reformulação de instrumentos de coleta existentes; Implantação dos instrumentos reformulados nos sistemas de informação; Solicitação de inclusão de variáveis na base de dados de referência para os indicadores

de monitoramento.

Desenvolvimento de novas rotinas/sistemas: Construção de instrumento de coleta: questões devem ser incluídas no instrumento tão

somente para abastecer as variáveis dos indicadores já especificados para o monitoramento – esperando-se com isso gerar um instrumento de simples preenchimento;

Pré-teste do instrumento; Ajuste do instrumento; Construção de manual de preenchimento; Consolidação de proposta de sistema de informação: pela atual dinâmica de trabalho

SAGI, o departamento responsável pelo desenvolvimento do sistema só recebe a demanda se ela for feita por meio de um projeto, que contemple pelos seguintes pontos: o instrumento de coleta; o manual de preenchimento; o dicionário de variáveis; a definição dos perfis de acesso e preenchimento.;

Capacitação dos parceiros locais para o preenchimento.


O caso do BPC Explicitação da teoria do programa (modelo lógico):

3 reuniões com a equipe do BPC (e mais 1 reunião entre diretores para validação);

Especificação do conjunto de indicadores de monitoramento (relacionados aos componentes do ML): 7 reuniões com a equipe do BPC (e mais 1 reunião entre diretores para validação);

3 indicadores de impacto e 8 de resultado (efetividade); e 11 indicadores de produto (eficácia).

5 indicadores com possibilidade de cálculo imediato. Apresentação do 1º relatório de monitoramento:

abril de 2011 Retorno da área-fim em 45 dias (ciclos completos de três

meses).

SAGI Secretaria de Avaliação e Gestão da InformçãoComponentes do modelo lógico Indicadores Interpretação Método de cálculo

Fontes de informação

Periodicidade

Impactos↑ da expectativa de vida da população

Tempo médio de vida do beneficiário do BPC

Expressa a contribuição do BPC na ampliação do tempo de vida de seus beneficiários. Além do acompanhamento da evolução temporal dessa medida, é também pertinente na análise comparar o tempo médio de vida do público-alvo do BPC (beneficiários x não beneficiários) com tempo médio de vida da população geral.

SIGBPC () Anual

ResultadosGarantia de renda a

idosos e pessoas com deficiência

Número de beneficiários do BPC

Expressa a quantidade total de pessoas idosas e com deficiência beneficiadas pelo BPC.

Número total de pessoas idosas e com deficiência com benefícios mantidos

SIGBPC () Mensal

Participação do valor do benefício na renda familiar

Mede o grau de contribuição do benefício na renda familiar - considerando a importância do benefício para o provimento das necessidades básicas da pessoa idosa e com deficiência e de suas famílias (espaço fundamental de convivência do beneficiário).

Valor do benefício / renda da família após recebimento do benefício

SIGBC () Anual

Produtos

Benefícios concedidos ao idoso e à pessoa com deficiência

Tempo médio para concessão do benefício

Expressa o tempo que, em média, foi necessário para a concessão do beneficío, entre o requerimento pelo beneficiário e o início do pagamento pelo INSS. Proxy para aferir a capacidade operacional das APS no processamento dos requerimentos.

Somatório da diferença entre a data do início do pagamento e a data do requerimento (em dias) / número total de benefícios concedidos num mês específico

SIGBPC () Mensal

Benefícios reavaliadosPercentual de benefícios não reavaliados há mais de dois anos

Mede o desempenho do BPC na reavaliação periódica da situação socioeconômica e física de seus beneficiários ("dois anos" para a reavaliação é o tempo determinado nas normas do programa).

Número total benefícios não reavalidados há mais de dois anos / número total de benefícios mantidos há mais de 2 anos x 100

SIGBPC () Trimestral

Beneficiários acompanhados

Percentual de inclusão dos beneficiários do BPC no CadÚnico

Mede o grau de cobertura pelo CadÚnico dos beneficiários do BPC. Considerando a importância atual do CadÚnico na articulação e integração de diferentes ações sociais, essa medida é também uma proxypara aferir o acompanhamento dos beneficiários do BPC por outras ações sociais, principalmente as da Assistência Social, e o potencial de ampliação da cobertura do CadÚnico.

Número total de beneficiários do BPC inscritos no CadÚnico / número total de beneficiários do BPC x 100

CadÚnico e SIGBPC ()

Trimestral


Painel de monitoramentoEncontra-se em processo de

desenvolvimento concomitante ao relatóriohttp://aplicacoes.mds.gov.br/sagi/PainelBPC/#Aplicativo que possibilitará a visualização

constante e atualizada de cada indicador do BPC de diferentes maneiras – em tabelas, gráficos e/ou mapas.


Painel de monitoramento


Bibliografia BRASIL. Ministério da Saúde. Programa Nacional de DST e AIDS. (2005), Manual

da oficina de capacitação em avaliação com foco na melhoria do programa. Brasília. Disponível em: http://www.aids.gov.br/data/Pages/LUMISCEEB81DCPTBRIE.htm.

BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimento Estratégico - SPI. (2010), Indicadores de Programa: Guia Metodológico. Brasília. Disponível em: http://www.planejamento.gov.br/secretarias/upload/Arquivos/spi/publicacoes/100324_indicadores_programas-guia_metodologico.pdf

JANNUZZI, Paulo et al. (2009), Estruturação de sistemas de monitoramento e especificação de pesquisas de avaliação, os problemas dos programas públicos no Brasil são. In: ENAP. Avaliação de Programas Sociais. Brasília, Enap - EIAPP.

POISTER, Theodore. (2003), Measuring Performance. In: Public and Non Profit Organizations. San Francisco: Jossey-Bass Publishers.

VALARELLI, Leandro. (2005), A gestão de projetos e a construção e o uso de indicadores. Mimeo. Rio de Janeiro.

W.K. Kellogg Foundation. (2004), Logic Model Development Guide. Michigan. Disponível em: http://www.wkkf.org/Pubs/Tools/Evaluation/Pub3669.pdf.


Contato

Lauro Stocco:

[email protected]

Documents

SAGI Secretaria de Avaliação e Gestão da Informção A experiência recente da SAGI/MDS na estruturação do monitoramento de programas Salvador, 11 de outubro