Upload
maria-de-jesus-faco
View
182
Download
3
Embed Size (px)
Citation preview
Planejamento, Monitoramento
e Avaliação de Projetos Sociais.
Prefeitura Municipal de
Curitiba
Instituto Municipal de
Administração Pública – IMAP
Área:
Desenvolvimento Social
Luciano Ducci
Prefeito Municipal
Carlos Homero Giacomini
Presidente
Maria do Carmo A. de Oliveira Superintendente
Elaine Rossi Ribeiro Diretora da EAP
Elaboração:
Lycia Tramujas Vasconcellos Neumann
Bahia. Secretaria de PlanejamentoSistemática de monitoramento e avaliação em programas
e projetos governamentais. Salvador: SEPLAN/SGA, 2005.66p. il.
1. Programa governamental – Sistematização. 2.Metodologia. 3. Técnica de trabalho. I. Título.
CDU: 001.81(061)
Junho de 2006
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS4
Governador do Estado da BahiaPaulo Ganem Souto
Secretaria do PlanejamentoArmando Avena
Secretaria da Agricultura, Irrigação e Reforma AgráriaPedro Barbosa de Deus
Secretaria de Combate a Pobreza e Desigualdades SociaisPe. Clodoveo Piaza S. J.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 5
APR
ESEN
TAÇÃ
O
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
APRESENTAÇÃO
Investir na institucionalização do processo de monitoramento e avaliação (M&A)
constitui um imperativo básico para a conquista da excelência dos serviços prestados
pelo Estado. O Governo da Bahia encontra-se engajado nesse movimento internacio-
nal e com a criação da Superintendência de Gestão e Avaliação (SGA), no âmbito da
Secretaria do Planejamento (Seplan), manifestou a vontade política de disseminar a
cultura da avaliação nas Secretarias e órgãos do Estado, responsáveis pelo planejamen-
to e operacionalização das políticas públicas.
O documento que se apresenta, constitui um referencial para ser utilizado como
catalisador dos diversos instrumentos e práticas de monitoramento e avaliação utiliza-
dos pelos diferentes órgãos gestores da administração pública estadual e está contem-
plado no Programa de Monitoramento e Avaliação, desenvolvido pela Seplan/SGA,
tendo como um dos objetivos a criação de mecanismos essenciais para a gestão eficaz
de programas e projetos estratégicos de Governo.
A Sistemática de Monitoramento e Avaliação é, portanto, uma das ferramentas
que deverá ser utilizada para a medição do grau de eficácia, efetividade e eficiência das
intervenções do Estado na sociedade.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS6
Oferece ainda aos clientes da avaliação, um mapa dos caminhos a serem persegui-
dos, subsidiando a tomada de decisão para o aperfeiçoamento do programa ou do
projeto ao longo de sua execução, com a descrição da seqüência de eventos relaciona-
dos, conectando o problema ou a oportunidade diagnosticada, com os resultados es-
perados. A ferramenta permite visualizar e compreender como os investimentos rea-
lizados na geração de produtos (bens ou serviços) podem contribuir para alcançar os
objetivos planejados, servindo de base para a criação de procedimentos e processos
de monitoramento e avaliação. O resultado esperado será a criação de um sistema de
monitoramento e avaliação mantido e alimentado por todas as Secretarias do Estado,
constituindo um poderoso instrumento de planejamento.
Espera-se que esta semente encontre um terreno fértil para sua germinação, pro-
duzindo bons frutos: a melhoria do nível de excelência dos serviços públicos.
Armando Avena
SECRETARIA DO PLANEJAMENTO
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS
APR
ESEN
TAÇÃ
O
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 7
SUM
ÁRIO
09 O processo de criação da sistemática
11 A linguagem do monitoramento e avaliação
15 Aspectos conceituais
17 O processo em 12 passos
19 PASSO 1: Definição do programa ou projeto a ser avaliado
20 PASSO 2: Formação de equipe mista de avaliação eelaboração do plano de trabalho
22 PASSO 3: Identificação e entrevista com os potenciais clientesda avaliação
26 PASSO 4: Elaboração do Modelo Lógico de Gestão e Análisede Avaliabilidade do Programa
28 PASSO 5: Análise de Avaliabilidade
29 PASSO 6: Definição do escopo da avaliação
32 PASSO 7: Análise dos instrumentos e registros já disponíveisdo Programa
33 PASSO 8: Definição dos indicadores de monitoramento eavaliação a serem utilizados
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
SUMÁRIO
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS8
37 PASSO 9: Definição e criação dos instrumentos para coleta de dados
40 PASSO 10: Coleta dos dados
42 PASSO 11: Tabulação e análise dos dados coletados
46 PASSO 12: Elaboração e disseminação do Relatório de Avaliação
47 Estrutura modelo do relatório de avaliação
48 Conclusão
49 Glossário
53 Referências Bibliográficas
Anexos
54 ANEXO I – Modelo Lógico de Gestão do Programa Cabra Forte
59 ANEXO II – Questionário para levantamento de informações
62 ANEXO III – Instrumento usado para análise dos dados coletados sobre oPrograma Cabra Forte
SUM
ÁRIO
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 9
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
O PROCESSO DE CRIAÇÃO DA SISTEMÁTICA
A construção da Sistemática de Monitoramento e Avaliação em Programas e Projetos Go-
vernamentais teve como principio básico a premissa de que o processo avaliativo de políticas
públicas permite aperfeiçoar a gestão das ações desenvolvidas por um governo para atender de
modo eficiente e eficaz as demandas da sociedade e constitui uma ferramenta estratégica que
permite conhecer, entender, decidir e planejar de modo aprimorado com o aprendizado do pas-
sado e do presente.
O Programa de Monitoramento e Avaliação que vem sendo conduzido pela Secretaria do
Planejamento, através da Superintendência de Gestão e Avaliação, busca assegurar a eficácia das
políticas públicas, seus planos, programas, projetos e atividades e o bom uso dos recursos sob
responsabilidade das organizações. O Programa está estruturado em quatro estratégias que se
complementam e vêm gerando um conjunto diversificado de processos e produtos.
A estratégia de formação visa sensibilizar e capacitar servidores estaduais para atuarem em
monitoramento e avaliação de programas e projetos governamentais e a divulgação de experiên-
cias exitosas. A estratégia de informação tem por objetivo produzir, analisar e veicular informa-
ções confiáveis e tempestivas para subsidiar a tomada de decisão, a correção de procedimentos
e a retroalimentação do processo de planejamento. Na estratégia de articulação/comunicação
está sendo implementado um trabalho em parceria com as Secretarias e órgãos estaduais, visando
aperfeiçoar o formato e o fluxo das informações das ações de Governo. Por fim, a estratégia de
Planejamento, visa estimular boas práticas de planejamento focadas em resultado e resulta na
construção das matrizes lógicas, onde estão explicitados os objetivos, atividades, produtos, re-
sultados e impactos, com a definição dos respectivos indicadores para cada secretaria. A imple-
mentação destas estratégias já apresenta melhorias na qualidade da programação, execução, mo-
nitoramento e avaliação das ações governamentais, contribuindo para uma maior racionalização
no ciclo de gestão do Estado.O P
RO
CE
SS
O D
E C
RIA
ÇÃ
O
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS10
A construção e implementação de uma sistemática de monitoramento e avaliação em
programas e projetos governamentais é um dos componentes do Programa de M&A e apre-
senta-se como um pré-requisito básico para o aperfeiçoamento do processo de gestão e
para a criação das condições da retroalimentação da programação de Governo.
Um outro determinante para a elaboração deste documento foi o compromisso em
preencher uma lacuna na gestão pública estadual, face à inexistência de uma cultura avaliativa
e de uma sistemática que oriente metodologicamente o processo de monitoramento e ava-
liação para a otimização na utilização dos recursos públicos e na maximização dos resultados.
O documento foi construído por uma equipe composta por representantes de diversas
Secretarias, envolvidas na implementação do Programa selecionado, denominada Matricial, lide-
rada pela Seplan/SGA, contando ainda com o apoio da Fundação Luis Eduardo Magalhães (FLEM).
A adoção desta Sistemática possibilitou, de um lado, produzir e testar metodologias e
instrumentos de M&A capazes de medir o grau de eficiência, eficácia e efetividade das inter-
venções governamentais e, de outro lado, capacitar técnicos da SGA e demais Secretarias e
entidades responsáveis pela concepção e implementação do Programa Cabra Forte, progra-
ma escolhido para testar a ferramenta da Sistemática.
Resultado de um trabalho prático e participativo, a partir de discussões e contribuições
de diversos profissionais do setor público estadual, em oficinas e reuniões, foi possibilitado
um aprendizado consistente sobre o assunto e a construção dos passos da metodologia. A
elaboração do Modelo Lógico de Gestão de Programas e Projetos Governamentais (MLGP),
é um dos passos mais importantes para a utilização desta Sistemática, na medida que possi-
bilita o compartilhamento de informações sobre o real funcionamento de uma intervenção
governamental, através da explicitação das atividades planejadas e dos resultados esperados,
demonstrando as premissas e os objetivos do programa a ser monitorado e avaliado.
É importante registrar que este documento constitui-se em um primeiro esforço de constru-
ção metodológica para nortear as práticas de M&A no Estado, contribuindo para a disseminação dos
aspectos teóricos e processuais na gestão dos programas e projetos governamentais.
O P
RO
CE
SS
O D
E C
RIA
ÇÃ
O
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 11
A L
ING
UA
GE
M D
OM
ON
ITO
RA
ME
NT
O E
AVA
LIA
ÇÃ
O A LINGUAGEM DO
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
MONITORAMENTO E AVALIAÇÃO
Apesar da crescente disseminação de trabalhos de monitoramento e avaliação
em instituições públicas e privadas do Brasil e do mundo, ainda encontramos muito
dissenso sobre alguns dos seus principais conceitos. Assim, torna-se imprescindível na
elaboração de qualquer sistemática de monitoramento e avaliação, uma definição pré-
via dos conceitos a serem adotados ao longo do trabalho.
No início deste projeto foi realizada uma oficina de Alinhamento Conceitual onde
foram apresentadas definições dos termos “monitoramento” e “avaliação” adotados
por organizações nacionais e internacionais. A partir de uma síntese dessas definições,
foi elaborado o quadro abaixo que ressalta as diferenças entre os dois instrumentos:
Foram também analisados diferentes tipos de avaliação e seus objetivos, ficando
então definido que a Sistemática aqui apresentada será instrumento para a realização
de avaliações com as seguintes características:
Interna (Internal Evaluation) – conduzida por membros das organizações as-
sociadas ao programa, projeto ou objeto que está sendo avaliado.
Monitoramento Avaliação
Atividade de gestão interna e contínua. Atividade interna ou externa.
Acontece durante a implementação Pode acontecer antes, durante ou depois dado programa ou projeto. implementação de um programa ou projeto.
Compara o que está sendo realizado Com base em dados levantados pelocom o que foi planejado. monitoramento e outras fontes, julga o
desempenho de um projeto de acordo comcritérios pré-estabelecidos, tais como: eficácia, efi-ciência, efetividade, sustentabilidade, dentre outros.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS12
Formativa (Formative Evaluation) – utilizada durante a implementação de um
programa ou projeto, para fornecer informações que permitam o seu aprimo-
ramento. Avaliações Formativas são usadas para dar um retorno às equipes
técnicas sobre os componentes do programa/projeto que estão funcionando
e aqueles que precisam ser modificados.
De Programas ou Projetos (Program Evaluation) – utilizada para determinar se
os objetivos, formato e resultados do programa ou projeto estão adequados, as-
sim como seu grau de eficiência, eficácia e efetividade na aplicação dos recursos.
Dentro do ciclo governamental de criação e execução de políticas e programas,
esta Sistemática visa à realização de avaliações de processo e resultados de programas
em fase de implementação, conforme demonstrado na figura a seguir:
Formato Estratégicoda Política
Formulação do Programa
Início daoperacionalização Implementação
Reformulação,expansão,redução,
encerramento
Avaliação dasnecessidades/
questõesprioritárias
Avaliaçãoprévia
Avaliação deprocesso
Avaliação deresultados
Avaliaçãofinal
A Avaliação no Ciclo das Políticas Públicas A L
ING
UA
GE
M D
OM
ON
ITO
RA
ME
NT
O E
AVA
LIA
ÇÃ
O
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 13
Avaliações de processo e resultados podem acontecer simultaneamente,
complementando-se na função de orientar as equipes gestoras para maior compre-
ensão do programa, seu funcionamento e seus resultados junto ao público-alvo.
A avaliação de processo visa determinar o grau em que o programa está ope-
rando conforme planejado. Este tipo de avaliação tem como objetivo entender o
funcionamento do programa – a partir da análise do que ele faz e de quem são seus
beneficiários – para, assim, aprimorar suas ações. A avaliação de processo também
ajuda na identificação dos elementos essenciais para o melhor desempenho do pro-
grama em termos de produtos, resultados e impactos. Em geral, responde a pergun-
tas em duas categorias – cobertura e processo.
Cobertura: analisa o alcance do programa e as características dos
beneficiários.
Processo: analisa a consistência do programa e a qualidade de sua im-
plementação.
Exemplos de Perguntas Avaliativas de Processo
Quanto à cobertura:
Quais são as principais características dos participantes?
Estamos atendendo quem deveríamos atender?
Em qual proporção estamos conseguindo atender aqueles que nos procuram?
Quanto ao processo de implementação do programa:
As atividades estão acontecendo conforme planejado?
Quais são os pontos fortes e fracos das estratégias e atividades do programa?
Como os diferentes atores percebem o programa?A L
ING
UA
GE
M D
OM
ON
ITO
RA
ME
NT
O E
AVA
LIA
ÇÃ
O
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS14
A avaliação de resultados analisa em que grau o programa vem produzindo os
benefícios e transformações a que se propõe. As atividades de um programa produzem
três tipos de resultado: produtos (outputs), resultados (outcomes) e impactos (impact).
Atividades: procedimentos do programa que são mobilizados visando à ob-
tenção dos efeitos desejados (como o treinamento de produtores, perfuração
de poços, etc.).
Produtos: efeitos imediatos de cada atividade do programa (como o número
de pessoas capacitadas, aulas dadas, materiais produzidos, etc.).
Resultados: impactos de curto prazo, resultado direto do programa nos seus
beneficiários (normalmente referem-se a mudanças de conhecimento, habili-
dades, comportamento e valores).
Impactos: benefícios e transformações de médio e longo prazo para os parti-
cipantes e beneficiários indiretos do programa (suas famílias e comunidades).
Exemplos de Perguntas Avaliativas de Resultado
Quanto aos produtos:
Estamos fazendo o que dissemos que íamos fazer?
As metas estão sendo cumpridas? Se não, por que não?
Quanto aos resultados:
Estamos fazendo a diferença que planejamos fazer?
Que efeitos o programa tem sobre os beneficiários diretos e indiretos?
Quanto aos impactos:
O programa causou os impactos esperados?
Que grandes transformações o programa provocou na vida de seus beneficiários?
A L
ING
UA
GE
M D
OM
ON
ITO
RA
ME
NT
O E
AVA
LIA
ÇÃ
O
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 15
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
ASPECTOS CONCEITUAIS
A metodologia utilizada nesta Sistemática de Monitoramento e Avaliação baseia-
se em alguns conceitos, princípios e práticas mundialmente adotados por instituições e
profissionais da área.
Três foram os principais princípios norteadores deste trabalho:
1. A avaliação deve ser um instru-
mento de gestão, desde a sua
elaboração até o futuro uso de
seus resultados.
2. O valor da avaliação está na sua
utilidade, na sua capacidade de
atender às necessidades de infor-
mação de seus usuários.
3. O processo de avaliação deve ser
construído e implementado de
maneira compartilhada pelos
avaliadores com a equipe técni-
ca executora do programa.
Estes princípios baseiam-se
em conceitos de Michael Quinn
Patton, ex-presidente da Associação
Americana de Avaliação (American
Evaluation Association). Em sua obra
“Avaliação com Foco na Utilização”
(Utilization-focused Evaluation), Patton
reforça a idéia de que “avaliações
deveriam ser julgadas pela sua
utilidade e real uso”. Visando garantir
esta utilidade, Patton defende a prévia
identificação e engajamento dos
usuários da avaliação, pois, segundo
ele, “é mais provável que os
potenciais clientes da avaliação a
utilizem se eles compreenderem e se
apropriarem do processo de avaliação
e seus resultados”2.2 Patton, Michael Quinn. (1997). Utilization-focused evaluation: thenew century text. Londres: Sage Publications.A
SP
ECT
OS
CO
NCE
ITU
AIS
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS16
OBJETIVOS
A Sistemática de Monitoramento e
Avaliação tem como objetivos:
1. Proporcionar avaliações periódi-
cas do desempenho dos progra-
mas, instrumentalizando as equi-
pes do Governo na gestão de
recursos e obtenção de resulta-
dos mais efetivos.
2. Incorporar a atividade de moni-
toramento e avaliação como um
instrumento de rotina em pro-
gramas governamentais.
Para estar apta a coordenar
as atividades, a equipe Matricial deve
ser capacitada em temas como:
Os mitos sobre avaliação;
Os principais conceitos e tipos de
avaliação;
A lógica e os valores da avaliação;
A avaliação com foco na utilização
– seus passos e desafios;
Os princípios da avaliação
participativa;
A relação entre políticas,
programas e projetos;
A análise de avaliabilidade;
O modelo lógico de gestão do
programa – sua função e seus
componentes.
AS
PE
CTO
CO
NCE
ITU
AIS
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 17
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS18
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
O PROCESSO EM 12 PASSOSO PROCESSO EM 12 PASSOSO PROCESSO EM 12 PASSOSO PROCESSO EM 12 PASSOSO PROCESSO EM 12 PASSOS
A Sistemática de Monitoramento e Avaliação é uma metodologia
para ser aplicada em programas e projetos estratégicos do Governo3. Ela permite
a obtenção periódica de informações sobre o desempenho das ações governa-
mentais, propiciando o aprimoramento da sua execução, subsidiando a tomada de
decisão quanto a novos projetos e parcerias e, assim, resultando na melhoria da
gestão nos níveis estratégico, tático e operacional.
Para facilitar a aplicação desta Sistemática, foram definidos 12 passos a partir da
experiência-piloto vivida com o Programa Cabra Forte.
3 A Sistemática aqui apresentada pode ser aplicada tanto a programas quanto aprojetos governamentais. Neste roteiro, o termo “programa” é usado de maneirageneralizada, representando programas e projetos. O
PR
OC
ES
SO
EM
12
PA
SS
OS
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 19
PASSO 1: Definição do programa ou
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
projeto a ser avaliado
O processo de avaliação de um programa é complexo e exige bastan-
te dedicação não só dos avaliadores, mas também da equipe gestora. Por isso, a deci-
são de avaliar determinado programa deve ser tomada a partir do comprometimento
de todos os envolvidos na sua execução.
A definição de critérios técnicos para auxiliar na decisão de qual programa
deverá ser avaliado, ajuda no estabelecimento das diretrizes do trabalho e alinha o
entendimento de todos os participantes sobre a importância do estudo avaliativo a
ser desenvolvido.
Entre os critérios que podem ser adotados na seleção de programas a serem
avaliados estão:
Prioridade do tema: grau de importância do tema foco do programa.
Clareza de foco: grau de clareza dos objetivos do programa.
Visibilidade: grau de visibilidade do programa para a população da Bahia.
Interesse dos gestores e responsáveis institucionais em avaliar: grau de inte-
resse em avaliar o programa.
Concordância: grau de entendimento entre os gestores envolvidos quanto aos
objetivos, metas e resultados.
Conhecimento: existência de informações que permitam o acompanhamento
da execução física e financeira.
Volume de recursos orçamentários: recursos orçamentários disponíveis para
o programa.PA
SS
O
1
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS20
PASSO 2: Formação de equipe mista de avaliação
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
e elaboração do plano de trabalho
A metodologia adotada nesta Sistemática prevê a formação de uma equipe
mista de avaliação, formada por avaliadores da própria unidade gestora do programa a
ser avaliado, equipe técnica do programa e, se necessário, consultores externos contra-
tados. A Seplan dará o apoio em todo o processo de avaliação quanto aos procedimen-
tos, normas e nas atividades relativas ao planejamento, articulação e gestão da informa-
ção. No caso de avaliação de programas multisetoriais, todas as Secretarias e Órgãos
envolvidos na execução do programa
deverão estar representados na equi-
pe mista de avaliação. Desta forma,
garante-se que todas as perspectivas
setoriais serão consideradas no estudo.
A primeira tarefa a ser execu-
tada pela equipe mista de avaliação
é a elaboração do plano de trabalho
para a aplicação da Sistemática de
Monitoramento e Avaliação no pro-
grama escolhido. A partir de infor-
mações do programa a ser avaliado
e da disponibilidade de recursos (hu-
manos, financeiros e de tempo) a
equipe deverá detalhar as etapas
apresentadas neste roteiro, definin-
do prazos e responsáveis.
Principais Funções da Equipe
Mista de Avaliação:
Articular o processo avaliativo com os
interesses e necessidades dos potenci-
ais clientes da avaliação;
Participar da elaboração do Modelo
Lógico de Gestão do Programa e da
definição do escopo da avaliação;
Coletar, analisar e sistematizar as
informações sobre o desempenho do
programa para garantir seu contínuo
monitoramento;
Elaborar relatórios de avaliação do
programa com recomendações para
seu aprimoramento. PA
SS
O 2
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 21
PL
AN
O D
E T
RA
BA
LH
O
PLANO DE TRABALHO
12. Elaboração e disseminação do Relatório de Avaliação
11. Tabulação e análise dos dados coletados
10. Coleta de dados
9. Criação dos instrumentos para coleta de dados
8. Definição dos indicadores de M&A
7. Análise de instrumentos de M&A e registros existentes
6. Definição do escopo de avaliação
5. Análise das expectativas dos clientes de avaliação
4. Elaboração do Modelo Lógico de Gestão
3. Entrevista com potenciais clientes de avaliação
2. Formação da equipe mista de avaliação
1. Definição do programa a ser avaliado
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS22
PA
SS
O
3PASSO 3: Identificação e entrevista com os
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
potenciais clientes da avaliação
Os potenciais clientes de uma avaliação são as pessoas e grupos
que são afetados pelos seus resultados, estão em posição de tomar decisões
sobre a avaliação, e pretendem usar as informações sobre o processo e os resul-
tados da avaliação para definir futuras ações.
A equipe de avaliação deverá definir no início dos trabalhos quem são os potenci-
ais clientes da avaliação e entrevistá-los para conhecer suas expectativas e necessida-
des de informação que o estudo avaliativo deverá atender.
PROGRAMA CABRA FORTE
Potencias clientes da avaliação entrevistados: Secretários da Agricultu-
ra, de Combate à Pobreza e do Planejamento; Representantes das Superinten-
dências da Seplan; Gestor do Programa Cabra Forte; Representantes das unida-
des envolvidas: Empresa Baiana de Desenvolvimento Agrícola S.A. (EBDA), Com-
panhia de Engenharia Rural da Bahia (CERB), Companhia de Desenvolvimento e
Ação Regional (CAR) e Superintendência de Articulação e Programas Especiais da
Secretaria de Combate à Pobreza e às Desigualdades Sociais (SPE/Secomp).
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 23
MODELO DE QUESTIONÁRIO A SER APLICADO COMOS CLIENTES DA AVALIAÇÃO.
Com relação à avaliação do programa:
1. Quais são as suas expectativas sobre o processo e os resultados desta
avaliação?
2. Como esta avaliação poderia contribuir para o aperfeiçoamento deste projeto?
3. Quais perguntas você gostaria que fossem respondidas por esta avaliação?
4. De que maneira as respostas a essas perguntas ajudariam no seu trabalho?
5. Quais decisões os resultados da avaliação poderiam influenciar?
6. Que dados e informações são necessários para esta tomada de decisão?
7. Quem deveria estar envolvido no processo de avaliação para orientá-lo
quanto às suas expectativas?
8. Como nós poderemos saber no futuro se esta avaliação foi útil?
9. Outras informações e comentários?
Dados do Responsável
Nome:
Cargo:
Telefone:
PA
SS
O
3
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS24
As informações coletadas junto aos potenciais clientes da avaliação deverão ser
tabuladas e analisadas de maneira a orientar a definição do escopo da avaliação a ser
realizada. Este processo de tabulação e análise deverá ser feito em três etapas:
1. Despersonalização das informações.
2. Tabulação por categoria de análise.
3. Priorização das expectativas e perguntas de avaliação.
PROGRAMA CABRA FORTEExpectativas dos Clientes sobre a Avaliação
Quanto ao processo:
Que utilize procedimentos de avaliação adequados às características do
Programa;
Que apure os resultados com qualidade e eficiência;
Que identifique a necessidade de um eficiente banco de dados para controle
e monitoramento do Programa;
Que torne possível o monitoramento das ações do Programa de uma forma
que seja facilmente exeqüível;
Que crie um instrumento de fácil execução.
Quanto aos produtos:
Que possibilite a criação de banco de dados;
Que gere informações sobre a eficiência, eficácia e efetividade do Programa;
Que possibilite análise das transformações provocadas pelo Programa no
seu público-alvo (resultados);
PA
SS
O
3
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 25
Que evidencie os resultados (positivos ou não) das intervenções, e se os
investimentos realizados atendem às necessidades e expectativas dos pe-
quenos criadores de caprinos e ovinos;
Que demonstre se o Programa está alcançando os objetivos preconizados,
ou seja, a melhoria da qualidade de vida da população e da região;
Que analise até que ponto o Programa atende às necessidades dos beneficiários;
Que analise o desempenho do Programa.
Quanto aos resultados:
Que possibilite maior registro e disseminação para conscientização das equi-
pes sobre os trabalhos que estão sendo realizados;
Que possibilite a transparência, eficiência e eficácia dos recursos aplicados
nos projetos do Governo;
Que as equipes internalizem os conceitos de avaliação e passem a vê-los
como instrumentos de gestão, para o aprimoramento e reconhecimento
de seus esforços;
Que possibilite a melhoria do fluxo de informações entre as equipes de trabalho;
Que tenha continuidade no processo de avaliação da ação governamental;
Que tenha continuidade para que a metodologia seja preservada e se tenha
registro de séries históricas.
Quanto ao futuro uso:
Que sirva de subsídio para o planejamento estadual e para a tomada de
decisões quanto a novos financiamentos e parcerias;
Que leve à correção dos desvios identificados e subsidie outros programas.PA
SS
O
3
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS26
PA
SS
O
4○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
PASSO 4: Elaboração do Modelo Lógico de Gestão
O Modelo Lógico de Gestão do Programa (MGLP) é um instru-
mento visual e sistêmico de apresentação e compartilhamento de informações so-
bre os recursos alocados em um programa, as atividades previstas, os produtos e as
mudanças que se esperam alcançar no curto, médio e longo prazo. De forma sim-
ples, o MLGP retrata um programa conforme ele vem sendo executado, facilitando
a comunicação sobre o seu propósito fundamental e tornando-se um ponto de refe-
rência para todos os envolvidos na sua implementação. É importante sinalizar que
apenas as atividades prioritárias para o desenvolvimento do programa deverão ser
incluídas no Modelo Lógico de Gestão.
Oficinas deverão ser realizadas com os principais responsáveis pela execução do
programa a ser avaliado, para construção conjunta do MLGP.
Apresenta-se a seguir a sugestão da estrutura do Modelo Lógico de Gestão a ser
adotado nesta Sistemática, e sua lógica de leitura.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 27
PA
SS
O
4
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS28
PA
SS
O
5○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
PASSO 5: Análise de avaliabilidade
A análise de avaliabilidade tem por objetivos buscar informações sobre o
formato do programa, explorar sua realidade e ajudar a conhecer sua estrutura, antes
que seja feita a avaliação de seus resultados. Ela ajuda a definir se o programa pode ser
efetivamente avaliado e se sua avaliação contribuiria para melhorar seu desempenho.
Sendo uma espécie de “pré-avaliação”, esta análise traz benefícios como:
prevenir o desperdício de recursos com avaliação;
ajudar os potenciais clientes da avaliação a formularem perguntas avaliativas
importantes e significativas;
facilitar o consenso entre avaliadores e equipe técnica do programa sobre o
objeto e escopo da avaliação a ser realizada, e a metodologia que será adotada.
Realizada com base no Modelo Lógico de Gestão, a análise de avaliabilidade deve
buscar responder a cinco questões básicas:
1. Quais são os principais componentes do programa?
2. Quais são os principais objetivos e metas do programa?
3. As pessoas envolvidas na gestão no programa concordam com seus objetivos?
4. Existe uma conexão lógica entre os objetivos, atividades e resultados
esperados?
5. Quais seriam os melhores indicadores e/ou critérios para avaliar o alcance dos
objetivos?Se não houver consenso sobre o que é oprograma e seus principais componentes, ele
ainda não pode ser avaliado.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 29
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
PASSO 6: Definição do escopo da avaliação
O escopo da avaliação é uma combinação de sua(s) principal(is) finalidade(s)
e do foco que o estudo deverá ter, ou seja, as perguntas avaliativas que deverá respon-
der para cumprir esta finalidade.
Vale destacar que o foco de todo processo avaliativo deve estar na sua utilidade
para os tomadores de decisão e gestores do programa. Para garantir que a avaliação
possa ser um efetivo instrumento gerencial, é fundamental que se tenha clareza sobre
o objeto a ser avaliado e sobre as expectativas dos seus principais usuários, os potenci-
ais clientes da avaliação.
A partir destas expectativas com relação aos produtos, resultados e futuro uso da
avaliação, pode-se definir a(s) sua(s) principal(is) finalidade(s). E então, todo o processo
de definição de indicadores e criação de instrumentos deverá ser realizado de maneira
a garantir o alcance desta(s) finalidade(s).
A definição das perguntas avaliativas deverá ser feita a partir da análise das
perguntas trazidas pelos potenciais clientes sob a ótica dos critérios de avaliação a
serem adotados no estudo.
PA
SS
O
6
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS30
PROGRAMA CABRA FORTEPerguntas Avaliativas sugeridas pelos Clientes de Avaliação
Estamos fazendo o que nos propusemos a fazer (melhoria genética, poços, etc.)?
As metas estão sendo cumpridas quanto a: quantidade de produtores benefici-
ados, sistemas construídos, cisternas, pulmão verde implantados, assistência
técnica disponível e crias distribuídas para melhoria genética do rebanho?
Que resultados estão sendo alcançados em comparação com os previstos?
Os sistemas de abastecimento de água (a partir de poços e barragens) e de
cisternas construídos atendem às necessidades dos grupos de produtores e co-
munidades eleitos como público do Projeto?
Quais os principais componentes do Projeto que contribuem positiva e negati-
vamente para o alcance de seus resultados?
Qual é a diferença que o Projeto está fazendo junto ao seu público-alvo?
(Efetividade)
Os resultados estão sendo positivos para a população beneficiada?
O objetivo do Programa está sendo atingido?
Que ações estamos fazendo para que os produtores efetivamente assumam a
propriedade do processo? (Sustentabilidade)
Qual o custo x benefício do Programa?
Qual o grau de eficiência na alocação de recursos neste Programa?
PA
SS
O
6
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 31
As perguntas avaliativas deverão ser sintetizadas segundo os seguintes crité-
rios de avaliação:
Eficácia – expressa o grau em que o programa realiza o que havia sido pro-
posto, alcançando suas metas e objetivos;
Eficiência – estabelecida pela menor relação custo x beneficio possível para
a realização das atividades e alcance dos objetivos do programa;
Efetividade – o grau em que o programa alcança os resultados e impactos
pretendidos junto ao seu público-alvo.
PROGRAMA CABRA FORTEPerguntas Avaliativas Sintetizadas
1. Qual o grau de alcance das metas e objetivos do Programa?
Análise do grau de eficácia da implantação do Programa até o momento.
2. Qual o custo x benefício das principais estratégias do Programa?
Análise do grau de eficiência a partir do levantamento do total de recursos
aplicados em cada estratégia do Programa e os produtos por ela gerados.
3. Qual é a diferença que o Programa está fazendo junto ao seu público-alvo?
Análise do grau de efetividade do Programa na obtenção de resultados sele-
cionados a partir do Modelo Lógico de Gestão.
PA
SS
O
6
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS32
PA
SS
O 7PASSO 7: Análise dos instrumentos e registros
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
já disponíveis do programa
Parte importante das informações que subsidiam a avaliação de eficácia
e eficiência de um programa vem dos registros administrativos gerados ao longo de sua
execução. A partir do registro sistematizado das atividades, seus principais produtos e
custos, a equipe gestora do programa dispõe de dados para comparar o realizado com o
previsto em determinado período, monitorando, assim, o desempenho do programa.
O levantamento e análise dos registros administrativos antecede e subsidia a mon-
tagem dos instrumentos de monitoramento. Daí a necessidade de registros confiáveis,
tempestivos, úteis e bem estruturados.
Nesta etapa do trabalho deverão ser analisados os modelos de registro das reali-
zações já em uso pela equipe gestora e pelos técnicos, nos vários níveis de execução
do programa. Essa pesquisa fornecerá aos avaliadores importantes informações sobre
falhas ou inadequação dos instrumentos de registro e dos processos de sistematização
dessas informações. A partir do que já existe, de seu funcionamento e uso, os avaliado-
res poderão propor formas de aprimorar o fluxo de informações, de maneira que
permita realizações periódicas de avaliações sobre o desempenho do programa.
Para checagem e complementação das informações é necessário, no entanto,
que se apliquem também outros instrumentos quantitativos e qualitativos junto aos
beneficiários do programa e aos atores intermediários no seu processo de execução.
O diagrama a seguir retra-
ta o fluxo de informações pro-
posto por esta Sistemática de
Monitoramento e Avaliação:
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 33
PASSO 8: Definição dos indicadores de monito-
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
ramento e avaliação a serem utilizados
Indicadores são medidas quan-
titativas e/ou qualitativas que funcio-
nam como um termômetro do pro-
gresso de um programa, indicando os
avanços obtidos em relação aos obje-
tivos e metas traçados. Como o pró-
prio nome sugere, são sinalizadores
que buscam expressar algum aspecto
da realidade, de forma que possamos
observá-lo ou mensurá-lo.
Indicadores de desempenho
são usados para verificar e mensurar os
possíveis impactos, resultados, produtos,
processos e recursos alocados em um
programa, permitindo, assim, seu moni-
toramento e avaliação. A partir do que se
quer avaliar, ou seja, das perguntas
avaliativas e da análise dos principais com-
ponentes do programa apresentados no
seu Modelo Lógico de Gestão, devem ser
definidos os indicadores de desempenho
a serem utilizados para o monitoramen-
to e avaliação do programa.
Características de umbom indicador
Ser válido – que meça o que se
supõe dever ser medido;
Ser confiável – que seja verificável;
Ser relevante – que tenha relevância
em relação aos objetivos do programa;
Ser sensitivo – que seja sensível às
mudanças da situação que é observada;
Ser aceitável – que seja aceito pela
população em estudo e pelos
principais clientes da avaliação;
Ser específico – que seja
especificamente adaptado aos
objetivos do programa;
Ser oportuno – que possa ser consti-
tuído e reportado em tempo hábil;
Ser tecnicamente viável – que os
dados requeridos possam ser
coletados e mensuráveis;
Ser custo-efetivo – que os dados
requeridos possam ser coletados a
um custo razoável.PA
SS
O 8
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS34
Nesta etapa, é fundamental que se realize um exercício para a seleção dos indica-
dores a serem utilizados e a definição de seus respectivos descritores. Os descritores
são fundamentais para garantir a uniformidade de conceitos e um entendimento com-
partilhado sobre o que será medido.
O Descritor do Indicador traduz em linguagem simples e objetiva o que está
sendo medido. Seu uso garante o alinhamento de conceitos entre os responsáveis pela
coleta dos dados, dando maior consistência às informações produzidas pela avaliação.
Além disso, deve-se também, definir as principais fontes de informação para a
obtenção dos dados necessários à composição de cada indicador e a periodicidade
com que esta informação pode ser obtida. O quadro a seguir exemplifica como este
exercício pode ser realizado:
PROGRAMA CABRA FORTESíntese do processo de construção dos indicadores
Após a validação do escopo da avaliação com a equipe Matricial, deu-se início o traba-lho de construção conjunta dos indicadores de M&A do Programa. O primeiro passo foidefinir para cada atividade a ser avaliada:
indicadores de produto;
seus descritores (para garantir uniformidade de conceitos com os responsáveispelo fornecimento dos dados);
a periodicidade ideal da coleta dos dados;
as melhores fontes de informação.
PA
SS
O 8
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 35
PROGRAMA CABRA FORTEEste trabalho foi desenvolvido em uma oficina de quatro horas, onde
a equipe Matricial, dividida em grupos por estratégia do Programa e orientada pelos
avaliadores, detalhou o foco da avaliação.
Nessa oficina, foi também realizada uma consulta com a equipe Matricial sobre
o grau de execução das estratégias do Programa, para verificar se o tempo de
implantação de cada atividade, descrita no Modelo Lógico de Gestão, tornava viável
a sua avaliação nas três categorias: eficácia, eficiência e efetividade. A conclusão a
que se chegou, foi que este estudo avaliativo deveria priorizar o levantamento de
dados referentes à eficácia (o que o Programa realizou desde seu início até o mo-
mento atual) e à eficiência do Programa (a relação custo x benefício das atividades).
O planejamento da avaliação de efetividade das ações de um programa depen-
de da análise dos dados relativos ao grau de realização das atividades, sua
espacialização geográfica e o momento de sua execução. Estas informações são
fundamentais para que se estabeleçam os procedimentos metodológicos adequa-
dos para verificar os resultados, ou impactos de curto prazo, no público-alvo.
Apenas como exercício de capacitação da equipe de avaliadores, foram selecio-
nados alguns resultados do Programa – considerados os mais estratégicos – para
comprovar as transformações já realizadas pelo Cabra Forte na vida dos seus bene-
ficiários, para os quais foram definidos indicadores de efetividade.
PA
SS
O 8
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS36
PROGRAMA CABRA FORTE
1.1.1 Perfuração e recuperação depoços tubulares
• Poços instalados• Produtores beneficiados/
Comunidades de abrangência• Produção de água
1. Nº de poços instalados no período
2. Nº de produtores beneficiados/comunidade (grupo de produtores) /município/ pólo
3. Produção potencial de geração deágua disponível por poço instalado /comunidade / município / pólo
4. Produção efetiva de geração deágua disponibilizada por poçoinstalado/ comunidade / município /pólo
1. Nº de Sistemas Simplificados deAbastecimento de Água (SSAA)entregues à comunidade a partir depoços, em condições de oferecerágua em quantidade e qualidadeadequadas para consumo animal.
2. Produtores pertencentes àscomunidades do Programabeneficiados com os novos poçosinstalados.
3. Capacidade potencial de produçãode água dos poços instalados,medida em m³/hora.
4. Capacidade real de produção deágua dos poços instalados, medidapor m³/hora.
1. Mensal
2. Mensal
3. Mensal (dosnovos poçosinstalados)
4. Mensal (dosnovos poçosinstalados).
Técnicos da Cerb
Componentes a Serem Avaliados Indicadores de Desempenho Descritor dos IndicadoresPeriodicidade da
InformaçãoFonte de
Informação
Objetivo Específico: Ampliar e melhorar a oferta de água para os produtores.
Estratégia: 1.1. Disponibilizar ponto de água confiável para grupos de 15 a 20 produtores.
PERGUNTA AVALIATIVA Eficácia: Qual o grau de alcance das metas e objetivos do Programa?
PA
SS
O 8
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 37
PASSO 9: Definição e criação dos instrumentos
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
para coleta de dados
A definição dos instrumentos para a coleta de dados a serem utilizados
no estudo avaliativo depende da escolha do tipo de abordagem que se quer adotar.
Abordagens quantitativas têm a vantagem de permitir mensuração, comparação e
generalização das informações obtidas, no entanto as abordagens qualitativas per-
mitem uma análise mais aprofundada das experiências estudadas.
Os métodos de coleta de dados quantitativos mais comumente utilizados são a
pesquisa de dados disponíveis em sistemas de acompanhamento e monitoramento do
programa, e a aplicação de questionários ou formulários junto aos beneficiários e ato-
res intermediários da sua execução. No caso de abordagens qualitativas, os métodos
de coleta de dados mais usados são entrevistas, grupos focais e observação direta.
Cada instrumento criado deverá ser pré-testado para análise de sua consistência e
clareza, e avaliação da relevância e viabilidade dos dados por ele coletados. Uma simu-
lação da tabulação e análise dos dados coletados no pré-teste também ajuda no apri-
moramento do instrumento antes da sua aplicação generalizada.
O sucesso desta etapa é fundamental para a realização de uma avaliação que per-
mita uma utilização plena de seus resultados. Não basta escolher bons indicadores
teóricos e de aplicações gerais, torna-se imprescindível a relevância, bem como
pertinência ao objeto avaliado e, sobretudo, a operacionalidade, sem implicar em ex-
cessos de utilização de recursos (tempo, recursos financeiros e recursos humanos).
PA
SS
O 9
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS38
PROGRAMA CABRA FORTEO levantamento dos indicadores
Em oficina, produziu-se um levantamento preliminar das informações existen-
tes sobre a eficácia e eficiência do Programa e, a partir destes dados, elaborou-se
uma estratégia para avaliação da efetividade, já que esta última requer a aplicação
de instrumentos qualitativos e uso de técnicas de amostragem, o que só pode ser
definido a partir de informações concretas sobre as realizações do Programa, sua
temporalidade e espacialização.
Foram criados os instrumentos para a coleta dos dados elaborados a partir da
definição das informações necessárias para a alimentação dos Indicadores de Eficá-
cia e Eficiência selecionados para esta avaliação, conforme modelo previamente
estabelecido.
Os instrumentos foram validados pelos membros da equipe Matricial respon-
sáveis por cada estratégia.
Ficou estabelecido que fossem criados formulários para coleta dos dados nos
seguintes períodos:
Consolidado 2003
Consolidado 2004
Mês a mês – de janeiro a abril de 2005P
AS
SO
9
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 39
PROGRAMA CABRA FORTE
Eficácia:
• Nº poços instalados x nº previsto• Nº de produtores beneficiados x nº previsto• Espacialização dos poços instalados• Espacialização dos produtores beneficiados• Produção potencial de geração de água disponível nos
poços instalados• Produção efetiva de geração de água disponibilizada
nos poços instalados
Eficiência:
• Produção potencial de geração de água x produçãoefetiva de geração de água disponibilizada nos poçosinstalados
• Custo de produção da água com poço x Nº deprodutores atendidos
• Nº de poços instalados no período/ comunidade/município/ pólo.
• Meta de instalação de poços no período/ comunidade/município/ pólo.
• Nº de produtores beneficiados/ comunidade (grupode produtores)/ município/ pólo.
• Meta de produtores a serem beneficiados com poçosno período/ comunidade/ município/ pólo.
• Capacidade potencial de produção de água dospoços instalados (em m³/hora)/ poço/ comunidade/município/ pólo.
• Capacidade real de produção de água dospoços instalados (em m³/hora)/ poço/comunidade/ município/ pólo.
• Custo de instalação dos poços no período/comunidade/ município/ pólo.
1.1.1 Perfuração erecuperação de poçostubulares
COMPONENTES DADOS A SEREM COLETADOS INDICADORES
Exemplo de dados a serem coletados e definição de alguns indicadores
Para uma completa visualização das realizações do Programa, foi acordado com a equipe
Matricial que os dados seriam coletados nos seguintes níveis de desagregação:
por pólo do Programa
por município atendido
por comunidade beneficiada
por grupos de produtores beneficiados
Desta maneira, as informações poderiam ser espacializadas e consolidadas nos diferen-
tes níveis de execução do Programa, permitindo comparações sobre as realizações e
alocações de recursos.
PA
SS
O 9
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS40
PA
SS
O 1
0○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
PASSO 10: Coleta dos dados
O processo de coleta dos dados deve ser planejado a partir da definição
dos instrumentos que serão utilizados, das informações que serão pesquisadas e do
prazo de que se dispõe para a obtenção dessas informações. A característica da popu-
lação-alvo, a característica espacial e os indicadores de desempenho físico-financeiro
são dados relevantes para serem coletados.
As primeiras informações a serem levantadas dizem respeito ao processo de exe-
cução do programa e seus produtos. A partir dos dados sobre as realizações do pro-
grama, obtidos no sistema de monitoramento e de outras fontes de informações, os
avaliadores poderão coletar os indicadores de eficácia e eficiência definidos. Os indica-
dores de eficácia e eficiência são obtidos, freqüentemente, a partir dos registros admi-
nistrativos do próprio programa. Já os indicadores de efetividade, exigem seu levanta-
mento direto junto à população beneficiária ou a registros censitários.
Na coleta de dados com beneficiários do programa, pode-se optar pela pesquisa
com toda a população a ser estudada ou por amostragem. Censos demográficos e
econômicos, relatórios de acompanhamento da execução físico-financeira, relatórios
de avaliações anteriores, artigos ou informações de divulgação, são fontes que podem
ser consultadas para o levantamento das informações.
Nesta etapa, é importante dispor de um banco de dados de registros adminis-
trativos consistente com o MLGP. É necessário também, capacitar os executores
do programa, especialmente os técnicos responsáveis pela obtenção das informa-
ções primárias.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 41
PROGRAMA CABRA FORTEProcesso de coleta de dados
A partir das fontes de informação de cada indicador definidas pela equipe
Matricial, o processo de coleta dos dados foi desenhado, respeitando a estrutura
operacional do Programa Cabra Forte. Como o Programa é uma combinação de
estratégias sob a responsabilidade de várias Secretarias e Órgãos Governamen-
tais, foi definido que cada entidade executora ficaria responsável pelo repasse das
informações referentes à sua parte no Programa. A equipe de avaliadores sinteti-
zou e analisou os dados, validando-os com a equipe Matricial antes da elaboração
do relatório de avaliação.
Os instrumentos de coleta de dados foram enviados aos membros da equipe
Matricial, que ficaram responsáveis por criar os canais adequados para a obtenção
dessas informações nos níveis operacionais do Programa. Ao final do trabalho, o
resultado da avaliação deve retornar aos vários níveis garantindo a disseminação
das informações obtidas, conforme ilustração a seguir:
PA
SS
O 1
0
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS42
PA
SS
O 1
1PASSO 11: Tabulação e análise dos
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
dados coletados
Todos os dados devem ser tabulados, ou seja, organizados de maneira
a facilitar a sua interpretação e análise, tendo em vista as perguntas avaliativas a serem
respondidas. A tabulação e análise dos dados serão decorrentes da sua natureza: quan-
titativos ou qualitativos.
Em uma avaliação, os textos e observações coletados vêm de várias fontes como:
respostas a perguntas abertas de questionários, transcrições de grupos focais ou entre-
vistas, roteiros de observação de casos, ou, ainda, resumos de relatórios e documen-
tos pesquisados.
Tanto as fontes de informações, como as técnicas quantitativas e qualitativas utili-
zadas para a coleta de dados, devem ser combinadas para uma compreensão mais
abrangente do programa. As informações sobre o previsto e o realizado, os principais
produtos entregues aos beneficiários, e a espacialização destas realizações, são dados
importantes para subsidiar a avaliação de desempenho do programa.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 43
PROGRAMA CABRA FORTETabulação e análise dos dados coletados (alguns exemplos)
PA
SS
O 1
1
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS44
PA
SS
O 1
1
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 45
INDICADOR DE EFETIVIDADE
(Qual a diferença que o Programa está fazendo no seu público-alvo?)
RESULTADOS ESPERADOSMaior acesso dos produtores a água de qualidade para consumo animal +Dessedentação dos animais.
SITUAÇÃO IDEALProdutores percorrendo no máximo 1.500 metros para obter água para seu rebanho.
INDICADORES DE RESULTADO SELECIONADOSDistância média percorrida pelos produtores para obter água para seu rebanho (emmetros) - antes e depois;Consumo médio de água / cabeça / dia (em litros) x capacidade instalada dos poços;Freqüência com que não obteve a quantidade de água necessária para dessedentar osanimais - antes e depois.
INSTRUMENTO CRIADOQuestionário a ser aplicado por amostragem com produtores beneficiados compoços do Programa.P
AS
SO
11
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS46
PA
SS
O 1
2PASSO 12: Elaboração e disseminação do
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
Relatório de Avaliação
Toda avaliação deve resultar em um
relato claro e objetivo sobre o processo e os re-
sultados obtidos quanto ao desempenho do progra-
ma analisado. Estas informações devem ser disse-
minadas entre os principais clientes da avaliação de
maneira a influenciar futuras decisões quanto ao apri-
moramento do programa ou ao estabelecimento de
novas diretrizes de ação.
A comunicação dos resultados de uma avaliação pode ser feita de forma oral ou
escrita, mas deve sempre ser simples, direta e livre de jargões. A ênfase deve estar nos
importantes resultados obtidos e nas recomendações, sempre com o foco nos princi-
pais clientes da avaliação, suas expectativas e necessidades de informação.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 47
ESTR
UTU
RA
MO
DEL
O
ESTRUTURA MODELO DO
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
RELATÓRIO DE AVALIAÇÃO
1. Capa – título do relatório, autores, instituições patrocinadoras/ participantes,lugar e data.
2. Índice – capítulos e subcapítulos do relatório.3. Créditos – agradecimento a todas as pessoas e instituições que possibilitaram a
realização do estudo.4. Resumo Executivo – apresentação do estudo incluindo objetivos, metodologia
adotada, principais resultados encontrados, conclusões/ recomendações. Deveter no máximo quatro páginas.
5. Introdução – contexto e antecedentes da avaliação: caracterização do proble-ma, justificativa do estudo, finalidade da avaliação, perguntas avaliativas e circuns-tâncias especiais.
6. Metodologia – desenho da avaliação: coleta e análise dos dados e limitações.Texto curto com maior detalhamento nos anexos (cópias dos instrumentos utili-zados, cálculo de tamanho de amostra, etc.).
7. Resultados – principais resultados encontrados e apresentados em gráficos etabelas com breve análise.
8. Conclusões – síntese dos dados encontrados e apresentados de maneira aresponder às perguntas avaliativas.
9. Recomendações – prescrição do que deve ser feito a partir das conclusõesdo estudo. O nível de detalhamento das recomendações depende da finalidade daavaliação e do perfil dos seus clientes.
10. Referências Bibliográficas – identificação de todo o aporte bibliográficoque norteou a avaliação.
11. Anexos – instrumentos para a coleta dos dados utilizados, procedimentosmetodológicos adotados, dados adicionais obtidos ou com maior desagregação,entre outros documentos relevantes.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS48
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
CONCLUSÃO
Buscando instrumentalizar as equipes gestoras dos programas e pro-
jetos estratégicos do Governo do Estado da Bahia, a Secretaria do Planejamento e
a Fundação Luis Eduardo Magalhães criaram e testaram uma Sistemática de Moni-
toramento e Avaliação.
Testada no Programa Cabra Forte, programa multisetorial que visa melhorar a
qualidade de vida de 26.000 pequenos produtores rurais e suas famílias, através do
aumento da renda proveniente da ovinocaprinocultura, a Sistemática aqui apresentada
tem o objetivo de ser disseminada entre as equipes das Secretarias e Órgãos Governa-
mentais do Estado.
A partir da compreensão das etapas que levaram a construção desta metodologia
de monitoramento e avaliação, as equipes poderão implantá-la em outros programas e
projetos seguindo o roteiro apresentado neste Guia. Capacitações, orientações e acom-
panhamento periódico deverão ser oferecidos por avaliadores da Seplan aos Órgãos
Gestores, no sentido de garantir a implantação desta Sistemática de forma gradual,
consistente e efetiva.
A disseminação dos conceitos, princípios, processos e instrumentos, permitirá que
técnicos dos níveis estratégico, tático e operacional do Governo estejam constantemen-
te informados sobre o desempenho dos programas e projetos sob sua responsabilidade.
Ao fazer do monitoramento e da avaliação efetivos instrumentos de gestão, o
Governo do Estado da Bahia demonstra sua preocupação com o aprimoramento da
habilidade gerencial de suas equipes, visando aumentar a eficácia, eficiência e efetividade
das suas políticas, programas e projetos.
CON
CLU
SÃO
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 49
GL
OS
SÁ
RIO
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
GLOSSÁRIO
Acompanhamento /MonitoramentoExame contínuo ou periódico realizado pela ad-ministração, em todos os níveis hierárquicos, domodo como se está executando um projeto ouatividade. Tem como objetivo prover os gestorese principais stakeholders com regular feedback eindicações do progresso ou possíveis falhas no al-cance dos resultados esperados.
O termo acompanhamento freqüentemente temsido associado a um mero registro contábil. En-tretanto, é preciso considerar que o acompanha-mento tem necessariamente que produzir infor-mações úteis para o gerenciamento do projeto ouatividade.
Análise de AvaliabilidadeTem por objetivos buscar informações sobre oformato do programa, explorar sua realidade eajudar a conhecer sua estrutura, antes que sejafeita a avaliação de seus resultados.
Apreciação Prévia (Appraisal)Apreciação global da pertinência, viabilidade esustentabilidade provável de uma intervenção dedesenvolvimento antes que a decisão deimplementação seja tomada.
AtividadesProcedimentos do programa que visam à obten-ção dos efeitos desejados. Do ponto de vista daprogramação orçamentária é um conjunto de ope-rações que se realizam de modo contínuo e que
concorrem para a manutenção e o funcionamentode órgãos e entidades governamentais e para aprestação de serviços públicos utilizados pelapopulação.
AvaliaçãoApreciação sistemática e objetiva do valor oumérito de um projeto, programa ou política, an-tes, durante ou após a intervenção, quanto à suaconcepção, execução e resultados. Tem como pro-pósito determinar a pertinência, eficiência, eficá-cia, efetividade, impacto e sustentabilidade da in-tervenção.
Avaliação de ProcessoVisa determinar o grau em que o programa estáoperando conforme planejado. Este tipo de avali-ação tem como objetivo entender o funcionamen-to do programa – a partir da análise do que ele faze de quem são seus beneficiários – para, assim,aprimorar suas ações. A avaliação de processotambém ajuda na identificação dos elementos es-senciais para o melhor desempenho do programaem termos de produtos, resultados e impactos.Em geral, responde a perguntas em duas categori-as – cobertura e processo.
Avaliação de ResultadosAnalisa em que grau o programa vem produzindoos benefícios e transformações a que se propõe.As atividades de um programa produzem três ti-pos de resultado: produtos (outputs), resultados(outcomes) e impactos (impact).
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS50
Avaliação de Meio Percurso oude Meio TermoTipo de avaliação realizada durante o processode implementação de um programa ou projeto.Seu principal objetivo é avaliar o progresso reali-zado, permitir conclusões iniciais sobre o seugerenciamento e fazer recomendações para a con-tinuidade dos trabalhos. Esta avaliação analisaquestões operacionais relevantes e a performance,extraindo lições aprendidas até aquele momento.
Avaliação de Programa ou ProjetoAvaliação feita para determinar se os objetivos,formato e resultados do programa ou projeto es-tão adequados, assim como o grau de eficiência,eficácia e efetividade na utilização dos recursos.
Avaliação ExternaAvaliação conduzida por um ou mais avaliadoresque não estão diretamente envolvidos na formula-ção, implementação e/ou gerenciamento do obje-to da avaliação. Normalmente é realizada porpessoas de fora da organização envolvida. É tam-bém chamada de avaliação independente.
Avaliação FormativaRefere-se ao processo de execução do programa,servindo para melhorar seu funcionamento. Sãomodalidades complementares a serem utilizadasde acordo com cada situação concreta.
Avaliação InternaAvaliação conduzida por membros de organiza-ções associadas com o programa, projeto ou ob-jeto que está sendo avaliado.
Avaliação Final (Avaliação ex-post)Avaliação de uma intervenção após a sua conclu-são, podendo ser realizada logo após a conclusãoda intervenção ou algum tempo depois. O objeti-vo é identificar os fatores de sucesso ou de fracas-so, apreciar a sustentabilidade dos resultados e osimpactos, e tirar conclusões que possam ser gene-ralizadas para outras intervenções.
Avaliação ParticipativaAvaliação coletiva de um projeto ou programa,realizada pelos stakeholders ou beneficiários. Sãoavaliações reflexivas, pró-ativas, que visam capa-citar os envolvidos no programa e têm como prin-cipal objetivo atender as necessidades de infor-mação dos stakeholders.
Avaliação Prévia (Avaliaçãoex-ante)Avaliação efetuada antes da implementação de umaintervenção.
BeneficiáriosIndivíduos, grupos ou organizações que se benefi-ciam do programa ou projeto direta ou indireta-mente, intencionalmente ou não.
CoberturaAnalisa o alcance do programa e as característi-cas dos beneficiários.
Dados da Linha de Base(Baseline Data)Informação inicial sobre um programa ou seus com-ponentes, coletada antes das atividades serem exe-cutadas. Os dados de linha de base são normal-mente coletados em entrevistas ou observações eusados posteriormente para comparações que de-terminarão mudanças em um programa.
GL
OS
SÁ
RIO
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 51
Descritor do IndicadorTraduz em linguagem simples e objetiva o que estásendo medido. Seu uso garante o alinhamento deconceitos entre os responsáveis pela coleta dosdados, dando maior consistência às informaçõesproduzidas pela avaliação.
DesempenhoO grau com que um programa ou projeto éimplementado de forma eficaz, eficiente e efetiva.
EfeitoMudança esperada ou não, direta ou indiretamen-te atribuída a uma intervenção.
EfetividadeO grau em que o programa alcança os resultadose impactos pretendidos junto ao seu público-alvo.
EficáciaExpressa o grau em que o programa realiza oque havia sido proposto, alcançando suas me-tas e objetivos.
EficiênciaEstabelecida pela menor relação custo x benefíciopossível para a realização das atividades e alcan-ce dos objetivos do programa.
Estudos de BaseAnálise que descreve a situação antes do lança-mento de uma intervenção de desenvolvimento, aqual se podem fazer comparações ou apreciar osprogressos.
ImpactoBenefício e transformação de médio e longo pra-zo para os participantes e beneficiários indiretosdo programa (suas famílias e comunidades).
IndicadorMedida quantitativa e/ou qualitativa que funcionacomo um termômetro do progresso de um pro-grama, indicando os avanços obtidos em relaçãoaos objetivos e metas traçados.
Indicador de desempenhoUsado para verificar e mensurar os possíveis im-pactos, resultados, produtos, processos e recur-sos alocados em um programa, permitindo assimseu monitoramento e avaliação.
Modelo Lógico de Gestão dePrograma/ProjetoInstrumento visual e sistêmico de apresentação ecompartilhamento de informações, voltado paraa gestão e avaliação de programas e projetos.Permite analisar as relações causais entre os re-cursos alocados, atividades, produtos, resulta-dos e impactos.
ObjetivoSituação futura desejada com a execução de pro-grama, projeto ou atividade, descrita com conci-são e precisão e sempre mensurável por um indi-cador, que expressa o produto ou resultado espe-rado sobre o público-alvo.
Pressupostos (Hipóteses)Suposições sobre fatores ou riscos que podem terrepercussões na evolução ou no sucesso da inter-venção de desenvolvimento.G
LO
SS
ÁR
IO
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS52
ProcessoAnalisa a consistência do programa e a qualidadede sua implementação.
ProdutoEfeito imediato de cada atividade do programa.
ProgramaÉ o instrumento de organização da ação governa-mental com vistas ao enfrentamento de um pro-blema, atendimento a uma demanda ou o aprovei-tamento de uma oportunidade.
ProjetoInstrumento de programação orçamentária paraalcançar o objetivo de um programa, envolven-do um conjunto de operações, limitadas no tem-po, das quais resulta um produto que concorrepara a expansão ou aperfeiçoamento da açãode Governo.
Público-alvoConjunto de pessoas, famílias, comunidades, insti-tuições ou setores que serão atingidos pelo pro-grama.
Recursos (Inputs)Meios financeiros, humanos e materiais usadospara uma intervenção de desenvolvimento.
ResultadoImpacto de curto prazo causado pelo diretamen-te pelo programa nos seus beneficiários (normal-mente referem-se a mudanças de conhecimento,habilidades, comportamento e valores).
Retroalimentação (Feedback)Transmissão das constatações resultantes do pro-cesso de avaliação a todos os que podem tirarlições úteis e pertinentes das mesmas, com o obje-tivo de facilitar a aprendizagem. Isto pode impli-car reunir e difundir as constatações, conclusões,recomendações e lições aprendidas.
StakeholdersGrupos que tem um papel ou interesse nos objeti-vos e implementação de um programa ou projeto.Incluem o público-alvo, os beneficiários diretos,os responsáveis por garantir que os resultadosserão alcançados conforme planejado, e os res-ponsáveis por prestar contas dos recursosalocados nos trabalhos.
SustentabilidadeContinuação dos benefícios resultantes de uma in-tervenção de desenvolvimento mesmo após a suaconclusão. Probabilidade de os benefícios perdu-rarem no longo prazo. Situação em que as vanta-gens líquidas são suscetíveis de resistir aos riscosao longo do tempo.
GL
OS
SÁ
RIO
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 53
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
REFERÊNCIAS BIBLIOGRÁFICAS
Alberta Consultative Health Research Network.(2001-2002) Evaluability Assessment.Disponível em http://www.achrn.org/Evaluability.htm
Buvinich, Manuel Rojas. (1999). Ferramentas paramonitoramento e avaliação de programas eprojetos sociais. Unicef.
Instituto do Banco Mundial. (sem data).Introdução ao Monitoramento & Avaliação:Apostila do Participante.
International Development Research Centre.Identifying the Intended Use(s) of anEvaluation. Abril de 2004. Disponível emwww.idrc.ca
International Development Research Centre.Identifying the Intended User(s) of anEvaluation. Março de 2004. Disponível emwww.idrc.ca
Kayano, Jorge, e Caldas, Eduardo L. (2001).Indicadores para o diálogo. São Paulo:Instituto Pólis; Programa Gestão Pública eCidadania/ EAESP/ FGV.
McNamara, Carter. Basic Guide to ProgramEvaluation. 1999. Disponível em http://www.mapnp.org/library/evaluatn/fnl_
Patton, Michael Quinn. (1997). Utilization-focused evaluation: the new century text.Londres: Sage Publications.
Rodrigues, Maria Cecília Prates. (1998).Avaliação e monitoramento. Texto base paraa disciplina de Monitoramento e Avaliaçãoministrada no âmbito do curso de Gerênciade Programas Sociais, promovido pela FESP/ISAPE/CPG.
United Way of America. (1996). Measuringprogram outcomes: a practical approach.
Valarelli, Leandro Lamas (1999). Indicadores deresultados de projetos sociais. RITS.Disponível em: http://www.rits.org.br/gestao_teste/ge_testes/ge_tmes_jul99.cfm
W.K. Kellogg Foundation. (2001). Logic ModelDevelopment Guide: Using Logic Models toBring Together Planning, Evaluation, &Action.
3 Patton, Michael Quinn. (1997). Utilization-focused evaluation: the new century text.Londres: Sage Publications.
BIB
LIO
GR
ÁF
ICA
S
O documento está disponível em: http://www.rits.org.br/gestao_teste/ge_testes/ge_tmes_jul99.cfm
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS54
Modelo Lógico de Gestão doPrograma Cabra Forte
ANEXO 1
AN
EX
O 1
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 55
AN
EX
O 1
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS56
AN
EX
O 1
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 57
AN
EX
O 1
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS58
Questionário para levantamento de informaçõessobre os resultados da implantação de poços peloPrograma Cabra Forte
ANEXO 2
AN
EX
O 2
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 59
AN
EX
O 2
QUESTIONÁRIO A SER APLICADO COM
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
PRODUTORES DO PROGRAMA
Propriedade:
Proprietário:
1 - Qual a área (em tarefas) da propriedade?
tarefas
2 - Quantas cabeças de ovinos e caprinos existem na propriedade?
Ovinos: cabeças
Caprinos: cabeças
3 - Quantos litros de água por dia são necessários para o consumo do rebanho?
litros
4 - Existe alguma reserva de água na propriedade? Que tipo?
( ) Sim ( ) Não Tipo:
ANTES DA INSTALAÇÃO DOS POÇOS
5 – Qual(is) a(s) alternativa(s) de acesso a água para consumo dos animais?
( ) Reserva própria ( ) Reserva de vizinhos ( ) Açude ou barragem comunitária
( ) Outras. Citar
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS60
AN
EX
O 26 - O produtor tinha como garantir água para o rebanho durante todo o ano?
( ) Sim ( ) Não Por quê ?
7 - Qual a distância que o produtor (ou rebanho) percorria para ter acesso à água?
metros
8 - Em média, quantos meses no ano a água era insuficiente para atender à necessidade do
rebanho? meses
APÓS A INSTALAÇÃO DOS POÇOS
9 - Qual a distância que o produtor (ou rebanho) percorre para ter acesso à água?
metros
10 – Com que frequência a água do poço é insuficiente para atender à necessidade do reba-
nho?
( ) Nunca ( ) Raramente ( ) Frequentemente ( ) Sempre
11 - Qual o grau de facilidade que a instalação do poço trouxe para o acesso à água pelo
rebanho?
( ) Pouca ( ) Regular ( ) Muita
Comente:
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 61
AN
EX
O 3
Instrumento usado para análisedos dados coletados sobre oPrograma Cabra Forte
ANEXO 3
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS62
Secretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGA
PROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETA DE INFORMAÇÕESA DE INFORMAÇÕESA DE INFORMAÇÕESA DE INFORMAÇÕESA DE INFORMAÇÕES
Objetivo Específico: Ampliar e melhorar a oferta de água para os produtoresEstratégia: Disponibilizar ponto de água confiável para grupos de 15 a 20 produtoresAAAAAtividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULARESPeríodo: 2003
Programado para o período
Pólo / Município /Comunidade / Grupo
de Produtores
Realizado no período
Total do Programa
Pólo de Remanso
Campo Alegre de Lurdes
Casa Nova
Pilão Arcado
Remanso
Pólo de Jaguarari
Andorinha
Curaçá
Jaguarari
Juazeiro
Monte Santo
Uauá
Pólo de Conceição do Coité
Barrocas
Conceição do Coité
Nova Fátima
Retirolândia
Santaluz
São Domingos
Serrinha
Valente
Nº de poçosa serem
instalados
Nº deprodutores doprograma a
serembeneficiados
Capacidadepotencial deprodução deágua (m³/h)
Nº de Poçosinstalados
Nº deprodutores do
programabeneficiados
Capacidadeefetiva de
produção deágua (m³/h)
Custo deinstalaçãodos poços
(R$)
AN
EX
O 3
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 63
AN
EX
O 3
Secretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGA
PROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETA DE INFORMAÇÕESA DE INFORMAÇÕESA DE INFORMAÇÕESA DE INFORMAÇÕESA DE INFORMAÇÕES
Objetivo Específico: Ampliar e melhorar a oferta de água para os produtoresEstratégia: Disponibilizar ponto de água confiável para grupos de 15 a 20 produtoresAAAAAtividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULARESPeríodo:
Programado para o período
Pólo / Município /Comunidade / Grupo
de Produtores
Realizado no período
Nº de poçosinstalados
Nº de poçosinstalados X
previsto
Nº de produtoresbeneficiados
Nº de produtoresbeneficiados
X previsto
Capacidade realde produção de
água XCapacidadepotencial
Custo deinstalação X Nºde produtoresbeneficiados
Conceição do Coité
Nova Fátima
Retirolândia
Valente
Santa Luz
São Domingos
Serrinha
Barrocas
Remanso
Remanso
Casa Nova
C. Alegre de Lourdes
Pilão Arcado
Jaguarari
Jaguarari
Uauá
Juazeiro
Monte Santo
Andorinha
Curaçá
TOTAL GERAL
Qde. % Qde. %
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS64
AN
OTA
ÇÕ
ES
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 65
AN
OTA
ÇÕ
ES
SECRETARIA DO PLANEJAMENTO - SEPLAN
SUPERINTENDÊNCIA DE GESTÃO E AVALIAÇÃO - SGASonia Sobral
Diretorias de Monitoramento e AvaliaçãoMaria da Conceição SáMário Sebastião Freitas
COORDENAÇÃO GERAL (FLEM)Lycia Tramujas Vasconcellos Neumann
Equipe de Coordenação:Secretaria do Planejamento / Superintendência de Gestão e Avaliação
Anibal Picanço BentesAntônio Leopoldo MeiraNair Mamede CoutoPalmiro Torres de OliveiraRoberto Sampaio CostaZélia Maria Abreu Góis
Fundação Luis Eduardo MagalhãesViviane Quenia Brito de Jesus
Equipe Matricial:Secretaria da Agricultura, Irrigação e Reforma Agrária
Edilson Bartolomeu - SuperintendenteMaria Suzana Lima de SouzaRenata VieiraRicardo AndradeAntônio Lemos Maia Neto (ADAB)Francisco Benjamin (EBDA)
Secretaria de Combate à Pobreza e às Desigualdades SociaisElisa Cristina Guimarães Pellegrini - SuperintendenteFátima AmaralSoane Maria Minck de MatosTânia XavierZélia Fajardini
Secretaria do PlanejamentoDário Tavares (CAR)
Secretaria da Indústria, Comércio e MineraçãoAna Célia Tanajura (EBAL)
Secretaria do Meio Ambiente e Recursos HídricosJoão Batista Andrade (CERB)
Secretaria da SaúdeMaria Claudia da Costa MontalMaria Lea Rocha Fagundes
Secretaria do Trabalho, Assistência Social e EsporteMarizete Pereira AndradeTerezinha Almeida
FICHA TÉCNICAConsultoria ExternaFundação Luis Eduardo Magalhães - Flem
Redação final de textoTacilla Siqueira
Projeto Gráfico e EditoraçãoAutor Visual Comp. Gráfica Ltda
Fotografias gentilmente cedidas pela Agecom, Arquivo Cacob-Diren-Seinfra, Ascom-Funceb, Ascom-Seagri, Ascom-Secomp,Adenilson Nunes, Alceu Elias, Angeluci Figueiredo, Aristeu Chagas, Jorge Cordeiro, Lázaro Sérgio, Marcos Souza e Roberto Viana
Bahia. Secretaria de PlanejamentoSistemática de monitoramento e avaliação em programas
e projetos governamentais. Salvador: SEPLAN/SGA, 2005.66p. il.
1. Programa governamental – Sistematização. 2.Metodologia. 3. Técnica de trabalho. I. Título.
CDU: 001.81(061)
Junho de 2006
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS4
Governador do Estado da BahiaPaulo Ganem Souto
Secretaria do PlanejamentoArmando Avena
Secretaria da Agricultura, Irrigação e Reforma AgráriaPedro Barbosa de Deus
Secretaria de Combate a Pobreza e Desigualdades SociaisPe. Clodoveo Piaza S. J.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 5
APR
ESEN
TAÇÃ
O
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
APRESENTAÇÃO
Investir na institucionalização do processo de monitoramento e avaliação (M&A)
constitui um imperativo básico para a conquista da excelência dos serviços prestados
pelo Estado. O Governo da Bahia encontra-se engajado nesse movimento internacio-
nal e com a criação da Superintendência de Gestão e Avaliação (SGA), no âmbito da
Secretaria do Planejamento (Seplan), manifestou a vontade política de disseminar a
cultura da avaliação nas Secretarias e órgãos do Estado, responsáveis pelo planejamen-
to e operacionalização das políticas públicas.
O documento que se apresenta, constitui um referencial para ser utilizado como
catalisador dos diversos instrumentos e práticas de monitoramento e avaliação utiliza-
dos pelos diferentes órgãos gestores da administração pública estadual e está contem-
plado no Programa de Monitoramento e Avaliação, desenvolvido pela Seplan/SGA,
tendo como um dos objetivos a criação de mecanismos essenciais para a gestão eficaz
de programas e projetos estratégicos de Governo.
A Sistemática de Monitoramento e Avaliação é, portanto, uma das ferramentas
que deverá ser utilizada para a medição do grau de eficácia, efetividade e eficiência das
intervenções do Estado na sociedade.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS6
Oferece ainda aos clientes da avaliação, um mapa dos caminhos a serem persegui-
dos, subsidiando a tomada de decisão para o aperfeiçoamento do programa ou do
projeto ao longo de sua execução, com a descrição da seqüência de eventos relaciona-
dos, conectando o problema ou a oportunidade diagnosticada, com os resultados es-
perados. A ferramenta permite visualizar e compreender como os investimentos rea-
lizados na geração de produtos (bens ou serviços) podem contribuir para alcançar os
objetivos planejados, servindo de base para a criação de procedimentos e processos
de monitoramento e avaliação. O resultado esperado será a criação de um sistema de
monitoramento e avaliação mantido e alimentado por todas as Secretarias do Estado,
constituindo um poderoso instrumento de planejamento.
Espera-se que esta semente encontre um terreno fértil para sua germinação, pro-
duzindo bons frutos: a melhoria do nível de excelência dos serviços públicos.
Armando Avena
SECRETARIA DO PLANEJAMENTO
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS
APR
ESEN
TAÇÃ
O
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 7
SUM
ÁRIO
09 O processo de criação da sistemática
11 A linguagem do monitoramento e avaliação
15 Aspectos conceituais
17 O processo em 12 passos
19 PASSO 1: Definição do programa ou projeto a ser avaliado
20 PASSO 2: Formação de equipe mista de avaliação eelaboração do plano de trabalho
22 PASSO 3: Identificação e entrevista com os potenciais clientesda avaliação
26 PASSO 4: Elaboração do Modelo Lógico de Gestão e Análisede Avaliabilidade do Programa
28 PASSO 5: Análise de Avaliabilidade
29 PASSO 6: Definição do escopo da avaliação
32 PASSO 7: Análise dos instrumentos e registros já disponíveisdo Programa
33 PASSO 8: Definição dos indicadores de monitoramento eavaliação a serem utilizados
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
SUMÁRIO
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS8
37 PASSO 9: Definição e criação dos instrumentos para coleta de dados
40 PASSO 10: Coleta dos dados
42 PASSO 11: Tabulação e análise dos dados coletados
46 PASSO 12: Elaboração e disseminação do Relatório de Avaliação
47 Estrutura modelo do relatório de avaliação
48 Conclusão
49 Glossário
53 Referências Bibliográficas
Anexos
54 ANEXO I – Modelo Lógico de Gestão do Programa Cabra Forte
59 ANEXO II – Questionário para levantamento de informações
62 ANEXO III – Instrumento usado para análise dos dados coletados sobre oPrograma Cabra Forte
SUM
ÁRIO
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 9
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
O PROCESSO DE CRIAÇÃO DA SISTEMÁTICA
A construção da Sistemática de Monitoramento e Avaliação em Programas e Projetos Go-
vernamentais teve como principio básico a premissa de que o processo avaliativo de políticas
públicas permite aperfeiçoar a gestão das ações desenvolvidas por um governo para atender de
modo eficiente e eficaz as demandas da sociedade e constitui uma ferramenta estratégica que
permite conhecer, entender, decidir e planejar de modo aprimorado com o aprendizado do pas-
sado e do presente.
O Programa de Monitoramento e Avaliação que vem sendo conduzido pela Secretaria do
Planejamento, através da Superintendência de Gestão e Avaliação, busca assegurar a eficácia das
políticas públicas, seus planos, programas, projetos e atividades e o bom uso dos recursos sob
responsabilidade das organizações. O Programa está estruturado em quatro estratégias que se
complementam e vêm gerando um conjunto diversificado de processos e produtos.
A estratégia de formação visa sensibilizar e capacitar servidores estaduais para atuarem em
monitoramento e avaliação de programas e projetos governamentais e a divulgação de experiên-
cias exitosas. A estratégia de informação tem por objetivo produzir, analisar e veicular informa-
ções confiáveis e tempestivas para subsidiar a tomada de decisão, a correção de procedimentos
e a retroalimentação do processo de planejamento. Na estratégia de articulação/comunicação
está sendo implementado um trabalho em parceria com as Secretarias e órgãos estaduais, visando
aperfeiçoar o formato e o fluxo das informações das ações de Governo. Por fim, a estratégia de
Planejamento, visa estimular boas práticas de planejamento focadas em resultado e resulta na
construção das matrizes lógicas, onde estão explicitados os objetivos, atividades, produtos, re-
sultados e impactos, com a definição dos respectivos indicadores para cada secretaria. A imple-
mentação destas estratégias já apresenta melhorias na qualidade da programação, execução, mo-
nitoramento e avaliação das ações governamentais, contribuindo para uma maior racionalização
no ciclo de gestão do Estado.O P
RO
CE
SS
O D
E C
RIA
ÇÃ
O
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS10
A construção e implementação de uma sistemática de monitoramento e avaliação em
programas e projetos governamentais é um dos componentes do Programa de M&A e apre-
senta-se como um pré-requisito básico para o aperfeiçoamento do processo de gestão e
para a criação das condições da retroalimentação da programação de Governo.
Um outro determinante para a elaboração deste documento foi o compromisso em
preencher uma lacuna na gestão pública estadual, face à inexistência de uma cultura avaliativa
e de uma sistemática que oriente metodologicamente o processo de monitoramento e ava-
liação para a otimização na utilização dos recursos públicos e na maximização dos resultados.
O documento foi construído por uma equipe composta por representantes de diversas
Secretarias, envolvidas na implementação do Programa selecionado, denominada Matricial, lide-
rada pela Seplan/SGA, contando ainda com o apoio da Fundação Luis Eduardo Magalhães (FLEM).
A adoção desta Sistemática possibilitou, de um lado, produzir e testar metodologias e
instrumentos de M&A capazes de medir o grau de eficiência, eficácia e efetividade das inter-
venções governamentais e, de outro lado, capacitar técnicos da SGA e demais Secretarias e
entidades responsáveis pela concepção e implementação do Programa Cabra Forte, progra-
ma escolhido para testar a ferramenta da Sistemática.
Resultado de um trabalho prático e participativo, a partir de discussões e contribuições
de diversos profissionais do setor público estadual, em oficinas e reuniões, foi possibilitado
um aprendizado consistente sobre o assunto e a construção dos passos da metodologia. A
elaboração do Modelo Lógico de Gestão de Programas e Projetos Governamentais (MLGP),
é um dos passos mais importantes para a utilização desta Sistemática, na medida que possi-
bilita o compartilhamento de informações sobre o real funcionamento de uma intervenção
governamental, através da explicitação das atividades planejadas e dos resultados esperados,
demonstrando as premissas e os objetivos do programa a ser monitorado e avaliado.
É importante registrar que este documento constitui-se em um primeiro esforço de constru-
ção metodológica para nortear as práticas de M&A no Estado, contribuindo para a disseminação dos
aspectos teóricos e processuais na gestão dos programas e projetos governamentais.
O P
RO
CE
SS
O D
E C
RIA
ÇÃ
O
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 11
A L
ING
UA
GE
M D
OM
ON
ITO
RA
ME
NT
O E
AVA
LIA
ÇÃ
O A LINGUAGEM DO
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
MONITORAMENTO E AVALIAÇÃO
Apesar da crescente disseminação de trabalhos de monitoramento e avaliação
em instituições públicas e privadas do Brasil e do mundo, ainda encontramos muito
dissenso sobre alguns dos seus principais conceitos. Assim, torna-se imprescindível na
elaboração de qualquer sistemática de monitoramento e avaliação, uma definição pré-
via dos conceitos a serem adotados ao longo do trabalho.
No início deste projeto foi realizada uma oficina de Alinhamento Conceitual onde
foram apresentadas definições dos termos “monitoramento” e “avaliação” adotados
por organizações nacionais e internacionais. A partir de uma síntese dessas definições,
foi elaborado o quadro abaixo que ressalta as diferenças entre os dois instrumentos:
Foram também analisados diferentes tipos de avaliação e seus objetivos, ficando
então definido que a Sistemática aqui apresentada será instrumento para a realização
de avaliações com as seguintes características:
Interna (Internal Evaluation) – conduzida por membros das organizações as-
sociadas ao programa, projeto ou objeto que está sendo avaliado.
Monitoramento Avaliação
Atividade de gestão interna e contínua. Atividade interna ou externa.
Acontece durante a implementação Pode acontecer antes, durante ou depois dado programa ou projeto. implementação de um programa ou projeto.
Compara o que está sendo realizado Com base em dados levantados pelocom o que foi planejado. monitoramento e outras fontes, julga o
desempenho de um projeto de acordo comcritérios pré-estabelecidos, tais como: eficácia, efi-ciência, efetividade, sustentabilidade, dentre outros.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS12
Formativa (Formative Evaluation) – utilizada durante a implementação de um
programa ou projeto, para fornecer informações que permitam o seu aprimo-
ramento. Avaliações Formativas são usadas para dar um retorno às equipes
técnicas sobre os componentes do programa/projeto que estão funcionando
e aqueles que precisam ser modificados.
De Programas ou Projetos (Program Evaluation) – utilizada para determinar se
os objetivos, formato e resultados do programa ou projeto estão adequados, as-
sim como seu grau de eficiência, eficácia e efetividade na aplicação dos recursos.
Dentro do ciclo governamental de criação e execução de políticas e programas,
esta Sistemática visa à realização de avaliações de processo e resultados de programas
em fase de implementação, conforme demonstrado na figura a seguir:
Formato Estratégicoda Política
Formulação do Programa
Início daoperacionalização Implementação
Reformulação,expansão,redução,
encerramento
Avaliação dasnecessidades/
questõesprioritárias
Avaliaçãoprévia
Avaliação deprocesso
Avaliação deresultados
Avaliaçãofinal
A Avaliação no Ciclo das Políticas Públicas A L
ING
UA
GE
M D
OM
ON
ITO
RA
ME
NT
O E
AVA
LIA
ÇÃ
O
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 13
Avaliações de processo e resultados podem acontecer simultaneamente,
complementando-se na função de orientar as equipes gestoras para maior compre-
ensão do programa, seu funcionamento e seus resultados junto ao público-alvo.
A avaliação de processo visa determinar o grau em que o programa está ope-
rando conforme planejado. Este tipo de avaliação tem como objetivo entender o
funcionamento do programa – a partir da análise do que ele faz e de quem são seus
beneficiários – para, assim, aprimorar suas ações. A avaliação de processo também
ajuda na identificação dos elementos essenciais para o melhor desempenho do pro-
grama em termos de produtos, resultados e impactos. Em geral, responde a pergun-
tas em duas categorias – cobertura e processo.
Cobertura: analisa o alcance do programa e as características dos
beneficiários.
Processo: analisa a consistência do programa e a qualidade de sua im-
plementação.
Exemplos de Perguntas Avaliativas de Processo
Quanto à cobertura:
Quais são as principais características dos participantes?
Estamos atendendo quem deveríamos atender?
Em qual proporção estamos conseguindo atender aqueles que nos procuram?
Quanto ao processo de implementação do programa:
As atividades estão acontecendo conforme planejado?
Quais são os pontos fortes e fracos das estratégias e atividades do programa?
Como os diferentes atores percebem o programa?A L
ING
UA
GE
M D
OM
ON
ITO
RA
ME
NT
O E
AVA
LIA
ÇÃ
O
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS14
A avaliação de resultados analisa em que grau o programa vem produzindo os
benefícios e transformações a que se propõe. As atividades de um programa produzem
três tipos de resultado: produtos (outputs), resultados (outcomes) e impactos (impact).
Atividades: procedimentos do programa que são mobilizados visando à ob-
tenção dos efeitos desejados (como o treinamento de produtores, perfuração
de poços, etc.).
Produtos: efeitos imediatos de cada atividade do programa (como o número
de pessoas capacitadas, aulas dadas, materiais produzidos, etc.).
Resultados: impactos de curto prazo, resultado direto do programa nos seus
beneficiários (normalmente referem-se a mudanças de conhecimento, habili-
dades, comportamento e valores).
Impactos: benefícios e transformações de médio e longo prazo para os parti-
cipantes e beneficiários indiretos do programa (suas famílias e comunidades).
Exemplos de Perguntas Avaliativas de Resultado
Quanto aos produtos:
Estamos fazendo o que dissemos que íamos fazer?
As metas estão sendo cumpridas? Se não, por que não?
Quanto aos resultados:
Estamos fazendo a diferença que planejamos fazer?
Que efeitos o programa tem sobre os beneficiários diretos e indiretos?
Quanto aos impactos:
O programa causou os impactos esperados?
Que grandes transformações o programa provocou na vida de seus beneficiários?
A L
ING
UA
GE
M D
OM
ON
ITO
RA
ME
NT
O E
AVA
LIA
ÇÃ
O
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 15
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
ASPECTOS CONCEITUAIS
A metodologia utilizada nesta Sistemática de Monitoramento e Avaliação baseia-
se em alguns conceitos, princípios e práticas mundialmente adotados por instituições e
profissionais da área.
Três foram os principais princípios norteadores deste trabalho:
1. A avaliação deve ser um instru-
mento de gestão, desde a sua
elaboração até o futuro uso de
seus resultados.
2. O valor da avaliação está na sua
utilidade, na sua capacidade de
atender às necessidades de infor-
mação de seus usuários.
3. O processo de avaliação deve ser
construído e implementado de
maneira compartilhada pelos
avaliadores com a equipe técni-
ca executora do programa.
Estes princípios baseiam-se
em conceitos de Michael Quinn
Patton, ex-presidente da Associação
Americana de Avaliação (American
Evaluation Association). Em sua obra
“Avaliação com Foco na Utilização”
(Utilization-focused Evaluation), Patton
reforça a idéia de que “avaliações
deveriam ser julgadas pela sua
utilidade e real uso”. Visando garantir
esta utilidade, Patton defende a prévia
identificação e engajamento dos
usuários da avaliação, pois, segundo
ele, “é mais provável que os
potenciais clientes da avaliação a
utilizem se eles compreenderem e se
apropriarem do processo de avaliação
e seus resultados”2.2 Patton, Michael Quinn. (1997). Utilization-focused evaluation: thenew century text. Londres: Sage Publications.A
SP
ECT
OS
CO
NCE
ITU
AIS
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS16
OBJETIVOS
A Sistemática de Monitoramento e
Avaliação tem como objetivos:
1. Proporcionar avaliações periódi-
cas do desempenho dos progra-
mas, instrumentalizando as equi-
pes do Governo na gestão de
recursos e obtenção de resulta-
dos mais efetivos.
2. Incorporar a atividade de moni-
toramento e avaliação como um
instrumento de rotina em pro-
gramas governamentais.
Para estar apta a coordenar
as atividades, a equipe Matricial deve
ser capacitada em temas como:
Os mitos sobre avaliação;
Os principais conceitos e tipos de
avaliação;
A lógica e os valores da avaliação;
A avaliação com foco na utilização
– seus passos e desafios;
Os princípios da avaliação
participativa;
A relação entre políticas,
programas e projetos;
A análise de avaliabilidade;
O modelo lógico de gestão do
programa – sua função e seus
componentes.
AS
PE
CTO
CO
NCE
ITU
AIS
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 17
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS18
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
O PROCESSO EM 12 PASSOSO PROCESSO EM 12 PASSOSO PROCESSO EM 12 PASSOSO PROCESSO EM 12 PASSOSO PROCESSO EM 12 PASSOS
A Sistemática de Monitoramento e Avaliação é uma metodologia
para ser aplicada em programas e projetos estratégicos do Governo3. Ela permite
a obtenção periódica de informações sobre o desempenho das ações governa-
mentais, propiciando o aprimoramento da sua execução, subsidiando a tomada de
decisão quanto a novos projetos e parcerias e, assim, resultando na melhoria da
gestão nos níveis estratégico, tático e operacional.
Para facilitar a aplicação desta Sistemática, foram definidos 12 passos a partir da
experiência-piloto vivida com o Programa Cabra Forte.
3 A Sistemática aqui apresentada pode ser aplicada tanto a programas quanto aprojetos governamentais. Neste roteiro, o termo “programa” é usado de maneirageneralizada, representando programas e projetos. O
PR
OC
ES
SO
EM
12
PA
SS
OS
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 19
PASSO 1: Definição do programa ou
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
projeto a ser avaliado
O processo de avaliação de um programa é complexo e exige bastan-
te dedicação não só dos avaliadores, mas também da equipe gestora. Por isso, a deci-
são de avaliar determinado programa deve ser tomada a partir do comprometimento
de todos os envolvidos na sua execução.
A definição de critérios técnicos para auxiliar na decisão de qual programa
deverá ser avaliado, ajuda no estabelecimento das diretrizes do trabalho e alinha o
entendimento de todos os participantes sobre a importância do estudo avaliativo a
ser desenvolvido.
Entre os critérios que podem ser adotados na seleção de programas a serem
avaliados estão:
Prioridade do tema: grau de importância do tema foco do programa.
Clareza de foco: grau de clareza dos objetivos do programa.
Visibilidade: grau de visibilidade do programa para a população da Bahia.
Interesse dos gestores e responsáveis institucionais em avaliar: grau de inte-
resse em avaliar o programa.
Concordância: grau de entendimento entre os gestores envolvidos quanto aos
objetivos, metas e resultados.
Conhecimento: existência de informações que permitam o acompanhamento
da execução física e financeira.
Volume de recursos orçamentários: recursos orçamentários disponíveis para
o programa.PA
SS
O
1
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS20
PASSO 2: Formação de equipe mista de avaliação
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
e elaboração do plano de trabalho
A metodologia adotada nesta Sistemática prevê a formação de uma equipe
mista de avaliação, formada por avaliadores da própria unidade gestora do programa a
ser avaliado, equipe técnica do programa e, se necessário, consultores externos contra-
tados. A Seplan dará o apoio em todo o processo de avaliação quanto aos procedimen-
tos, normas e nas atividades relativas ao planejamento, articulação e gestão da informa-
ção. No caso de avaliação de programas multisetoriais, todas as Secretarias e Órgãos
envolvidos na execução do programa
deverão estar representados na equi-
pe mista de avaliação. Desta forma,
garante-se que todas as perspectivas
setoriais serão consideradas no estudo.
A primeira tarefa a ser execu-
tada pela equipe mista de avaliação
é a elaboração do plano de trabalho
para a aplicação da Sistemática de
Monitoramento e Avaliação no pro-
grama escolhido. A partir de infor-
mações do programa a ser avaliado
e da disponibilidade de recursos (hu-
manos, financeiros e de tempo) a
equipe deverá detalhar as etapas
apresentadas neste roteiro, definin-
do prazos e responsáveis.
Principais Funções da Equipe
Mista de Avaliação:
Articular o processo avaliativo com os
interesses e necessidades dos potenci-
ais clientes da avaliação;
Participar da elaboração do Modelo
Lógico de Gestão do Programa e da
definição do escopo da avaliação;
Coletar, analisar e sistematizar as
informações sobre o desempenho do
programa para garantir seu contínuo
monitoramento;
Elaborar relatórios de avaliação do
programa com recomendações para
seu aprimoramento. PA
SS
O 2
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 21
PL
AN
O D
E T
RA
BA
LH
O
PLANO DE TRABALHO
12. Elaboração e disseminação do Relatório de Avaliação
11. Tabulação e análise dos dados coletados
10. Coleta de dados
9. Criação dos instrumentos para coleta de dados
8. Definição dos indicadores de M&A
7. Análise de instrumentos de M&A e registros existentes
6. Definição do escopo de avaliação
5. Análise das expectativas dos clientes de avaliação
4. Elaboração do Modelo Lógico de Gestão
3. Entrevista com potenciais clientes de avaliação
2. Formação da equipe mista de avaliação
1. Definição do programa a ser avaliado
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS22
PA
SS
O
3PASSO 3: Identificação e entrevista com os
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
potenciais clientes da avaliação
Os potenciais clientes de uma avaliação são as pessoas e grupos
que são afetados pelos seus resultados, estão em posição de tomar decisões
sobre a avaliação, e pretendem usar as informações sobre o processo e os resul-
tados da avaliação para definir futuras ações.
A equipe de avaliação deverá definir no início dos trabalhos quem são os potenci-
ais clientes da avaliação e entrevistá-los para conhecer suas expectativas e necessida-
des de informação que o estudo avaliativo deverá atender.
PROGRAMA CABRA FORTE
Potencias clientes da avaliação entrevistados: Secretários da Agricultu-
ra, de Combate à Pobreza e do Planejamento; Representantes das Superinten-
dências da Seplan; Gestor do Programa Cabra Forte; Representantes das unida-
des envolvidas: Empresa Baiana de Desenvolvimento Agrícola S.A. (EBDA), Com-
panhia de Engenharia Rural da Bahia (CERB), Companhia de Desenvolvimento e
Ação Regional (CAR) e Superintendência de Articulação e Programas Especiais da
Secretaria de Combate à Pobreza e às Desigualdades Sociais (SPE/Secomp).
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 23
MODELO DE QUESTIONÁRIO A SER APLICADO COMOS CLIENTES DA AVALIAÇÃO.
Com relação à avaliação do programa:
1. Quais são as suas expectativas sobre o processo e os resultados desta
avaliação?
2. Como esta avaliação poderia contribuir para o aperfeiçoamento deste projeto?
3. Quais perguntas você gostaria que fossem respondidas por esta avaliação?
4. De que maneira as respostas a essas perguntas ajudariam no seu trabalho?
5. Quais decisões os resultados da avaliação poderiam influenciar?
6. Que dados e informações são necessários para esta tomada de decisão?
7. Quem deveria estar envolvido no processo de avaliação para orientá-lo
quanto às suas expectativas?
8. Como nós poderemos saber no futuro se esta avaliação foi útil?
9. Outras informações e comentários?
Dados do Responsável
Nome:
Cargo:
Telefone:
PA
SS
O
3
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS24
As informações coletadas junto aos potenciais clientes da avaliação deverão ser
tabuladas e analisadas de maneira a orientar a definição do escopo da avaliação a ser
realizada. Este processo de tabulação e análise deverá ser feito em três etapas:
1. Despersonalização das informações.
2. Tabulação por categoria de análise.
3. Priorização das expectativas e perguntas de avaliação.
PROGRAMA CABRA FORTEExpectativas dos Clientes sobre a Avaliação
Quanto ao processo:
Que utilize procedimentos de avaliação adequados às características do
Programa;
Que apure os resultados com qualidade e eficiência;
Que identifique a necessidade de um eficiente banco de dados para controle
e monitoramento do Programa;
Que torne possível o monitoramento das ações do Programa de uma forma
que seja facilmente exeqüível;
Que crie um instrumento de fácil execução.
Quanto aos produtos:
Que possibilite a criação de banco de dados;
Que gere informações sobre a eficiência, eficácia e efetividade do Programa;
Que possibilite análise das transformações provocadas pelo Programa no
seu público-alvo (resultados);
PA
SS
O
3
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 25
Que evidencie os resultados (positivos ou não) das intervenções, e se os
investimentos realizados atendem às necessidades e expectativas dos pe-
quenos criadores de caprinos e ovinos;
Que demonstre se o Programa está alcançando os objetivos preconizados,
ou seja, a melhoria da qualidade de vida da população e da região;
Que analise até que ponto o Programa atende às necessidades dos beneficiários;
Que analise o desempenho do Programa.
Quanto aos resultados:
Que possibilite maior registro e disseminação para conscientização das equi-
pes sobre os trabalhos que estão sendo realizados;
Que possibilite a transparência, eficiência e eficácia dos recursos aplicados
nos projetos do Governo;
Que as equipes internalizem os conceitos de avaliação e passem a vê-los
como instrumentos de gestão, para o aprimoramento e reconhecimento
de seus esforços;
Que possibilite a melhoria do fluxo de informações entre as equipes de trabalho;
Que tenha continuidade no processo de avaliação da ação governamental;
Que tenha continuidade para que a metodologia seja preservada e se tenha
registro de séries históricas.
Quanto ao futuro uso:
Que sirva de subsídio para o planejamento estadual e para a tomada de
decisões quanto a novos financiamentos e parcerias;
Que leve à correção dos desvios identificados e subsidie outros programas.PA
SS
O
3
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS26
PA
SS
O
4○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
PASSO 4: Elaboração do Modelo Lógico de Gestão
O Modelo Lógico de Gestão do Programa (MGLP) é um instru-
mento visual e sistêmico de apresentação e compartilhamento de informações so-
bre os recursos alocados em um programa, as atividades previstas, os produtos e as
mudanças que se esperam alcançar no curto, médio e longo prazo. De forma sim-
ples, o MLGP retrata um programa conforme ele vem sendo executado, facilitando
a comunicação sobre o seu propósito fundamental e tornando-se um ponto de refe-
rência para todos os envolvidos na sua implementação. É importante sinalizar que
apenas as atividades prioritárias para o desenvolvimento do programa deverão ser
incluídas no Modelo Lógico de Gestão.
Oficinas deverão ser realizadas com os principais responsáveis pela execução do
programa a ser avaliado, para construção conjunta do MLGP.
Apresenta-se a seguir a sugestão da estrutura do Modelo Lógico de Gestão a ser
adotado nesta Sistemática, e sua lógica de leitura.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 27
PA
SS
O
4
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS28
PA
SS
O
5○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
PASSO 5: Análise de avaliabilidade
A análise de avaliabilidade tem por objetivos buscar informações sobre o
formato do programa, explorar sua realidade e ajudar a conhecer sua estrutura, antes
que seja feita a avaliação de seus resultados. Ela ajuda a definir se o programa pode ser
efetivamente avaliado e se sua avaliação contribuiria para melhorar seu desempenho.
Sendo uma espécie de “pré-avaliação”, esta análise traz benefícios como:
prevenir o desperdício de recursos com avaliação;
ajudar os potenciais clientes da avaliação a formularem perguntas avaliativas
importantes e significativas;
facilitar o consenso entre avaliadores e equipe técnica do programa sobre o
objeto e escopo da avaliação a ser realizada, e a metodologia que será adotada.
Realizada com base no Modelo Lógico de Gestão, a análise de avaliabilidade deve
buscar responder a cinco questões básicas:
1. Quais são os principais componentes do programa?
2. Quais são os principais objetivos e metas do programa?
3. As pessoas envolvidas na gestão no programa concordam com seus objetivos?
4. Existe uma conexão lógica entre os objetivos, atividades e resultados
esperados?
5. Quais seriam os melhores indicadores e/ou critérios para avaliar o alcance dos
objetivos?Se não houver consenso sobre o que é oprograma e seus principais componentes, ele
ainda não pode ser avaliado.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 29
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
PASSO 6: Definição do escopo da avaliação
O escopo da avaliação é uma combinação de sua(s) principal(is) finalidade(s)
e do foco que o estudo deverá ter, ou seja, as perguntas avaliativas que deverá respon-
der para cumprir esta finalidade.
Vale destacar que o foco de todo processo avaliativo deve estar na sua utilidade
para os tomadores de decisão e gestores do programa. Para garantir que a avaliação
possa ser um efetivo instrumento gerencial, é fundamental que se tenha clareza sobre
o objeto a ser avaliado e sobre as expectativas dos seus principais usuários, os potenci-
ais clientes da avaliação.
A partir destas expectativas com relação aos produtos, resultados e futuro uso da
avaliação, pode-se definir a(s) sua(s) principal(is) finalidade(s). E então, todo o processo
de definição de indicadores e criação de instrumentos deverá ser realizado de maneira
a garantir o alcance desta(s) finalidade(s).
A definição das perguntas avaliativas deverá ser feita a partir da análise das
perguntas trazidas pelos potenciais clientes sob a ótica dos critérios de avaliação a
serem adotados no estudo.
PA
SS
O
6
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS30
PROGRAMA CABRA FORTEPerguntas Avaliativas sugeridas pelos Clientes de Avaliação
Estamos fazendo o que nos propusemos a fazer (melhoria genética, poços, etc.)?
As metas estão sendo cumpridas quanto a: quantidade de produtores benefici-
ados, sistemas construídos, cisternas, pulmão verde implantados, assistência
técnica disponível e crias distribuídas para melhoria genética do rebanho?
Que resultados estão sendo alcançados em comparação com os previstos?
Os sistemas de abastecimento de água (a partir de poços e barragens) e de
cisternas construídos atendem às necessidades dos grupos de produtores e co-
munidades eleitos como público do Projeto?
Quais os principais componentes do Projeto que contribuem positiva e negati-
vamente para o alcance de seus resultados?
Qual é a diferença que o Projeto está fazendo junto ao seu público-alvo?
(Efetividade)
Os resultados estão sendo positivos para a população beneficiada?
O objetivo do Programa está sendo atingido?
Que ações estamos fazendo para que os produtores efetivamente assumam a
propriedade do processo? (Sustentabilidade)
Qual o custo x benefício do Programa?
Qual o grau de eficiência na alocação de recursos neste Programa?
PA
SS
O
6
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 31
As perguntas avaliativas deverão ser sintetizadas segundo os seguintes crité-
rios de avaliação:
Eficácia – expressa o grau em que o programa realiza o que havia sido pro-
posto, alcançando suas metas e objetivos;
Eficiência – estabelecida pela menor relação custo x beneficio possível para
a realização das atividades e alcance dos objetivos do programa;
Efetividade – o grau em que o programa alcança os resultados e impactos
pretendidos junto ao seu público-alvo.
PROGRAMA CABRA FORTEPerguntas Avaliativas Sintetizadas
1. Qual o grau de alcance das metas e objetivos do Programa?
Análise do grau de eficácia da implantação do Programa até o momento.
2. Qual o custo x benefício das principais estratégias do Programa?
Análise do grau de eficiência a partir do levantamento do total de recursos
aplicados em cada estratégia do Programa e os produtos por ela gerados.
3. Qual é a diferença que o Programa está fazendo junto ao seu público-alvo?
Análise do grau de efetividade do Programa na obtenção de resultados sele-
cionados a partir do Modelo Lógico de Gestão.
PA
SS
O
6
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS32
PA
SS
O 7PASSO 7: Análise dos instrumentos e registros
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
já disponíveis do programa
Parte importante das informações que subsidiam a avaliação de eficácia
e eficiência de um programa vem dos registros administrativos gerados ao longo de sua
execução. A partir do registro sistematizado das atividades, seus principais produtos e
custos, a equipe gestora do programa dispõe de dados para comparar o realizado com o
previsto em determinado período, monitorando, assim, o desempenho do programa.
O levantamento e análise dos registros administrativos antecede e subsidia a mon-
tagem dos instrumentos de monitoramento. Daí a necessidade de registros confiáveis,
tempestivos, úteis e bem estruturados.
Nesta etapa do trabalho deverão ser analisados os modelos de registro das reali-
zações já em uso pela equipe gestora e pelos técnicos, nos vários níveis de execução
do programa. Essa pesquisa fornecerá aos avaliadores importantes informações sobre
falhas ou inadequação dos instrumentos de registro e dos processos de sistematização
dessas informações. A partir do que já existe, de seu funcionamento e uso, os avaliado-
res poderão propor formas de aprimorar o fluxo de informações, de maneira que
permita realizações periódicas de avaliações sobre o desempenho do programa.
Para checagem e complementação das informações é necessário, no entanto,
que se apliquem também outros instrumentos quantitativos e qualitativos junto aos
beneficiários do programa e aos atores intermediários no seu processo de execução.
O diagrama a seguir retra-
ta o fluxo de informações pro-
posto por esta Sistemática de
Monitoramento e Avaliação:
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 33
PASSO 8: Definição dos indicadores de monito-
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
ramento e avaliação a serem utilizados
Indicadores são medidas quan-
titativas e/ou qualitativas que funcio-
nam como um termômetro do pro-
gresso de um programa, indicando os
avanços obtidos em relação aos obje-
tivos e metas traçados. Como o pró-
prio nome sugere, são sinalizadores
que buscam expressar algum aspecto
da realidade, de forma que possamos
observá-lo ou mensurá-lo.
Indicadores de desempenho
são usados para verificar e mensurar os
possíveis impactos, resultados, produtos,
processos e recursos alocados em um
programa, permitindo, assim, seu moni-
toramento e avaliação. A partir do que se
quer avaliar, ou seja, das perguntas
avaliativas e da análise dos principais com-
ponentes do programa apresentados no
seu Modelo Lógico de Gestão, devem ser
definidos os indicadores de desempenho
a serem utilizados para o monitoramen-
to e avaliação do programa.
Características de umbom indicador
Ser válido – que meça o que se
supõe dever ser medido;
Ser confiável – que seja verificável;
Ser relevante – que tenha relevância
em relação aos objetivos do programa;
Ser sensitivo – que seja sensível às
mudanças da situação que é observada;
Ser aceitável – que seja aceito pela
população em estudo e pelos
principais clientes da avaliação;
Ser específico – que seja
especificamente adaptado aos
objetivos do programa;
Ser oportuno – que possa ser consti-
tuído e reportado em tempo hábil;
Ser tecnicamente viável – que os
dados requeridos possam ser
coletados e mensuráveis;
Ser custo-efetivo – que os dados
requeridos possam ser coletados a
um custo razoável.PA
SS
O 8
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS34
Nesta etapa, é fundamental que se realize um exercício para a seleção dos indica-
dores a serem utilizados e a definição de seus respectivos descritores. Os descritores
são fundamentais para garantir a uniformidade de conceitos e um entendimento com-
partilhado sobre o que será medido.
O Descritor do Indicador traduz em linguagem simples e objetiva o que está
sendo medido. Seu uso garante o alinhamento de conceitos entre os responsáveis pela
coleta dos dados, dando maior consistência às informações produzidas pela avaliação.
Além disso, deve-se também, definir as principais fontes de informação para a
obtenção dos dados necessários à composição de cada indicador e a periodicidade
com que esta informação pode ser obtida. O quadro a seguir exemplifica como este
exercício pode ser realizado:
PROGRAMA CABRA FORTESíntese do processo de construção dos indicadores
Após a validação do escopo da avaliação com a equipe Matricial, deu-se início o traba-lho de construção conjunta dos indicadores de M&A do Programa. O primeiro passo foidefinir para cada atividade a ser avaliada:
indicadores de produto;
seus descritores (para garantir uniformidade de conceitos com os responsáveispelo fornecimento dos dados);
a periodicidade ideal da coleta dos dados;
as melhores fontes de informação.
PA
SS
O 8
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 35
PROGRAMA CABRA FORTEEste trabalho foi desenvolvido em uma oficina de quatro horas, onde
a equipe Matricial, dividida em grupos por estratégia do Programa e orientada pelos
avaliadores, detalhou o foco da avaliação.
Nessa oficina, foi também realizada uma consulta com a equipe Matricial sobre
o grau de execução das estratégias do Programa, para verificar se o tempo de
implantação de cada atividade, descrita no Modelo Lógico de Gestão, tornava viável
a sua avaliação nas três categorias: eficácia, eficiência e efetividade. A conclusão a
que se chegou, foi que este estudo avaliativo deveria priorizar o levantamento de
dados referentes à eficácia (o que o Programa realizou desde seu início até o mo-
mento atual) e à eficiência do Programa (a relação custo x benefício das atividades).
O planejamento da avaliação de efetividade das ações de um programa depen-
de da análise dos dados relativos ao grau de realização das atividades, sua
espacialização geográfica e o momento de sua execução. Estas informações são
fundamentais para que se estabeleçam os procedimentos metodológicos adequa-
dos para verificar os resultados, ou impactos de curto prazo, no público-alvo.
Apenas como exercício de capacitação da equipe de avaliadores, foram selecio-
nados alguns resultados do Programa – considerados os mais estratégicos – para
comprovar as transformações já realizadas pelo Cabra Forte na vida dos seus bene-
ficiários, para os quais foram definidos indicadores de efetividade.
PA
SS
O 8
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS36
PROGRAMA CABRA FORTE
1.1.1 Perfuração e recuperação depoços tubulares
• Poços instalados• Produtores beneficiados/
Comunidades de abrangência• Produção de água
1. Nº de poços instalados no período
2. Nº de produtores beneficiados/comunidade (grupo de produtores) /município/ pólo
3. Produção potencial de geração deágua disponível por poço instalado /comunidade / município / pólo
4. Produção efetiva de geração deágua disponibilizada por poçoinstalado/ comunidade / município /pólo
1. Nº de Sistemas Simplificados deAbastecimento de Água (SSAA)entregues à comunidade a partir depoços, em condições de oferecerágua em quantidade e qualidadeadequadas para consumo animal.
2. Produtores pertencentes àscomunidades do Programabeneficiados com os novos poçosinstalados.
3. Capacidade potencial de produçãode água dos poços instalados,medida em m³/hora.
4. Capacidade real de produção deágua dos poços instalados, medidapor m³/hora.
1. Mensal
2. Mensal
3. Mensal (dosnovos poçosinstalados)
4. Mensal (dosnovos poçosinstalados).
Técnicos da Cerb
Componentes a Serem Avaliados Indicadores de Desempenho Descritor dos IndicadoresPeriodicidade da
InformaçãoFonte de
Informação
Objetivo Específico: Ampliar e melhorar a oferta de água para os produtores.
Estratégia: 1.1. Disponibilizar ponto de água confiável para grupos de 15 a 20 produtores.
PERGUNTA AVALIATIVA Eficácia: Qual o grau de alcance das metas e objetivos do Programa?
PA
SS
O 8
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 37
PASSO 9: Definição e criação dos instrumentos
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
para coleta de dados
A definição dos instrumentos para a coleta de dados a serem utilizados
no estudo avaliativo depende da escolha do tipo de abordagem que se quer adotar.
Abordagens quantitativas têm a vantagem de permitir mensuração, comparação e
generalização das informações obtidas, no entanto as abordagens qualitativas per-
mitem uma análise mais aprofundada das experiências estudadas.
Os métodos de coleta de dados quantitativos mais comumente utilizados são a
pesquisa de dados disponíveis em sistemas de acompanhamento e monitoramento do
programa, e a aplicação de questionários ou formulários junto aos beneficiários e ato-
res intermediários da sua execução. No caso de abordagens qualitativas, os métodos
de coleta de dados mais usados são entrevistas, grupos focais e observação direta.
Cada instrumento criado deverá ser pré-testado para análise de sua consistência e
clareza, e avaliação da relevância e viabilidade dos dados por ele coletados. Uma simu-
lação da tabulação e análise dos dados coletados no pré-teste também ajuda no apri-
moramento do instrumento antes da sua aplicação generalizada.
O sucesso desta etapa é fundamental para a realização de uma avaliação que per-
mita uma utilização plena de seus resultados. Não basta escolher bons indicadores
teóricos e de aplicações gerais, torna-se imprescindível a relevância, bem como
pertinência ao objeto avaliado e, sobretudo, a operacionalidade, sem implicar em ex-
cessos de utilização de recursos (tempo, recursos financeiros e recursos humanos).
PA
SS
O 9
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS38
PROGRAMA CABRA FORTEO levantamento dos indicadores
Em oficina, produziu-se um levantamento preliminar das informações existen-
tes sobre a eficácia e eficiência do Programa e, a partir destes dados, elaborou-se
uma estratégia para avaliação da efetividade, já que esta última requer a aplicação
de instrumentos qualitativos e uso de técnicas de amostragem, o que só pode ser
definido a partir de informações concretas sobre as realizações do Programa, sua
temporalidade e espacialização.
Foram criados os instrumentos para a coleta dos dados elaborados a partir da
definição das informações necessárias para a alimentação dos Indicadores de Eficá-
cia e Eficiência selecionados para esta avaliação, conforme modelo previamente
estabelecido.
Os instrumentos foram validados pelos membros da equipe Matricial respon-
sáveis por cada estratégia.
Ficou estabelecido que fossem criados formulários para coleta dos dados nos
seguintes períodos:
Consolidado 2003
Consolidado 2004
Mês a mês – de janeiro a abril de 2005P
AS
SO
9
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 39
PROGRAMA CABRA FORTE
Eficácia:
• Nº poços instalados x nº previsto• Nº de produtores beneficiados x nº previsto• Espacialização dos poços instalados• Espacialização dos produtores beneficiados• Produção potencial de geração de água disponível nos
poços instalados• Produção efetiva de geração de água disponibilizada
nos poços instalados
Eficiência:
• Produção potencial de geração de água x produçãoefetiva de geração de água disponibilizada nos poçosinstalados
• Custo de produção da água com poço x Nº deprodutores atendidos
• Nº de poços instalados no período/ comunidade/município/ pólo.
• Meta de instalação de poços no período/ comunidade/município/ pólo.
• Nº de produtores beneficiados/ comunidade (grupode produtores)/ município/ pólo.
• Meta de produtores a serem beneficiados com poçosno período/ comunidade/ município/ pólo.
• Capacidade potencial de produção de água dospoços instalados (em m³/hora)/ poço/ comunidade/município/ pólo.
• Capacidade real de produção de água dospoços instalados (em m³/hora)/ poço/comunidade/ município/ pólo.
• Custo de instalação dos poços no período/comunidade/ município/ pólo.
1.1.1 Perfuração erecuperação de poçostubulares
COMPONENTES DADOS A SEREM COLETADOS INDICADORES
Exemplo de dados a serem coletados e definição de alguns indicadores
Para uma completa visualização das realizações do Programa, foi acordado com a equipe
Matricial que os dados seriam coletados nos seguintes níveis de desagregação:
por pólo do Programa
por município atendido
por comunidade beneficiada
por grupos de produtores beneficiados
Desta maneira, as informações poderiam ser espacializadas e consolidadas nos diferen-
tes níveis de execução do Programa, permitindo comparações sobre as realizações e
alocações de recursos.
PA
SS
O 9
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS40
PA
SS
O 1
0○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
PASSO 10: Coleta dos dados
O processo de coleta dos dados deve ser planejado a partir da definição
dos instrumentos que serão utilizados, das informações que serão pesquisadas e do
prazo de que se dispõe para a obtenção dessas informações. A característica da popu-
lação-alvo, a característica espacial e os indicadores de desempenho físico-financeiro
são dados relevantes para serem coletados.
As primeiras informações a serem levantadas dizem respeito ao processo de exe-
cução do programa e seus produtos. A partir dos dados sobre as realizações do pro-
grama, obtidos no sistema de monitoramento e de outras fontes de informações, os
avaliadores poderão coletar os indicadores de eficácia e eficiência definidos. Os indica-
dores de eficácia e eficiência são obtidos, freqüentemente, a partir dos registros admi-
nistrativos do próprio programa. Já os indicadores de efetividade, exigem seu levanta-
mento direto junto à população beneficiária ou a registros censitários.
Na coleta de dados com beneficiários do programa, pode-se optar pela pesquisa
com toda a população a ser estudada ou por amostragem. Censos demográficos e
econômicos, relatórios de acompanhamento da execução físico-financeira, relatórios
de avaliações anteriores, artigos ou informações de divulgação, são fontes que podem
ser consultadas para o levantamento das informações.
Nesta etapa, é importante dispor de um banco de dados de registros adminis-
trativos consistente com o MLGP. É necessário também, capacitar os executores
do programa, especialmente os técnicos responsáveis pela obtenção das informa-
ções primárias.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 41
PROGRAMA CABRA FORTEProcesso de coleta de dados
A partir das fontes de informação de cada indicador definidas pela equipe
Matricial, o processo de coleta dos dados foi desenhado, respeitando a estrutura
operacional do Programa Cabra Forte. Como o Programa é uma combinação de
estratégias sob a responsabilidade de várias Secretarias e Órgãos Governamen-
tais, foi definido que cada entidade executora ficaria responsável pelo repasse das
informações referentes à sua parte no Programa. A equipe de avaliadores sinteti-
zou e analisou os dados, validando-os com a equipe Matricial antes da elaboração
do relatório de avaliação.
Os instrumentos de coleta de dados foram enviados aos membros da equipe
Matricial, que ficaram responsáveis por criar os canais adequados para a obtenção
dessas informações nos níveis operacionais do Programa. Ao final do trabalho, o
resultado da avaliação deve retornar aos vários níveis garantindo a disseminação
das informações obtidas, conforme ilustração a seguir:
PA
SS
O 1
0
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS42
PA
SS
O 1
1PASSO 11: Tabulação e análise dos
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
dados coletados
Todos os dados devem ser tabulados, ou seja, organizados de maneira
a facilitar a sua interpretação e análise, tendo em vista as perguntas avaliativas a serem
respondidas. A tabulação e análise dos dados serão decorrentes da sua natureza: quan-
titativos ou qualitativos.
Em uma avaliação, os textos e observações coletados vêm de várias fontes como:
respostas a perguntas abertas de questionários, transcrições de grupos focais ou entre-
vistas, roteiros de observação de casos, ou, ainda, resumos de relatórios e documen-
tos pesquisados.
Tanto as fontes de informações, como as técnicas quantitativas e qualitativas utili-
zadas para a coleta de dados, devem ser combinadas para uma compreensão mais
abrangente do programa. As informações sobre o previsto e o realizado, os principais
produtos entregues aos beneficiários, e a espacialização destas realizações, são dados
importantes para subsidiar a avaliação de desempenho do programa.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 43
PROGRAMA CABRA FORTETabulação e análise dos dados coletados (alguns exemplos)
PA
SS
O 1
1
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS44
PA
SS
O 1
1
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 45
INDICADOR DE EFETIVIDADE
(Qual a diferença que o Programa está fazendo no seu público-alvo?)
RESULTADOS ESPERADOSMaior acesso dos produtores a água de qualidade para consumo animal +Dessedentação dos animais.
SITUAÇÃO IDEALProdutores percorrendo no máximo 1.500 metros para obter água para seu rebanho.
INDICADORES DE RESULTADO SELECIONADOSDistância média percorrida pelos produtores para obter água para seu rebanho (emmetros) - antes e depois;Consumo médio de água / cabeça / dia (em litros) x capacidade instalada dos poços;Freqüência com que não obteve a quantidade de água necessária para dessedentar osanimais - antes e depois.
INSTRUMENTO CRIADOQuestionário a ser aplicado por amostragem com produtores beneficiados compoços do Programa.P
AS
SO
11
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS46
PA
SS
O 1
2PASSO 12: Elaboração e disseminação do
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
Relatório de Avaliação
Toda avaliação deve resultar em um
relato claro e objetivo sobre o processo e os re-
sultados obtidos quanto ao desempenho do progra-
ma analisado. Estas informações devem ser disse-
minadas entre os principais clientes da avaliação de
maneira a influenciar futuras decisões quanto ao apri-
moramento do programa ou ao estabelecimento de
novas diretrizes de ação.
A comunicação dos resultados de uma avaliação pode ser feita de forma oral ou
escrita, mas deve sempre ser simples, direta e livre de jargões. A ênfase deve estar nos
importantes resultados obtidos e nas recomendações, sempre com o foco nos princi-
pais clientes da avaliação, suas expectativas e necessidades de informação.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 47
ESTR
UTU
RA
MO
DEL
O
ESTRUTURA MODELO DO
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
RELATÓRIO DE AVALIAÇÃO
1. Capa – título do relatório, autores, instituições patrocinadoras/ participantes,lugar e data.
2. Índice – capítulos e subcapítulos do relatório.3. Créditos – agradecimento a todas as pessoas e instituições que possibilitaram a
realização do estudo.4. Resumo Executivo – apresentação do estudo incluindo objetivos, metodologia
adotada, principais resultados encontrados, conclusões/ recomendações. Deveter no máximo quatro páginas.
5. Introdução – contexto e antecedentes da avaliação: caracterização do proble-ma, justificativa do estudo, finalidade da avaliação, perguntas avaliativas e circuns-tâncias especiais.
6. Metodologia – desenho da avaliação: coleta e análise dos dados e limitações.Texto curto com maior detalhamento nos anexos (cópias dos instrumentos utili-zados, cálculo de tamanho de amostra, etc.).
7. Resultados – principais resultados encontrados e apresentados em gráficos etabelas com breve análise.
8. Conclusões – síntese dos dados encontrados e apresentados de maneira aresponder às perguntas avaliativas.
9. Recomendações – prescrição do que deve ser feito a partir das conclusõesdo estudo. O nível de detalhamento das recomendações depende da finalidade daavaliação e do perfil dos seus clientes.
10. Referências Bibliográficas – identificação de todo o aporte bibliográficoque norteou a avaliação.
11. Anexos – instrumentos para a coleta dos dados utilizados, procedimentosmetodológicos adotados, dados adicionais obtidos ou com maior desagregação,entre outros documentos relevantes.
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS48
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
CONCLUSÃO
Buscando instrumentalizar as equipes gestoras dos programas e pro-
jetos estratégicos do Governo do Estado da Bahia, a Secretaria do Planejamento e
a Fundação Luis Eduardo Magalhães criaram e testaram uma Sistemática de Moni-
toramento e Avaliação.
Testada no Programa Cabra Forte, programa multisetorial que visa melhorar a
qualidade de vida de 26.000 pequenos produtores rurais e suas famílias, através do
aumento da renda proveniente da ovinocaprinocultura, a Sistemática aqui apresentada
tem o objetivo de ser disseminada entre as equipes das Secretarias e Órgãos Governa-
mentais do Estado.
A partir da compreensão das etapas que levaram a construção desta metodologia
de monitoramento e avaliação, as equipes poderão implantá-la em outros programas e
projetos seguindo o roteiro apresentado neste Guia. Capacitações, orientações e acom-
panhamento periódico deverão ser oferecidos por avaliadores da Seplan aos Órgãos
Gestores, no sentido de garantir a implantação desta Sistemática de forma gradual,
consistente e efetiva.
A disseminação dos conceitos, princípios, processos e instrumentos, permitirá que
técnicos dos níveis estratégico, tático e operacional do Governo estejam constantemen-
te informados sobre o desempenho dos programas e projetos sob sua responsabilidade.
Ao fazer do monitoramento e da avaliação efetivos instrumentos de gestão, o
Governo do Estado da Bahia demonstra sua preocupação com o aprimoramento da
habilidade gerencial de suas equipes, visando aumentar a eficácia, eficiência e efetividade
das suas políticas, programas e projetos.
CON
CLU
SÃO
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 49
GL
OS
SÁ
RIO
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
GLOSSÁRIO
Acompanhamento /MonitoramentoExame contínuo ou periódico realizado pela ad-ministração, em todos os níveis hierárquicos, domodo como se está executando um projeto ouatividade. Tem como objetivo prover os gestorese principais stakeholders com regular feedback eindicações do progresso ou possíveis falhas no al-cance dos resultados esperados.
O termo acompanhamento freqüentemente temsido associado a um mero registro contábil. En-tretanto, é preciso considerar que o acompanha-mento tem necessariamente que produzir infor-mações úteis para o gerenciamento do projeto ouatividade.
Análise de AvaliabilidadeTem por objetivos buscar informações sobre oformato do programa, explorar sua realidade eajudar a conhecer sua estrutura, antes que sejafeita a avaliação de seus resultados.
Apreciação Prévia (Appraisal)Apreciação global da pertinência, viabilidade esustentabilidade provável de uma intervenção dedesenvolvimento antes que a decisão deimplementação seja tomada.
AtividadesProcedimentos do programa que visam à obten-ção dos efeitos desejados. Do ponto de vista daprogramação orçamentária é um conjunto de ope-rações que se realizam de modo contínuo e que
concorrem para a manutenção e o funcionamentode órgãos e entidades governamentais e para aprestação de serviços públicos utilizados pelapopulação.
AvaliaçãoApreciação sistemática e objetiva do valor oumérito de um projeto, programa ou política, an-tes, durante ou após a intervenção, quanto à suaconcepção, execução e resultados. Tem como pro-pósito determinar a pertinência, eficiência, eficá-cia, efetividade, impacto e sustentabilidade da in-tervenção.
Avaliação de ProcessoVisa determinar o grau em que o programa estáoperando conforme planejado. Este tipo de avali-ação tem como objetivo entender o funcionamen-to do programa – a partir da análise do que ele faze de quem são seus beneficiários – para, assim,aprimorar suas ações. A avaliação de processotambém ajuda na identificação dos elementos es-senciais para o melhor desempenho do programaem termos de produtos, resultados e impactos.Em geral, responde a perguntas em duas categori-as – cobertura e processo.
Avaliação de ResultadosAnalisa em que grau o programa vem produzindoos benefícios e transformações a que se propõe.As atividades de um programa produzem três ti-pos de resultado: produtos (outputs), resultados(outcomes) e impactos (impact).
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS50
Avaliação de Meio Percurso oude Meio TermoTipo de avaliação realizada durante o processode implementação de um programa ou projeto.Seu principal objetivo é avaliar o progresso reali-zado, permitir conclusões iniciais sobre o seugerenciamento e fazer recomendações para a con-tinuidade dos trabalhos. Esta avaliação analisaquestões operacionais relevantes e a performance,extraindo lições aprendidas até aquele momento.
Avaliação de Programa ou ProjetoAvaliação feita para determinar se os objetivos,formato e resultados do programa ou projeto es-tão adequados, assim como o grau de eficiência,eficácia e efetividade na utilização dos recursos.
Avaliação ExternaAvaliação conduzida por um ou mais avaliadoresque não estão diretamente envolvidos na formula-ção, implementação e/ou gerenciamento do obje-to da avaliação. Normalmente é realizada porpessoas de fora da organização envolvida. É tam-bém chamada de avaliação independente.
Avaliação FormativaRefere-se ao processo de execução do programa,servindo para melhorar seu funcionamento. Sãomodalidades complementares a serem utilizadasde acordo com cada situação concreta.
Avaliação InternaAvaliação conduzida por membros de organiza-ções associadas com o programa, projeto ou ob-jeto que está sendo avaliado.
Avaliação Final (Avaliação ex-post)Avaliação de uma intervenção após a sua conclu-são, podendo ser realizada logo após a conclusãoda intervenção ou algum tempo depois. O objeti-vo é identificar os fatores de sucesso ou de fracas-so, apreciar a sustentabilidade dos resultados e osimpactos, e tirar conclusões que possam ser gene-ralizadas para outras intervenções.
Avaliação ParticipativaAvaliação coletiva de um projeto ou programa,realizada pelos stakeholders ou beneficiários. Sãoavaliações reflexivas, pró-ativas, que visam capa-citar os envolvidos no programa e têm como prin-cipal objetivo atender as necessidades de infor-mação dos stakeholders.
Avaliação Prévia (Avaliaçãoex-ante)Avaliação efetuada antes da implementação de umaintervenção.
BeneficiáriosIndivíduos, grupos ou organizações que se benefi-ciam do programa ou projeto direta ou indireta-mente, intencionalmente ou não.
CoberturaAnalisa o alcance do programa e as característi-cas dos beneficiários.
Dados da Linha de Base(Baseline Data)Informação inicial sobre um programa ou seus com-ponentes, coletada antes das atividades serem exe-cutadas. Os dados de linha de base são normal-mente coletados em entrevistas ou observações eusados posteriormente para comparações que de-terminarão mudanças em um programa.
GL
OS
SÁ
RIO
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 51
Descritor do IndicadorTraduz em linguagem simples e objetiva o que estásendo medido. Seu uso garante o alinhamento deconceitos entre os responsáveis pela coleta dosdados, dando maior consistência às informaçõesproduzidas pela avaliação.
DesempenhoO grau com que um programa ou projeto éimplementado de forma eficaz, eficiente e efetiva.
EfeitoMudança esperada ou não, direta ou indiretamen-te atribuída a uma intervenção.
EfetividadeO grau em que o programa alcança os resultadose impactos pretendidos junto ao seu público-alvo.
EficáciaExpressa o grau em que o programa realiza oque havia sido proposto, alcançando suas me-tas e objetivos.
EficiênciaEstabelecida pela menor relação custo x benefíciopossível para a realização das atividades e alcan-ce dos objetivos do programa.
Estudos de BaseAnálise que descreve a situação antes do lança-mento de uma intervenção de desenvolvimento, aqual se podem fazer comparações ou apreciar osprogressos.
ImpactoBenefício e transformação de médio e longo pra-zo para os participantes e beneficiários indiretosdo programa (suas famílias e comunidades).
IndicadorMedida quantitativa e/ou qualitativa que funcionacomo um termômetro do progresso de um pro-grama, indicando os avanços obtidos em relaçãoaos objetivos e metas traçados.
Indicador de desempenhoUsado para verificar e mensurar os possíveis im-pactos, resultados, produtos, processos e recur-sos alocados em um programa, permitindo assimseu monitoramento e avaliação.
Modelo Lógico de Gestão dePrograma/ProjetoInstrumento visual e sistêmico de apresentação ecompartilhamento de informações, voltado paraa gestão e avaliação de programas e projetos.Permite analisar as relações causais entre os re-cursos alocados, atividades, produtos, resulta-dos e impactos.
ObjetivoSituação futura desejada com a execução de pro-grama, projeto ou atividade, descrita com conci-são e precisão e sempre mensurável por um indi-cador, que expressa o produto ou resultado espe-rado sobre o público-alvo.
Pressupostos (Hipóteses)Suposições sobre fatores ou riscos que podem terrepercussões na evolução ou no sucesso da inter-venção de desenvolvimento.G
LO
SS
ÁR
IO
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS52
ProcessoAnalisa a consistência do programa e a qualidadede sua implementação.
ProdutoEfeito imediato de cada atividade do programa.
ProgramaÉ o instrumento de organização da ação governa-mental com vistas ao enfrentamento de um pro-blema, atendimento a uma demanda ou o aprovei-tamento de uma oportunidade.
ProjetoInstrumento de programação orçamentária paraalcançar o objetivo de um programa, envolven-do um conjunto de operações, limitadas no tem-po, das quais resulta um produto que concorrepara a expansão ou aperfeiçoamento da açãode Governo.
Público-alvoConjunto de pessoas, famílias, comunidades, insti-tuições ou setores que serão atingidos pelo pro-grama.
Recursos (Inputs)Meios financeiros, humanos e materiais usadospara uma intervenção de desenvolvimento.
ResultadoImpacto de curto prazo causado pelo diretamen-te pelo programa nos seus beneficiários (normal-mente referem-se a mudanças de conhecimento,habilidades, comportamento e valores).
Retroalimentação (Feedback)Transmissão das constatações resultantes do pro-cesso de avaliação a todos os que podem tirarlições úteis e pertinentes das mesmas, com o obje-tivo de facilitar a aprendizagem. Isto pode impli-car reunir e difundir as constatações, conclusões,recomendações e lições aprendidas.
StakeholdersGrupos que tem um papel ou interesse nos objeti-vos e implementação de um programa ou projeto.Incluem o público-alvo, os beneficiários diretos,os responsáveis por garantir que os resultadosserão alcançados conforme planejado, e os res-ponsáveis por prestar contas dos recursosalocados nos trabalhos.
SustentabilidadeContinuação dos benefícios resultantes de uma in-tervenção de desenvolvimento mesmo após a suaconclusão. Probabilidade de os benefícios perdu-rarem no longo prazo. Situação em que as vanta-gens líquidas são suscetíveis de resistir aos riscosao longo do tempo.
GL
OS
SÁ
RIO
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 53
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
REFERÊNCIAS BIBLIOGRÁFICAS
Alberta Consultative Health Research Network.(2001-2002) Evaluability Assessment.Disponível em http://www.achrn.org/Evaluability.htm
Buvinich, Manuel Rojas. (1999). Ferramentas paramonitoramento e avaliação de programas eprojetos sociais. Unicef.
Instituto do Banco Mundial. (sem data).Introdução ao Monitoramento & Avaliação:Apostila do Participante.
International Development Research Centre.Identifying the Intended Use(s) of anEvaluation. Abril de 2004. Disponível emwww.idrc.ca
International Development Research Centre.Identifying the Intended User(s) of anEvaluation. Março de 2004. Disponível emwww.idrc.ca
Kayano, Jorge, e Caldas, Eduardo L. (2001).Indicadores para o diálogo. São Paulo:Instituto Pólis; Programa Gestão Pública eCidadania/ EAESP/ FGV.
McNamara, Carter. Basic Guide to ProgramEvaluation. 1999. Disponível em http://www.mapnp.org/library/evaluatn/fnl_
Patton, Michael Quinn. (1997). Utilization-focused evaluation: the new century text.Londres: Sage Publications.
Rodrigues, Maria Cecília Prates. (1998).Avaliação e monitoramento. Texto base paraa disciplina de Monitoramento e Avaliaçãoministrada no âmbito do curso de Gerênciade Programas Sociais, promovido pela FESP/ISAPE/CPG.
United Way of America. (1996). Measuringprogram outcomes: a practical approach.
Valarelli, Leandro Lamas (1999). Indicadores deresultados de projetos sociais. RITS.Disponível em: http://www.rits.org.br/gestao_teste/ge_testes/ge_tmes_jul99.cfm
W.K. Kellogg Foundation. (2001). Logic ModelDevelopment Guide: Using Logic Models toBring Together Planning, Evaluation, &Action.
3 Patton, Michael Quinn. (1997). Utilization-focused evaluation: the new century text.Londres: Sage Publications.
BIB
LIO
GR
ÁF
ICA
S
O documento está disponível em: http://www.rits.org.br/gestao_teste/ge_testes/ge_tmes_jul99.cfm
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS54
Modelo Lógico de Gestão doPrograma Cabra Forte
ANEXO 1
AN
EX
O 1
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 55
AN
EX
O 1
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS56
AN
EX
O 1
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 57
AN
EX
O 1
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS58
Questionário para levantamento de informaçõessobre os resultados da implantação de poços peloPrograma Cabra Forte
ANEXO 2
AN
EX
O 2
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 59
AN
EX
O 2
QUESTIONÁRIO A SER APLICADO COM
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
PRODUTORES DO PROGRAMA
Propriedade:
Proprietário:
1 - Qual a área (em tarefas) da propriedade?
tarefas
2 - Quantas cabeças de ovinos e caprinos existem na propriedade?
Ovinos: cabeças
Caprinos: cabeças
3 - Quantos litros de água por dia são necessários para o consumo do rebanho?
litros
4 - Existe alguma reserva de água na propriedade? Que tipo?
( ) Sim ( ) Não Tipo:
ANTES DA INSTALAÇÃO DOS POÇOS
5 – Qual(is) a(s) alternativa(s) de acesso a água para consumo dos animais?
( ) Reserva própria ( ) Reserva de vizinhos ( ) Açude ou barragem comunitária
( ) Outras. Citar
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS60
AN
EX
O 26 - O produtor tinha como garantir água para o rebanho durante todo o ano?
( ) Sim ( ) Não Por quê ?
7 - Qual a distância que o produtor (ou rebanho) percorria para ter acesso à água?
metros
8 - Em média, quantos meses no ano a água era insuficiente para atender à necessidade do
rebanho? meses
APÓS A INSTALAÇÃO DOS POÇOS
9 - Qual a distância que o produtor (ou rebanho) percorre para ter acesso à água?
metros
10 – Com que frequência a água do poço é insuficiente para atender à necessidade do reba-
nho?
( ) Nunca ( ) Raramente ( ) Frequentemente ( ) Sempre
11 - Qual o grau de facilidade que a instalação do poço trouxe para o acesso à água pelo
rebanho?
( ) Pouca ( ) Regular ( ) Muita
Comente:
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 61
AN
EX
O 3
Instrumento usado para análisedos dados coletados sobre oPrograma Cabra Forte
ANEXO 3
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS62
Secretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGA
PROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETA DE INFORMAÇÕESA DE INFORMAÇÕESA DE INFORMAÇÕESA DE INFORMAÇÕESA DE INFORMAÇÕES
Objetivo Específico: Ampliar e melhorar a oferta de água para os produtoresEstratégia: Disponibilizar ponto de água confiável para grupos de 15 a 20 produtoresAAAAAtividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULARESPeríodo: 2003
Programado para o período
Pólo / Município /Comunidade / Grupo
de Produtores
Realizado no período
Total do Programa
Pólo de Remanso
Campo Alegre de Lurdes
Casa Nova
Pilão Arcado
Remanso
Pólo de Jaguarari
Andorinha
Curaçá
Jaguarari
Juazeiro
Monte Santo
Uauá
Pólo de Conceição do Coité
Barrocas
Conceição do Coité
Nova Fátima
Retirolândia
Santaluz
São Domingos
Serrinha
Valente
Nº de poçosa serem
instalados
Nº deprodutores doprograma a
serembeneficiados
Capacidadepotencial deprodução deágua (m³/h)
Nº de Poçosinstalados
Nº deprodutores do
programabeneficiados
Capacidadeefetiva de
produção deágua (m³/h)
Custo deinstalaçãodos poços
(R$)
AN
EX
O 3
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 63
AN
EX
O 3
Secretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSecretaria do Planejamento – SeplanSuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGASuperintendência de Gestão e Avaliação - SGA
PROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETPROGRAMA CABRA FORTE - COLETA DE INFORMAÇÕESA DE INFORMAÇÕESA DE INFORMAÇÕESA DE INFORMAÇÕESA DE INFORMAÇÕES
Objetivo Específico: Ampliar e melhorar a oferta de água para os produtoresEstratégia: Disponibilizar ponto de água confiável para grupos de 15 a 20 produtoresAAAAAtividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULAREStividade: PERFURAÇÃO E RECUPERAÇÃO DE POÇOS TUBULARESPeríodo:
Programado para o período
Pólo / Município /Comunidade / Grupo
de Produtores
Realizado no período
Nº de poçosinstalados
Nº de poçosinstalados X
previsto
Nº de produtoresbeneficiados
Nº de produtoresbeneficiados
X previsto
Capacidade realde produção de
água XCapacidadepotencial
Custo deinstalação X Nºde produtoresbeneficiados
Conceição do Coité
Nova Fátima
Retirolândia
Valente
Santa Luz
São Domingos
Serrinha
Barrocas
Remanso
Remanso
Casa Nova
C. Alegre de Lourdes
Pilão Arcado
Jaguarari
Jaguarari
Uauá
Juazeiro
Monte Santo
Andorinha
Curaçá
TOTAL GERAL
Qde. % Qde. %
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS64
AN
OTA
ÇÕ
ES
SISTEMÁTICA DE MONITORAMENTO E AVALIAÇÃO EM PROGRAMAS E PROJETOS GOVERNAMENTAIS 65
AN
OTA
ÇÕ
ES
SECRETARIA DO PLANEJAMENTO - SEPLAN
SUPERINTENDÊNCIA DE GESTÃO E AVALIAÇÃO - SGASonia Sobral
Diretorias de Monitoramento e AvaliaçãoMaria da Conceição SáMário Sebastião Freitas
COORDENAÇÃO GERAL (FLEM)Lycia Tramujas Vasconcellos Neumann
Equipe de Coordenação:Secretaria do Planejamento / Superintendência de Gestão e Avaliação
Anibal Picanço BentesAntônio Leopoldo MeiraNair Mamede CoutoPalmiro Torres de OliveiraRoberto Sampaio CostaZélia Maria Abreu Góis
Fundação Luis Eduardo MagalhãesViviane Quenia Brito de Jesus
Equipe Matricial:Secretaria da Agricultura, Irrigação e Reforma Agrária
Edilson Bartolomeu - SuperintendenteMaria Suzana Lima de SouzaRenata VieiraRicardo AndradeAntônio Lemos Maia Neto (ADAB)Francisco Benjamin (EBDA)
Secretaria de Combate à Pobreza e às Desigualdades SociaisElisa Cristina Guimarães Pellegrini - SuperintendenteFátima AmaralSoane Maria Minck de MatosTânia XavierZélia Fajardini
Secretaria do PlanejamentoDário Tavares (CAR)
Secretaria da Indústria, Comércio e MineraçãoAna Célia Tanajura (EBAL)
Secretaria do Meio Ambiente e Recursos HídricosJoão Batista Andrade (CERB)
Secretaria da SaúdeMaria Claudia da Costa MontalMaria Lea Rocha Fagundes
Secretaria do Trabalho, Assistência Social e EsporteMarizete Pereira AndradeTerezinha Almeida
FICHA TÉCNICAConsultoria ExternaFundação Luis Eduardo Magalhães - Flem
Redação final de textoTacilla Siqueira
Projeto Gráfico e EditoraçãoAutor Visual Comp. Gráfica Ltda
Fotografias gentilmente cedidas pela Agecom, Arquivo Cacob-Diren-Seinfra, Ascom-Funceb, Ascom-Seagri, Ascom-Secomp,Adenilson Nunes, Alceu Elias, Angeluci Figueiredo, Aristeu Chagas, Jorge Cordeiro, Lázaro Sérgio, Marcos Souza e Roberto Viana
19/05/2010
1
PLANEJAMENTO, MONITORAMENTO E AVALIAÇÃO DE PROJETOS SOCIAIS
Lycia Tramujas Vasconcellos NeumannOficina ministrada para técnicos da Prefeitura Municipal de Curitiba - 2010
Objetivos da Oficina
Há dois propósitos principais para esta oficina:
� Promover a troca de conhecimentos sobre teorias e práticas em Planejamento, Monitoramento e Avaliação de programas e projetos Sociais.
� Levar os participantes a desenvolverem um olhar avaliativo e uma lógica de planejamento e gestão voltada para melhores resultados em programas e projetos sociais.
19/05/2010
2
Agenda de Trabalho
Esta oficina foi dividida em 2 partes:
� Concepção e planejamento políticas e projetos sociais (12h)
� Elaboração, gestão e avaliação de projetos sociais (20h)
PLANEJAMENTO, MONITORAMENTO E AVALIAÇÃO DE PROJETOS SOCIAIS
Dia 1: Elaboração de Políticas
19/05/2010
3
Para reflexão
“O planejamento não diz respeito a decisões
futuras, mas às implicações futuras de
decisões presentes.”(Peter Drucker)
Políticas, programas e projetos
Alinhamento Conceitual
19/05/2010
4
� Um curso ou método claro de ação, escolhido (pelo governo, instituição, grupo ou indivíduo) dentre algumas alternativas e a partir da análise de determinadas condições, que normalmente determina as decisões presentes e futuras. (adaptado de Webster’s)
� Conjunto de princípios básicos e diretrizes a eles associadas, formulados e implementados pelo grupo gestor da organização, para direcionar e limitar suas ações visando o alcance de objetivos de longo prazo.(adaptado de Business Dictionary.com)
O que se define por política?
� Política é como a organização decide atuar com relação a determinados temas.
� Existem políticas que determinam o funcionamento interno da organização (ex.: Recursos Humanos, Prevenção de Acidentes de Trabalho)
� E políticas que determinam a atuação técnica da organização – através das quais ela busca realizar sua missão e alcançar sua visão de futuro.
Políticas institucionais
19/05/2010
5
Políticas públicas - conceitos
“É o Estado em ação: o Estado implantando um projeto
de governo, através de programas, de ações voltadas
para setores específicos da sociedade”.
(Gobert & Mueller, citado por Höfling)
Para reflexão
“Política Pública não é o mesmo que Decisão Política,
pois, uma Política Pública envolve mais que uma
decisão e requer diversas ações estrategicamente
selecionadas para implementar as decisões tomadas”.
(Pereira, 2007)
19/05/2010
6
Políticas Sociais
Existem 3 níveis de formulação de ação social:
� o nível dos grandes objetivos e eixos estratégicos de ação: a Política
� um nível intermediário em que as políticas são traduzidas em linhas mestras de ações temáticas e/ou setoriais: os Programas
� o nível das ações concretas, delimitadas no tempo, no espaço e pelos recursos existentes, que possam realizar os programas e as políticas: os Projetos
(Armani, citado por Pogoda, Pires e Moretti, s.d.)
PROJETOS
PROGRAMAS
POLÍTICA
Do Estratégico ao Operacional
19/05/2010
7
Do Estratégico ao Operacional
� Programas e projetos tornam operacional uma política
na medida em que traduzem com clareza seus
objetivos e concretizem sua implementação mediante a
aplicação de recursos.
Design Estratégico da Política
Implementação
Reformulação, expansão, redução, encerramento.
Formulação do Programa/ Projeto
Início da operacionalização
Ciclo de um Projeto
19/05/2010
8
Fases das Políticas Públicas
1. Formação de AgendaCom questões que merecem políticas definidas.
2. Formulação Definição dos objetivos, marco jurídicos, administrativo e financeiro.
3. Implementação Elaboração dos planos, programas e projetos que permite executar a política.
4. AvaliaçãoCompara os fins alcançados aos meios mobilizados e aos objetivos inicialmente estabelecidos.
Elaboração - É a preparação para a tomada de decisão.
Baseado na metodologia de
“Policy Analysis” de Eugene Bardach
Elaborando Políticas
19/05/2010
9
1. Defina o problema
2. Colete as evidências
3. Construa alternativas de ação
4. Selecione os critérios
5. Projete os resultados
6. Reflita sobre as desvantagens
7. Tome a decisão
8. Conte sua história
Passos críticos na elaboração de Políticas
� Comece com uma definição clara e objetiva sobre o(s)
problema(s) que procura resolver ou minimizar com a
política.
� Isto lhe dará a razão para realizar todo este trabalho e
norteará a coleta de informações e evidências.
� As primeiras definições do problema poderão ser revisadas
quando mais conhecimento for construído sobre as questões
envolvidas.
1. Defina o problema
19/05/2010
10
1. Defina o problema
Dicas na definição do problema:
� Pense em faltas e excessos (ex.: há muito disso, há pouco daquilo);
� Evite o uso de termos subjetivos (ex.: bom ou ruim, insatisfatório, etc.);
� Quantifique se possível (mesmo que os números não sejam definitivos, darão uma boa idéia do tamanho do problema);
� Condições que causam o problema também são problemas (busque identificar a relação causal entre os problemas e suas condicionantes);
� Perder oportunidades também é um problema.
� Definido o problema é hora de analisar o contexto no qual a
política será implementada e coletar dados e informações para
evidenciar a questão sobre seus vários ângulos.
� Nesta etapa são analisados “o que”, “o onde”, “o quando” e “o
porquê” do problema identificado.
� Para isso deve-se mergulhar na literatura e documentos já
produzidos, realizar pesquisas, entrevistas e análises de
tendências.
2. Colete evidências
19/05/2010
11
2. Colete evidências
� Dados: são fatos ou representação de fatos sobre o mundo. São normalmente valores, medidas, estatísticas, mas podem ir além disso.
� Informações: são formadas por um conjunto de dados devidamente ordenados e organizados de forma a terem significado.
� Evidências: tudo aquilo que pode ser usado para provar que uma determinada afirmação é verdadeira ou falsa.
“Evidências são informações que afetam as crenças das
pessoas (inclusive as suas) sobre aspectos significantes do
problema que está sendo estudado.”
(Bardach)
2. Colete evidências
� Razões para buscar evidências:� Para compreender a natureza e a dimensão do(s)
problema(s) que está tentando definir;
� Para conhecer e analisar características particulares do contexto onde a politica atuará;
� Para avaliar boas práticas, políticas que se mostraram efetivas em situações semelhantes.
O material coletado ajudará não só na melhor formulação do
problema central, como na construção de alternativas de ação e na
definição de resultados esperados.
19/05/2010
12
3. Construa alternativas
Dicas na construção de alternativas:� Comece abrangente e termine bem focado, com no máximo 4
alternativas.� Considere as alternativas propostas por atores-chave no processo
decisório (técnico e político).
� Sempre inclua a alternativa “status quo” nesta análise (ou seja, a manutenção da situação como está).
� Identifique o conceito central de cada alternativa e procure descrevé-lo de forma simples.
� Faça a distinção entre a alternativa básica e suas variações.
Pense nas diferentes políticas, cursos de ação ou estratégias de intervenção que podem ser adotadas para minimizar o problema.
4. Selecione critérios de avaliação
Selecione critérios para avaliar os potenciais resultados de cada alternativa, e não a alternativa em si.
� Um dos principais critérios é o quanto os impactos esperados com a política diminuirão ou resolverão o problema identificado (efetividade).
� Outros critérios comumente usados são: viabilidade, eficiência (custo-efetividade/ custo-benefício); equidade, tempo, ética, legalidade, aceitação política.
19/05/2010
13
5. Projete os resultados
Nesta etapa é importante pensar em todos os potenciais resultados e impactos das alternativas de ação.
É a etapa mais difícil!
Procure ser o mais realista possível!
Perguntas para avaliar a potencial efetividade:
1. Qual é o nível mínimo aceitável de efetividade?
2. Que processo pode produzir este nível de efetividade?
3. Quão provável é que este processo alcance este resultado?
4. Qual a probabilidade de fracasso?
5. Projete os resultados
Elabore uma matriz de resultados, cruzando alternativas com os critérios selecionados:
Critério 1 Critério 2 Critério 3
Alternativa 1 Resultado Resultado Resultado
Alternativa 2 Resultado Resultado Resultado
Alternativa 3 Resultado Resultado Resultado
Cuidado:� Deve ficar claro nos critérios a unidade e o “valor” que será considerado na análise dos resultados (ex: % de redução de emissão de gases, ou tempo de implantação em meses).
19/05/2010
14
6. Reflita sobre as desvantagens
� Algumas alternativas podem se mostrar superiores nos vários critérios e se tornarem alternativas dominantes.
� Mas, normalmente, uma alternativa é superior em um critério e inferior em outro. É a hora de pesar vantagens x desvantagens de cada uma.� Desvantagem = quando você tem que abrir mão de algo valioso
ou desejável
A análise mais comum de vantagens x desvantagens é entre uso de mais recursos para gerar mais benefícios aos cidadãos.
Ex.: Vale a pena gastar R$100.000/ mês para manter a biblioteca da universidade aberta todos os dias da semana? Ou é melhor manter os gastos atuais e fechá-las nos finais de semana?
7. Decida
� Mesmo que a decisão final não seja sua, se nesta etapa
você ainda não tiver segurança sobre a melhor
alternativa é porque as vantagens e desvantagens não
foram bem pesadas, ou porque alguns aspectos sobre
as alternativas não ficaram bem claros.
� Revise o processo e busque aprimorá-lo.
� Consulte importantes “stakeholders” para evitar futuras
resistências.
19/05/2010
15
8. Conte sua história
� O teste do motorista de táxi� Você acabou de chegar no aeroporto e pegou um táxi. No
trajeto até o hotel o motorista pergunta o que você faz.
� Você responde que trabalha na Prefeitura de Curitiba e está atualmente está trabalhando com o problema X.
� Interessado ele pergunta “qual é a solução para este problema?”
� Você tem 1 minuto para apresentar a resposta de forma clara, coerente e muito simples, antes que ele te acuse de ser um intelectual incompreensível ou uma pessoa muito confusa.
8. Conte sua história
� Ao elaborar o relatório, tenha sempre em mente a audiência (direta e indireta).
� Seja na forma escrita ou oral, a apresentação do relatório tem que fluir, demonstrando consistência e lógica.
� Evite longas digressões e considerações de caráter filosófico.
� Seja direto, objetivo e preciso no uso da linguagem.
� Não caia na armadilha de descrever todas as etapas vividas e os aprendizados. Mantenha o foco no que é importante, considerando a audiência.
19/05/2010
16
O produto final
O que temos ao final deste processo?
� O problema que precisa ser resolvido ou minimizado.
� Algumas alternativas de ação que podem ser tomadas.
� Para cada alternativa, uma série de resultados potenciais.
� Se nenhuma alternativa é dominante considerando os critérios selecionados, as alternativas são analisadas segundo vantagens x desvantagens identificadas.
� Quando solicitado, pode-se apresentar recomendações sobre qual a melhor alternativa de política.
PLANEJAMENTO, MONITORAMENTO E AVALIAÇÃO DE PROJETOS SOCIAIS
Dia 2: Tendências em Projetos Sociais
19/05/2010
17
Alinhamento Conceitual
Programas e Projetos Sociais
Projeto - conceito
“Um projeto é um empreendimento planejado que
consiste num conjunto de atividades inter-relacionadas
e coordenadas para alcançar objetivos específicos
dentro dos limites de um orçamento e de um período de
tempo dados”.(ONU, citado por Almeida, s.d.)
19/05/2010
18
Programa - conceito
� Programa é um conjunto de projetos de caráter institucional,
com diretrizes bem definidas, voltado para um ou mais
objetivos de uma instituição.
� Geralmente se acha sob a responsabilidade de um coordenador ou
equipe de coordenadores
� Na elaboração de vários projetos sobre o mesmo tema e objetivo,
eles devem ser reunidos e organizados de forma mais ampla em
um programa. Assim, os recursos e esforços podem ser otimizados
e integrados.
(São Paulo.Secretaria do Meio Ambiente, 2005)
Para Reflexão
“O termo projeto carrega o sentido de organizar idéias,
pesquisar, analisar a realidade e desenhar uma
proposta articulada com intencionalidade”.(Marcos José Pereira da Silva)
19/05/2010
19
Projetos Sociais - conceito
� Projetos são ferramentas de ação que delimitam uma
intervenção quanto aos objetivos, metas, formas de
atuação, prazos, responsabilidades e avaliação.
� Projetos sociais são uma forma de organizar ações para
transformar determinada realidade social.
(baseado em Schuckar, 2005)
Para reflexão
“Os projetos são pontes entre o desejo e a realidade.(...)
Os projetos sociais tornam-se, assim, espaços
permanentes de negociação entre nossas utopias
pessoais e coletivas – o desejo de mudar as coisas –, e
as possibilidades concretas que temos para realizar
estas mudanças – a realidade”. (Stephanou, Muller e Carvalho)
19/05/2010
20
Projetos Sociais
Riscos da ação social sob a forma de projeto:
� Fragmentação e duplicidade das ações;
� Orientação pela linha do financiador e não pela missão
institucional;
� Descontinuidade de ações;
� Dificuldade de avaliar a efetividade das ações e interpretar
seus desdobramentos.
Tendências e desafios:
� Ênfase na ação local;
� Gestão compartilhada;
� Flexibilização de programas e serviços;
� Gestão em rede;
� Participação social nas decisões, controle e execução de
projetos ou programas.
(baseado em Stephanou, s.d.)
Projetos Sociais – contexto atual
19/05/2010
21
Redes Sociais
Tendências em projetos sociais
Rede - conceito
“Rede é um sistema de nós e elos capaz de organizar
pessoas, organizações e instituições, de forma
igualitária e democrática, em torno de um objetivo
comum, descentralizando a informação, estimulando a
participação cooperativa e garantindo autonomia a cada
um de seus integrantes”.
(Instituto Ecoar para a Cidadania, 2010)
19/05/2010
22
Redes: componentes
� Nós: são os integrantes (pessoas, organizações, territórios),
atores sociais às vezes organizados em grupos e sub-grupos
em torno de propostas comuns.
� Elos: são os fios que dão consistência à rede; as trocas de
informações e a comunicação entre seus integrantes.
A força de uma rede não se mede pelo número de integrantes,
mas pela qualidade da comunicação entre eles.
Redes de Compromisso Social
“Redes em que parcerias são mobilizadas a partir da
percepção compartilhada de situações ou problemas
que rompem ou colocam em risco o equilíbrio da
sociedade ou as perspectivas de seu desenvolvimento e
para cujo equacionamento não é suficiente a ação
isolada de organizações públicas e/ou privadas”.(Inojosa, citada por Schlithler, 2004)
19/05/2010
23
Para reflexão
“A interligação em rede, de pessoas e/ou entidades, se
estabelece a partir da identificação de objetivos comuns
e/ou complementares cuja realização melhor se
assegurará com a formação da rede”.(Whitaker, 1993)
Mudança de olhar = nova abordagem
Tendências em projetos sociais
19/05/2010
24
Tendência em projetos sociais
� Desde a década de 90, o objetivo dos investimentos sociais
passa a ser desenvolver a capacidade das pessoas para o
auto-desenvolvimento.
� As pessoas devem ser as protagonistas do processo de
desenvolvimento.
“Ser protagonista significa ser “o primeiro lutador”, ou proto
agonistes em grego; ser, portanto, o primeiro agente de
transformação”.
(Neumann e Neumann, 2004)
� Toda pessoa, assim como toda comunidade é um copo meio
cheio, meio vazio.
� O olhar determina o movimento. Se o copo é vazio, procura-se
enchê-lo. Se dá para ver água no copo, busca-se completá-lo.
deficiências e necessidades
talentos e recursos
Mudança de Olhar
19/05/2010
25
De clientes para cidadãos
� Clientes são aqueles que dependem de outros para viver e
que, enxergando apenas seus defeitos, esperam que outros
também vejam suas deficiências e os ajudem, atendendo às
suas necessidades.
� Cidadãos, ao contrário, são aqueles que vêem seus
problemas e dificuldades, mas que também percebem suas
qualidades, capacidades e potencial para mudar a realidade.
Eles acreditam no poder coletivo e buscam parceiros com
quem possam construir um futuro melhor.
De “máquinas de refrigerante”...
� De um lado estão as instituições públicas e privadas que
desenvolvem projetos e programas sociais baseados nas
deficiências e necessidades das comunidades e dos
beneficiários das ações.
� Atuando como meros provedores de serviços, as instituições
são como “máquinas de refrigerante”: ao terem seus botões
acionados, ofertam produtos e serviços baseados em modelos
padrão e desenvolvidos para “consertar” pessoas e suas
realidades.
19/05/2010
26
... a Construtores de Celeiros
� De outro lado, estão as instituições que, em vez de simplesmente
proverem serviços, atuam como “construtores de celeiros”.
� Promovem o engajamento dos cidadãos no desenvolvimento de
projetos e programas, fazendo com que estes se tornem co-
responsáveis pela busca de alternativas para sua promoção social
e econômica.
� Quando se deparam com um novo problema, esses cidadãos não
perguntam “O que o governo ou as ONGs farão por nós?”, mas,
sim, concentram-se em definir “O que nós vamos fazer, juntos,
para resolver esta questão?”
(Neumann e Neumann, 2004)
Para reflexão
“Bons clientes são péssimos cidadãos.
Bons cidadãos constróem comunidades fortes.”
(Osborne e Gaebler)
19/05/2010
27
O que é e como construir
Parceria
Parceria - conceito
“A relação entre duas ou mais partes que, tendo
objetivos compatíveis, estabelecem um acordo para
fazer alguma coisa juntos. Parcerias são pessoas
trabalhando juntas em uma relação mutuamente
benéfica, muitas vezes fazendo juntos o que não
conseguiriam realizar sozinhos”.(Frank & Smith, 2000)
19/05/2010
28
Diferentes Graus de Parceria
INFORMAÇÃO
CONSULTA
COOPERAÇÃO
COLABORAÇÃO
1. Informação – é o primeiro estágio de qualquer parceria. Quando os parceiros passam a se conhecer melhor e a compreender como se afetam mutuamente.
2. Consulta – quando os parceiros passam a trocar idéias sobre como fazer determinadas coisas. Requer que os parceiros se conheçam e se respeitem.
3. Cooperação – quando um parceiro precisa da ajuda de outros para operacionalizar uma idéia. Nesta etapa, o planejamento e a tomada de decisão sobre o que será feito ainda é unilateral.
4. Colaboração – é o grau maior e mais complexo de parceria. Quando os parceiros planejam juntos o que fazer e como, tornando-se conjuntamente responsáveis pelo projeto e seus resultados. Neste estágio o poder pela tomada de decisão é compartilhado.
Segredos e desafios
Colaboração
19/05/2010
29
Colaboração
� Considerada a “marca” da década de 90, quando
profissionais e pesquisadores passaram a recomendar
parcerias colaborativas entre múltiplos setores como
estratégia para tranformações sistêmicas em áreas
como: desenvolvimento humano e social, governo e
mobilização comunitária.
Para reflexão
“Colaboração é um processo através do qual atores
que vêem diferentes aspectos de um problema ou
questão podem construtivamente explorar suas
diferenças e buscar soluções que vão além dos
limites de sua visão”(adaptado de Gray, citado por Borden e Perkins)
19/05/2010
30
Tipos de colaboração
Dentro da hierarquia de uma organização, as colaborações podem ser:
� Interinstitucional no nível estratégico – com o propósito maior de coordenação de programas e serviços
� Interinstitucional no nível operacional – com o objetivo de criar uma rede entre os prestadores de serviço
� Intrainstitucional – quando envolve parcerias entre os vários níveis hierárquicos de uma mesma organização
� Técnico-família – quando a parceria é criada com as famílias para prover serviços mais efetivos e individualizados aos beneficiários.
(adaptado de Hodges, Nesman & Hernandez, 1999)
Elementos críticos para o sucesso
� Objetivo maior ou visão de futuro compartilhados
� Comunicação eficaz
� Confiança e comprometimento
� Preservação da identidade e autonomia
� Respeito à diversidade
� Papéis e responsabilidades claras
� Participação voluntária
� Estrutura de governança que favoreça a troca de
informações e as tomadas de decisão
� Avaliação contínua
19/05/2010
31
Articulação ≠ Integração
� Quando falamos em integrar as ações, torna-se comum
o entendimento de que cada qual vai deixar de fazer o
que faz para realizar um novo trabalho.
� Articulação significa cada um trazer seus
conhecimentos, habilidades e práticas e através de
parcerias descobrir novas formas de trabalhar em
conjunto e ser mais efetivo.(Curitiba. Prefeitura Municipal, 2002)
Para reflexão
“O objetivo maior de uma colaboração deve ser
estabelecer um processo contínuo de
resolução de problemas, e não ser um fim em
si mesmo”.(Hodges, Nesman & Hernandez, 1999)
19/05/2010
32
PLANEJAMENTO, MONITORAMENTO E AVALIAÇÃO DE PROJETOS SOCIAIS
Dia 3 – Planejamento de Projetos Sociais
Elaboração de Projetos Sociais
19/05/2010
33
Ciclo de vida do projeto social
1. Elaboração : é o momento da identificação do problema, definição dos objetivos, programação das atividades e confecção da proposta técnica do projeto.
2. Estruturação : uma vez decidido que o projeto vai ser realizado, é hora de organizar a equipe executora e mobilizar os meios necessários para executá-lo.
3. Realização : é o período quando as atividades previstas são realizadas e acompanhadas, de acordo com o planejado. Por vezes é necessário alterar a programação, em razão de fatos não previstos.
4. Encerramento : ao término do projeto é preciso analisar seus resultados e impactos, comparando-se o que se pretendia originalmente com o realmente alcançado. Também é o momento de cuidar da desmobilização do projeto, caso não haja prosseguimento.
(Campos, Abegão e Delamaro, 2002)
Para reflexão
“Elaborar projetos é uma forma de independência.
É uma abordagem para explorar a criatividade
humana, a mágica das idéias e o potencial das
organizações. É dar vazão para a energia de um
grupo, compartilhar a busca da evolução”. (Rosana Kisil)
19/05/2010
34
Elaboração de projetos sociais
Dois importantes momentos:
� Concepção: o grupo deve dedicar tempo para realizar um bom
diagnóstico sobre o contexto e a situação problemática que
pretende enfrentar. Em seguida, construir seu caminho.
� É aconselhável que todas as pessoas envolvidas no projeto dele participem diretamente na fase de concepção com visão ampla e criatividade na busca de sua viabilidade.
Elaboração de projetos sociais
Dicas para o êxito na concepção de um projeto:
� Realizar um diagnóstico consistente.
� Ter objetivos e resultados claramente definidos.
� Construir um clima de colaboração e envolvimento da equipe.
� Sempre que possível contar com a participação de potenciais beneficiários diretos do projeto no planejamento das principais atividades.
� Ouvir todos os integrantes envolvidos de forma a harmonizar divergências.
(baseado em Armani, citado por Almeida,s.d.)
19/05/2010
35
Elaboração de projetos sociais
2º momento:
� Redação: é um exercício de síntese do processo anterior. Nele, é
melhor contar com poucas pessoas do grupo. Tudo que foi
produzido no tempo anterior será agrupado em um roteiro que
demonstre, de modo objetivo, o que será realizado.
(adaptado de Silva, 2010)
Theory of Change - TOCTeoria da Transformação
19/05/2010
36
TOC - Origens
� Inicialmente usada como ferramenta de avaliação, a Teoria da
Tranformação vem sendo aprimorada e disseminada como uma
ferramenta simples e prática que ajuda a retratar a complexidade
envolvida em promover efetivas tranformações sociais.
� A TOC é considerada a melhor forma de descrever as condições
que explicam:
� de um lado os passos que levam ao alcance dos objetivos de longo prazo;
� de outro as conexões entre as atividades do programa e os resultados que
devem acontecer ao longo do caminho.
Resultados: conceito
� Outcome = Efeitos ou transformações provocadas pelo
programa ou projeto em seus beneficiários.
� Normalmente referem-se a mudanças de conhecimento,
percepção, habilidades, atitudes, opiniões, aspirações,
motivação, comportamentos, práticas, condição ou status.
Que diferença o programa faz?
19/05/2010
37
Situação: Você está com uma dor de cabeça terrível. O que fazer?
Exemplo do cotidiano
Consegue o remédio
Toma o remédio
Sente-se melhor
Qual é o resultado?
Para reflexão
“Não é sobre quantas minhocas o
pássaro alimentou seus filhotes,
mas quão bem os passarinhos
conseguiram voar”
(United Way of America)
19/05/2010
38
A relação de causalidade
TOC - Conceitos
� A Teoria da Transformação define todos os marcos que são necessários para o alcance de um objetivo de longo prazo.
� Esses marcos - muitas vezes chamados de resultados, efeitos, realizações ou pré-condições – são representados em um mapa chamado de “caminho da transformação”, que ilustra graficamente o processo de transformação e a relação de causalidade entre seus componentes.
19/05/2010
39
O caminho da transformação
Visão de Futuro
Pré-condiçõesnecessárias
Resultados de médio prazo
Resultados de curto prazo
Exemplo: Projeto Supermulher
Mulheres vítimas de violência doméstica com emprego fixo e bom salário
Mulheres que foram vítimas de violência
precisam estar emocionalmente preparadas para
trabalhar.
Pressuposto: premissa que embasa o Projeto, justificando as estratégias adotadas, a partir dos resultados esperados.
(baseado no projeto desenvolvido por ActKnowledge e Aspen Institute Roundtable on Community Change, 2003)
19/05/2010
40
Exemplo: Projeto Supermulher
Mulheres vítimas de violência doméstica com emprego fixo e bom salário
Mulheres sabem como obter ajuda e lidar com suas
questões
Mulheres participam de estágios em empresas e organizações
Mulheres participam de
aconselhamento entre pares
Mulheres participam de
palestras sobre as expectativas do
mercado
Mulheres participam de capacitação profissional
Empregadores são sensibilizados e preparados para
trabalhar com estagiários
Exemplo: Projeto Supermulher
Mulheres vítimas de violência doméstica com emprego fixo e bom salário
Mulheres sabem como obter ajuda e lidar que suas questões
Mulheres participam de estágios em empresas e organizações
Mulheres participam de aconselhamento
entre pares
Mulheres participam de palestras sobre as
expectativas do mercado
Mulheres participam de capacitação profissional
Empregadores são sensibilizados e preparados para
trabalhar com estagiários
Mulheres inscrevem-se no Projeto
Mulheres contam com creche para seus filhos
Mulheres estão prontas e comprometidas em participar do Projeto
19/05/2010
41
Finalidades da TOC
1. Compreender e comunicar uma iniciativa já existente.
2. Planejar uma nova iniciativa.
3. Repensar e reorganizar uma iniciativa.
Que diferença faz a TOC?
� Retrata a complexidade das iniciativas delineando um
plano para seu sucesso.
� Orienta a avaliação dos resultados mais estratégicos,
no momento e na sequência corretos.
� Ajuda a compreender e explicar porque uma iniciativa
teve sucesso ou não, e o que exatamente não
funcionou.
19/05/2010
42
Passos para construção da TOC
1. Forme o grupo e estabeleça os princípios de trabalho (colaboração)
2. Garanta o consenso sobre a questão central a ser trabalhada com o projeto
3. Defina o Objetivo de Longo Prazo (a visão de futuro)
4. Estabeleça as pré-condições para que este Objetivo se concretize (resultados de médio e curto prazo)
5. Paralelamente, registre os pressupostos identificados (as premissas que justificam a relação de causalidade)
6. Procure chegar até o nível operacional (a descrição do que o projeto deverá fazer)
Para reflexão
A demonstração de uma Teoria da Transformação oferece
um retrato dos marcos importantes e nos guia quanto
ao que devemos encontrar ao longo da jornada para
garantir que estamos no caminho certo.
(baseado em Annie E. Casey Foundation)
19/05/2010
43
PLANEJAMENTO, MONITORAMENTO E AVALIAÇÃO DE PROJETOS SOCIAIS
Dia 4 – Redação e Gestão de Projetos Sociais
Colocando no papel o projeto concebido
Redação de Projetos Sociais
19/05/2010
44
Roteiro para alinhamento: 7W3H
Sigla Tradução Conceito
1W: Who Quem Quem vai realizar o projeto
2W: What O que O que será feito
3W: Why Por que Por que deve ser feito
4W: to Whow Para quem Quem serão os beneficiários
5W: for What Para que Que diferença o projeto vai fazer
6W: When Quando Quando o projeto acontecerá
7W: Where Onde Onde o projeto acontecerá
1H: How Como Como o projeto acontecerá
2H: How much Quanto custa Quanto custará realizá-lo
3H: How many Quantos Quais são as metas do projeto (produtos e beneficiários)
Do roteiro para o projeto
Sigla Tradução Conceito No projeto
1W: Who Quem Quem vai realizar o projeto 1. Apresentação da instituição
2W: What O que O que será feito 3. Proposta
3W: Why Por que Por que deve ser feito 2. Justificativa
4W: to Whow Para quem Quem serão os beneficiários 7. Público-alvo
5W: for What Para que Que diferença o projeto vai fazer 4. Objetivos
6W: When Quando Quando o projeto acontecerá 9. Cronograma
7W: Where Onde Onde o projeto acontecerá 8. Localização
1H: How Como Como o projeto acontecerá 6. Metodologia
2H: How much Quanto custa Quanto custará realizá-lo 10. Orçamento
3H: How many Quantos Quais são as metas do projeto (produtos e beneficiários)
5. Metas
19/05/2010
45
Estrutura do projeto
1. Apresentação – identificação e histórico da instituição proponente (ressaltar se há parceiros na execução)
2. Justificativa – apresentação das razões para a realização do projeto (caractericação do problema)
3. Proposta – o que é o projeto, o que ele se propõe a realizar
4. Objetivos – o que se quer transformar a partir do projeto (normalmente apresentados em Geral e Específicos)
5. Metas - apresentação dos resultados a serem atingidos pelo projeto (quantitativos e qualitativos)
6. Metodologia – as ações revistas para a realização do projeto (devem ser claramente descritas e relacionadas aos objetivos específicos)
7. Público-alvo – identificação do(s) público(s) ao qual o projeto se destina
8. Localização – descrição da comunidade ou local onde aconterá o projeto
9. Cronograma – apresentação das etapas ou principais ações do projeto na linha do tempo
10. Orçamento - iIndicação dos recursos financeiros necessários para execução do projeto, com valores unitários e totais.
A partir da lógica avaliativa
Gestão de Projetos Sociais
19/05/2010
46
Ciclo de gestão tradicional
Planejamento
DesenvolvimentoControle
Avaliação
Ciclo de gestão de projeto social
AnáliseSituacional
�
Elaboração do Projeto,
Negociação�
Marco Zero �
Implementação
Avaliação de Processo
Avaliação deResultado�Utilização �
Comunicação
Replicação
Institucionalização
(adaptado de Marino e Cancellier, 2004)
19/05/2010
47
A Implementação do Projeto
RECURSOS
ATIVIDADES
PRODUTOS
RESULTADOS
IMPACTOS
Produtos ≠ Resultados ≠ Impactos
Todo projeto resulta em:
� Produtos (Outputs) - bens ou serviços criados ou fornecidos pelo projeto através de suas atividades.
� Resultados (Outcomes) – benefícios ou transformações para os participantes gerados durante ou logo após sua participação no projeto. � Ex.: mudanças de consciência, conhecimentos, habilidades,
comportamentos, aspirações e motivação.
� Impactos (Impact) – benefícios de médio e longo prazo para os participantes e beneficiários indiretos do projeto (suas famílias e comunidades).
19/05/2010
48
Modelo Lógico de Gestão de Projetos -MLGP
Program Logic Model
Modelo Lógico de Gestão do Projeto
� É um instrumento visual e sistêmico de apresentação e compartilhamento de informações sobre os recursos alocados em um projeto, as atividades previstas, os resultados e as mudanças que se espera alcançar.
� De forma simples, o MLGP retrata as relações causaise os pressupostos que são base da operacionalização do projeto.
19/05/2010
49
A Visualização
� É um instrumento importante no desenvolvimento de um
trabalho participativo porque facilita o processo de comunicação,
ao mesmo tempo que objetiva o trabalho do grupo.
� As principais vantagens da visualização:◦ Facilita a participação ativa – permite a cada participante ver suas
contribuições e identificar sua parcela no trabalho conjunto;◦ Aumenta a qualidade da comunicação – facilita a estruturação de
idéias; possibilita representar de forma didática situações complexas.◦ Fortalece o efeito da aprendizagem – racionaliza a discussão
possibilitando seu aprofundamento.◦ Aumenta a integração do grupo – torna transparente o processo de
trabalho.
Além disso, MLGPs são úteis para todas as partes envolvidas em uma iniciativa, pois são capazes de:
� comunicar o propósito fundamental do projeto;
� demonstrar porque o projeto é importante;
� apresentar o que se espera resulte do projeto;
� descrever as atividades que levarão ao alcance dos resultados esperados;
� servir de base para determinar se as atividades planejadas serão capazes de levar aos resultados esperados.
� tornar-se uma linguagem comum e um ponto de referência para todos os envolvidos no projeto;
(W.K. Kellogg Foundation, 2001)
Modelo Lógico de Gestão do Projeto
19/05/2010
50
MODELO LÓGICO DE GESTÃO DE PROJETOSMODELO LÓGICO DE GESTÃO DE PROJETOSSI
TUA
ÇÃ
O A
NTE
RIO
R
QU
ESTÕ
ES
PR
IOR
ITÁ
RIA
S
RECURSOSALOCADOS
Humanos (equipes e
voluntários)
Materiais (próprios ou
doados)
Financeiros
Tecnológicos
Parcerias
ESTRATÉGIAS/ ATIVIDADES
O que faz
para a
realização de
cada Objetivo
Específico
IMPACTOS
Médio prazo:
Mudanças
em:
•Atitudes
•Práticas
•Tomadas de
decisão
Longo prazo:
Mudanças
em:
Condições
Sociais,
Econômicas e
Ambientais
PRESSUPOSTOS FATORES EXTERNOS
OBJETIVOS
ESPECÍFICOS
Situações
esperadas por
conseqüência
do projeto =
benefícios
esperados ao
público-alvo
RESULTADOS
Impactos de
curto prazo:
Transformação
em:
•Consciência
•Conhecimento
•Habilidades
•Opinião
•Aspirações
•Motivação
OBJETIVO GERALA “missão” do projeto
PÚBLICO-ALVOBeneficiários diretos do projeto
PRODUTOS
Bens/ Serviços
ofertados
Beneficiários
A Relação de Causalidade
O QUE O PROJETO FAZ
PARA QUE FAZ
O QUE RESULTA DELE
OBJETIVO GERAL
OBJETIVOS ESPECÍFICOS
ESTRATÉGIAS
ATIVIDADESPRODUTOS
RESULTADOS
IMPACTO
19/05/2010
51
MLGP vs. TOC
MLGP ≠ TOC?
Modelos Lógicos de Gestão ilustram os componentes
do programa e construí-los ajuda os vários atores a
identificarem claramente os resultados esperados,
recursos que estão sendo alocados e atividades que
serão desenvolvidas.
Teorias da Transformação buscam ligar resultados
esperados às atividades do projeto para explicar como
as transformações desejadas vão acontecer.
19/05/2010
52
MLGP ≠ TOC Como?
Modelos Lógicos de Gestão normalmente começam com a definição de um programa e ilustram seus componentes.
Teorias da Transformação podem começar com um programa, mas são melhores quando iniciadas a partir de um Objetivo de Longo Prazo para então definir que abordagens programáticas são necessárias.
TOC + MLGP?
A combinação das duas ferramentas é um poderoso
instrumento para a gestão com foco em resultados.
1. Começar com a Teoria da Tranformação para saber: onde se quer chegar e o que deve ser feito para chegar lá.
2. Detalhar o projeto no Modelo Lógico de Gestão para garantir alinhamento entre o que o projeto faz e o para que faz.
19/05/2010
53
Para Reflexão
“Se você não sabe para onde está indo, como vai saber
quando chegar lá? “
(Yogi Berra)
PLANEJAMENTO, MONITORAMENTO E AVALIAÇÃO DE PROJETOS SOCIAIS
Dia 5 – Gestão com Foco em Resultados
19/05/2010
54
Gestão com Foco em Resultados
Elementos críticos para o sucesso
� Foco claroMLGP
� Consistência
� Persistência
19/05/2010
55
�Para a gestão = é um instrumento visual e sistêmico de apresentação e compartilhamento de informações sobre o que é o programa e seus objetivos, e como ele está sendo operacionalizado. Permite a rápida identificação de “desvios de rota” e orienta a busca por novos recursos.
�Para a avaliação = é o primeiro instrumento de avaliação. Apresenta o programa como ele vem sendo implementado, e destaca os componentes a serem monitorados e avaliados para análise de sua performance.
Modelo Lógico de Gestão do Projeto
MODELO LÓGICO DE GESTÃO DE PROJETOSMODELO LÓGICO DE GESTÃO DE PROJETOS
SITU
AÇ
ÃO
AN
TER
IOR
QU
ESTÕ
ES
PR
IOR
ITÁ
RIA
S
RECURSOSALOCADOS
Humanos (equipes e
voluntários)
Materiais (próprios ou
doados)
Financeiros
Tecnológicos
Parcerias
ESTRATÉGIAS/ ATIVIDADES
O que faz
para a
realização de
cada Objetivo
Específico
IMPACTOS
Médio prazo:
Mudanças
em:
•Atitudes
•Práticas
•Tomadas de
decisão
Longo prazo:
Mudanças
em:
Condições
Sociais,
Econômicas e
Ambientais
PRESSUPOSTOS FATORES EXTERNOS
OBJETIVOS
ESPECÍFICOS
Situações
esperadas por
conseqüência
do projeto =
benefícios
esperados ao
público-alvo
RESULTADOS
Impactos de
curto prazo:
Transformação
em:
•Consciência
•Conhecimento
•Habilidades
•Opinião
•Aspirações
•Motivação
OBJETIVO GERALA “missão” do projeto
PÚBLICO-ALVOBeneficiários diretos do projeto
PRODUTOS
Bens/ Serviços
ofertados
Beneficiários
19/05/2010
56
Os Componentes do MLGP
� Questões Prioritárias:
As questões ou problemas que o projeto quer resolver ou minimizar.
A definição clara e precisa dos problemas que o projeto quer resolver é o primeiro requisito para
alcançar o impacto desejado .
Para maior alinhamento e consistência, pode-se usar ferramentas
para ajudar na identificação da relação de causalidade entre as
questões levantadas. Ex.: árvore de problemas
� Objetivo Geral –É a contribuição maior que o projeto fará e que deve corresponder à solução ou redução do problema central identificado nas questões prioritárias.
Só deve haver um Objetivo Geral por projeto.
É a missão do projeto!
Os Componentes do MLGP
Exemplo:Problema – Alta incidência de mortalidade infantil na região X.Objetivo Geral – Reduzir a mortalidade infantil na região X.
19/05/2010
57
� Objetivos Específicos: O que o projeto espera alcançar para realizar seu Objetivo Geral.
Devem descrever condições ou transformações a serem obtidas para que o Objetivo Geral se concretize.
Os Componentes do MLGP
O Objetivo Geral do projeto deve estar diretamente ligado à grande
questão identificada e os Objetivos Específicos às questões
identiificadas como causadoras da questão principal.
� Estratégias:As alternativas de ação escolhidas para o alcance dos objetivos propostos.
Refletir sobre as estratégias ajuda a clarificar o propósito das atividades realizadas e a garantir mais qualidade nos processos de trabalho.
� Atividades:Ações que o projeto realiza, dentro de cada estratégia, para alcançar os objetivos específicos
Os Componentes do MLGP
19/05/2010
58
� Produtos:Bens ou serviços criados ou fornecidos pelo projeto através de suas atividades e a quem beneficiam.
Por serem o resultado direto da realização de cada atividade, sua descrição e quantificação comprovam a realização e a dimensionam.
Os Componentes do MLGP
Exemplo:Atividade – Oferecer cursos de inglês para os jovens.Produtos – Cursos oferecidos
Jovens beneficiados
� Resultados:
Benefícios ou transformações para os participantes gerados durante ou logo após sua participação no programa.
Normalmente referem-se a mudanças de consciência, conhecimentos, habilidades, comportamentos, aspirações e motivação.
Muitas vezes os resultados são resultados de mais de uma atividade ou até estratégia.
Os Componentes do MLGP
Os resultados comprovam a diferença que o programa está fazendo na vida dos participantes.
19/05/2010
59
� Impactos:Benefícios ou transformações de médio e longo prazo para os participantes e beneficiários indiretos do projeto.
Os efeitos (esperados ou não-esperados) de um projeto nos seus beneficiários, suas famílias, comunidades e sociedade em geral.
Os Componentes do MLGP
Quanto mais de longo prazo, mais a concretização dos impactos depende não só da efetividade do projeto, como também de outros fatores “externos” à sua gestão e mandato.
� Recursos – Os recursos financeiros, humanos, materiais e tecnológicos com os quais o projeto/ programa conta para realizar suas atividades.
� Pressupostos – As premissas que norteiam a definição de objetivos e atividades e as condições necessárias para que as relações causais levem ao alcance dos resultados e impactos esperados.
� Fatores Externos – Fatores e/ou condições externas ao controle do projeto que podem influenciar no atingimento de
seus objetivos.
Os Componentes do MLGP
19/05/2010
60
PLANEJAMENTO, MONITORAMENTO E AVALIAÇÃO DE PROJETOS SOCIAIS
Dia 6 – Avaliação como Instrumento de Gestão
Avaliação
Alinhamento Conceitual
19/05/2010
61
Conceito de avaliação
Do dicionário:
“avaliar é determinar ou estabelecer o valor de;
examinar e julgar”(Worthen, 2004)
Como nasceu a avaliação
A estória da Avaliação segundo Gênesis:
No início, Deus criou a Terra e o Céu. Ele olhou para tudo que havia criado e disse: “isso
está muito bom”. No 7º dia ele descansou.
Foi quando chegou seu arcanjo, ou coordenador de avaliação, e perguntou: “Senhor,
como você sabe que o que criou é muito bom? Qual são seus critérios, e que dados usou
para fazer seu julgamento? Que impactos estava esperando ter com esta criação? O
Senhor não está perto de mais de todo o trabalho para fazer um julgamento imparcial?
Deus pensou sobre todas essas questões durante o dia todo e seu descanso foi
seriamente perturbado. No 8º dia, Deus disse:
“VÁ PARA O INFERNO, LÚCIFER!” ...e nasceu a avaliação.
(adaptado de Patton, 1999)
19/05/2010
62
Alguns Mitos sobre Avaliação
� Muitas pessoas vêem a avaliação como uma atividade inútil que gera um monte de dados chatos e leva a conclusões sem utilidade.
� Este era o problema no passado quando as metodologias de avaliação eram escolhidas com base na sua precisão científica, confiabilidade e validade.
� Mais recentemente, especialmente pelo resultado do trabalho de Michael Patton com a Avaliação com Foco na Utilização, a avaliação passou a ter seu foco na utilidade, relevância e praticidade tanto quanto na validade científica.
� Muitas pessoas acreditam que avaliação é sobre provar o sucesso ou fracasso de um programa.�Sucesso é estar aberto para periódico feedback e fazer os
ajustes de acordo. A avaliação oferece este feedback.
� Muitas pessoas acreditam que a avaliação é um processo único e complexo que deve sempre acontecer no mesmo momento, de uma certa maneira e normalmente por especialistas externos. �Elas acreditam que deveriam entender termos como validade e
confiabilidade, e na verdade não precisam. Precisam é saber que informação necessitam para tomar decisões sobre o projeto e suas deficiências.
(adaptado de Carter McNamara, 1999)
Alguns Mitos sobre Avaliação
19/05/2010
63
Para Reflexão
“O que se define por avaliação e o nome dado à
uma avaliação em particular é uma questão de
discussão, clarificação e negociação.”
(Michael Quinn Patton)
� MonitoramentoProcesso contínuo de coleta e análise de dados implementado para avaliar um projeto (programa ou política) e compará-lo com a performance esperada.
� AvaliaçãoAnálise sistemática e objetiva dos resultados alcançados por um projeto, programa ou política, realizada com o objetivo de avaliar sua relevância, coerência, a eficiência da implementação, sua efetividade e impacto, e sua sustentabilidade.
(Instituto do Banco Mundial, s.d.)
Definições
19/05/2010
64
Monitoramento ≠ Avaliação
Monitoramento AvaliaçãoAtividade de gestão interna e contínua
Atividade interna ou externa
Acontece durante a implementação do projeto
Pode acontecer antes, durante ou depois da implementação de um projeto
Compara o que está sendo realizado com o que foi planejado
Com base em dados levantados pelo monitoramento e outras fontes, julga o desempenho de um projeto de acordo com critérios pré-estabelecidos
A avaliação usa extensivamente os dados gerados pelo sistema de
monitoramento, mas além dele usa outras fontes de informação.
Principais Critérios de Avaliação
� Eficácia: cumprimento e alcance das metas e objetivos propostos � Fizemos o que dissemos que íamos fazer?
� Eficiência: uso otimizado, com economia e qualidade, dos bens e recursos empregados na execução das ações.� Estamos usando os recursos da melhor maneira possível?
� Efetividade: o alcance dos resultados e impactos esperados. � Que diferença o projeto faz?
� Equidade – a capacidade de contribuir para a redução das desigualdades e da exclusão social.� Sustentabilidade – a capacidade de desencadear mudanças sociais permanentes, que alteram o perfil da própria demanda por políticas/programas sociais.
19/05/2010
65
Avaliação de Programas
“É a coleta cuidadosa de informações sobre um programa ou um aspecto do programa para que sejam tomadas as decisões necessárias sobre ele.”
(McNamara, 1999)
“É a coleta sistemática de informações sobre as atividades, características e resultados dos programas para propiciar julgamentos sobre ele, melhorar sua efetividade, e/ou subsidiar decisões sobre a criação de novos programas.” (Patton, 1997)
Tipos de Avaliação
� Uma avaliação de programa pode incluir um ou mais
dos 35 tipos de avaliação que existem: ex-ante, ex-
post, formativa, somativa, de processo, de resultado,
de impacto, custo x benefício, etc.
O tipo de avaliação que deve ser realizada para subsidiar o
aprimoramento de um programa depende do que se quer saber
sobre ele.
19/05/2010
66
Para Reflexão
“Não se preocupe com o tipo de avaliação que deve
ser feito, preocupe-se em definir o que você precisa
saber para tomar importantes decisões sobre o
programa, e como a informação pode ser
corretamente coletada e analisada”.
(Carter McNamara)
Avaliação como Instrumento de Gestão
Desmistificando a Avaliação
19/05/2010
67
� O que é avaliado, é feito;
� Se você não mede resultados, não pode separar o sucesso do fracasso;
� Se você não vê o sucesso, não tem como premiá-lo;
� Se você não premia o sucesso, está provavelmente premiando o fracasso;
� Se você não vê o sucesso, não pode aprender com ele;
� Se você não reconhece o fracasso, não pode corrigi-lo;
� Se você demonstrar resultados, ganhará apoio público.
(adaptado de Osborne & Gaebler, 1992 Premissas de um Governo Orientado para Resultados)
Para Reflexão
Avaliação como Instrumento de Gestão
Permite:
� Compreender, analisar e aumentar o impacto das políticas, programas e projetos desenvolvidos pela instituição;
� Aperfeiçoar os métodos empregados para aumentar a eficiência, eficácia e efetividade das ações;
� Facilitar a gestão e o estabelecimento de novas diretrizes de trabalho;
� Produzir informações que possam ser utilizadas junto à sociedade, financiadores e outros parceiros.
19/05/2010
68
Mudança de Paradigma
DE: Mecanismo de Controle PARA: Processo de Aprendiz agem
Tarefa imposta às equipes pelos dirigentes ou financiadores.
Valioso instrumento para ajudar a organização a perseguir sua missão.
Considerada tarefa tediosa e que toma tempo de “trabalho real”, representando um luxo para a organização.
Considerada um trabalho de todos. Todos da organização levantam informações e se perguntam: "O que e como podemos fazer melhor?”
Resultados da avaliação pouco incorporados no planejamento e tomada de decisões da organização.
Resultados da avaliação orientando o desenvolvimento dos projetos e as mudanças de direção.
Temor de que resultados pouco satisfatórios tragam conseqüências negativas, tais como a perda do trabalho dos envolvidos.
Ambiente onde não existe medo de se correr risco; onde as pessoas podem examinar algo que não deu certo sem medo de conseqüências negativas.
A avaliação é complexa e onerosa financeiramente, já que deve ser feita por especialistas.
Os instrumentos e metodologias são simples, não onerosos e podem ser adaptados a diferentes realidades e necessidades.
(baseado em Marino, 2001)
19/05/2010
69
Avaliação no Ciclo do Projeto
Avaliação no Ciclo do Projeto
AnáliseSituacional
�
Elaboração do Projeto,
Negociação�
Marco Zero �
Implementação
Avaliação de Processo
Avaliação deResultado�Utilização �
Comunicação
Replicação
Institucionalização
(baseado em Marino e Cancellier, 2004)
19/05/2010
70
Análise Situacional
� Também chamada de Avaliação Diagnóstica ou apenas Diagnóstico.
� Tem por objetivo organizar informações que caracterizem, dimensionem e evidenciem as questões ou problemas que o projeto vai buscar resolver ou minimizar.
� Neste momento, sempre que possível, deve-se reunir outros stakeholders para caracterizar o problema sob vários pontos de vista.
Avaliação de Marco Zero
� A partir da análise situacional e dos resultados esperados, deve-se realizar a avaliação de marco zero que aprofunda aspectos identificados na análise situacional, servindo de base norteadora para as equipes do projeto.
� Deve ocorrer antes do início de qualquer atividade do projeto pois produzirá os parâmetros de julgamento para a avaliação de resultados.
19/05/2010
71
Avaliação de Processo
� Visa determinar o grau em que o programa está operando conforme o planejado.
� Analisa o que faz o programa e quem são seus beneficiários.
� Identifica quais são os elementos essenciais para que os objetivos do programa sejam alcançados.
� Em geral, responde a perguntas em duas categorias:� Cobertura: analisa o alcance do projeto e as características dos
beneficiários.
� Processo: analisa a consistência do projeto e a qualidade de sua implementação.
Avaliação de Resultados
A avaliação de resultados analisa os benefícios/transformações
proporcionados aos participantes (que são resultantes dos
esforços do projeto) durante e/ou logo após a sua participação no
mesmo.
�Deve ser realizada a partir da fase intermediária e próximo ao final do
projeto.
�Pode-se também avaliar os resultados do projeto junto aos parceiros,
equipe responsável e outros stakeholders.
Por que medir resultados?
Para saber se o programa realmente faz diferença.
19/05/2010
72
Standards of Evaluation
Parâmetros de Qualidade
Parâmetros de Qualidade
� Princípios orientadores desenvolvidos em 1994 por um Comitê formado por 16 associações profissionais dos Estados Unidos (hoje aceitos por avaliadores em todo o mundo)
� Um processo avaliativo de qualidade deve ter 4 atributos:
� Utilidade – voltado para responder reais necessidades de informação dos seus usuários
� Viabilidade – realizado de maneira realística, prudente, diplomática e moderada
� Propriedade – conduzido dentro de normas legais e éticas, respeitando todos os envolvidos no processo
� Precisão – produzindo informações tecnicamente adequadas sobre aspectos que determinam o mérito e a relevância do programa avaliado.
(Chianca, Marino e Schiesari, 2001)
19/05/2010
73
A Lógica e os Valores do Avaliador
1. Ser claro = ser claro sobre os objetivos e propósitos; sobre o que está sendo avaliado; sobre que dados serão coletados; sobre que julgamentos serão feitos; sobre como os resultados da avaliação serão usados; enfim, ser claro sobre tudo.
2. Ser específico = a pergunta favorita de um avaliador é: “o que exatamente você quer dizer com isso?”.
3. Ter foco e prioridade = você não pode fazer ou cuidar de tudo. Avalie com cuidado o que vale a pena fazer e saber.
4. Ser sistemático = Planeje o que fazer, e faça o que planejou . Registre cuidadosamente o que acontece em cada estágio da tomada de decisão e da coleta de dados.
5. Ser claro sobre os pressupostos = defina com clareza os pressupostos que norteiam o trabalho, e o que pode ou não ser comprovado.
6. Fazer a distinção entre recursos, processos e resul tados = confundir processos com resultados é comum, cuidado!
7. Ter dados para apoiar empiricamente às conclusões = o que significa assumir um compromisso de fazer a lógica e as evidências se sobreporem às crenças e às intensidades das emoções.
8. Separar “declarações de fatos baseadas em dados”, d e “interpretações” e de “julgamentos” = interpretações vão além dos dados e precisam ser entendidas pelo que são –interpretações. Julgamentos envolvem valores, determinando o que é e o que não é desejável.
(adaptado de Patton, 1997)
A Lógica e os Valores do Avaliador
19/05/2010
74
Construindo Avaliações Úteis
Duas abordagens para maior efetividade
A Avaliação com Foco na Utilização (Utilization-focused Evaluation)
� Baseada na premissa de que avaliações deveriam ser
julgadas pela sua utilidade e uso real.
� Assim, o foco da metodologia está no futuro uso das
informações, conforme definido pelos principais clientes da
avaliação.
� O avaliador atua como facilitador ajudando os principais clientes da
avaliação a definirem que tipo de avaliação eles precisam. Isso requer
muita negociação onde o avaliador oferece um menu de possibilidades
dentro da lógica do projeto, e dos princípios e modelos de avaliação.
19/05/2010
75
Construindo uma avaliação útil
� Do início ao fim, o processo de avaliação deve ser
criado e implementado com o foco nas necessidades
dos principais clientes.
� Eles têm a responsabilidade de fazer as coisas de maneira
diferente (tomar decisões, mudar estratégias, agir, mudar
políticas, etc.) por causa do seu comprometimento com o
processo e os resultados da avaliação.
(International Development Research Centre, 2004)
A Lógica da AFU
Os potenciais clientes da avaliação tenderão a usá-la quanto melhor eles compreenderem e se apropriarem do processo de avaliação e seus resultados.
Eles compreenderão e se apropriarão da avaliação quanto mais ativamente forem envolvidos no processo.
Ao envolver ativamente os principais clientes, o avaliador prepara-os para o uso, cria base técnica para a utilização da avaliação e reforça, ao longo de todo o processo, a importância e a utilidade das informações coletadas.
19/05/2010
76
Avaliação = entendimentos compartilhados
� A avaliação depende de e facilita uma comunicação mais
clara entre os atores.
� Entendimentos compartilhados são especialmente importantes
no que se refere a resultados esperados
� (Que resultados especificamente vocês estão comprometidos a alcançar? E
como vocês saberão se vocês os alcançaram?).
� Quando realizada de forma apropriada, a avaliação facilita o
comprometimento compartilhado com os resultados de um
programa entre os vários níveis hierárquicos.
(adaptado de Patton,1997)
A Avaliação Participativa
“As pessoas que participam da criação de algo
tendem a se sentir mais donas do que foi criado,
percebem melhor sua utilidade e preocupam-se
mais em cuidar dele.”
(Michael Patton)
19/05/2010
77
Princípios da Avaliação Participativa
� O processo de avaliação envolve os participantes em um
aprendizado sobre a lógica e as técnicas de avaliação.
o Para isso, os participantes aprendem, por exemplo, sobre: o
estabelecimento de objetivos, a definição de prioridades, a
formulação de perguntas, a interpretação de dados, decisões com
base em evidências, e as conexões entre processos e resultados.
� Os participantes definem o foco da avaliação em processos
e resultados que eles consideram importantes e com os
quais estão comprometidos;
� Todos os aspectos da avaliação, incluindo os dados, fazem
sentido para os participantes.
� O avaliador-facilitador reconhece e valoriza as diferentes
perspectivas e conhecimentos de cada participante, e
trabalha para que eles sejam reconhecidos e valorizados por
todo o grupo.
� As diferenças de status entre o avaliador-facilitador e os
participantes são minimizadas.
Princípios da Avaliação Participativa
19/05/2010
78
Para reflexão
“Aprender a ver o mundo como um avaliador o vê,
normalmente tem um impacto maior e mais
duradouro naqueles que participam da avaliação, do
que as informações que constam no relatório final”.
(Michael Patton)
PLANEJAMENTO, MONITORAMENTO E AVALIAÇÃO DE PROJETOS SOCIAIS
Dia 7 – Construindo uma avaliação
19/05/2010
79
Passo a passo de uma avaliação formal, interna e formativa de um programa ou projeto
Planejando a avaliação
Avaliação formal
“Avaliação formal é:� um julgamento (porque envolve valores)
� sistemático (porque baseia-se em critérios e procedimentos previamente reconhecidos)
� dos processos ou dos produtos
� de uma política, programa ou projeto,
� tendo como referência critérios explícitos, a fim de contribuir para
� o seu aperfeiçoamento, a melhoria do processo decisório, o aprendizado institucional e/ou o aumento da accountability.
(Rua, 2000)
19/05/2010
80
Avaliação interna e externa
� Interna – conduzida por técnicos das instituições associadas com o programa, projeto ou objeto que está sendo avaliado.
� Externa – conduzida por um ou mais avaliadores que não estão diretamente envolvidos na formulação, implementação e/ou gerenciamento do objeto da avaliação. Também chamada de avaliação independente.
Avaliação formativa
� Formativa - tipo de processo de avaliação usado
durante a implementação de um programa ou projeto,
para fornecer informações que permitam o seu
aprimoramento.
� Usada para prover informações essenciais para que os gestores
possam introduzir mudanças a fim de melhorá-lo ainda durante
seu processo de implementação.
19/05/2010
81
Avaliação somativa
� Somativa – conduzida após o término do programa ou
projeto.
� Serve basicamente para julgar o mérito e a relevância de um
programa ou projeto em relação a determinados critérios,
possibilitando a decisão sobre sua continuidade, extensão,
reformulação ou encerramento.
(baseado em Chianca, Marino e Schiesari, 2001)
Plano de Trabalho
• Formação da equipe de avaliação• Formação da equipe de avaliação
• Elaboração do Modelo Lógico de Gestão• Elaboração do Modelo Lógico de Gestão
• Análise de Avaliabilidade• Análise de Avaliabilidade
• Identificação dos principais clientes da avaliação• Identificação dos principais clientes da avaliação
• Definição das finalidades da avaliação• Definição das finalidades da avaliação
• Seleção das perguntas avaliativas• Seleção das perguntas avaliativas
• Identificação dos indicadores de avaliação• Identificação dos indicadores de avaliação
• Definição dos métodos de coleta e análise de dados• Definição dos métodos de coleta e análise de dados
• Coleta e análise dos dados• Coleta e análise dos dados
• Apresentação dos resultados• Apresentação dos resultados
19/05/2010
82
1. Formação da equipe de avaliação
� Sendo uma avaliação interna, a equipe deverá ser
formada por técnicos da organização que conduz o
programa.
� No caso de projetos multisetoriais ou desenvolvidos em
parceria com organizações privadas, o ideal é que a
equipe seja formada por técnicos de todas as
instituições envolvidas.
A Avaliação de Projetos e o Modelo Lógico
� Uma efetiva avaliação de projeto faz mais do que coletar,
analisar e reportar dados. Ela permite que os stakeholders
tenham acesso e usem as informações para continuamente
aprender sobre e aprimorar os projetos nos quais estão
envolvidos.
� O uso de avaliação e de modelos lógicos dos projetos resulta
em melhor planejamento, oportunidades de aprendizado,
melhor documentação dos resultados e um conhecimento
compartilhado sobre o que está funcionando e porque.
19/05/2010
83
2. Elaboração do MLGP
� A elaboração do Modelo Lógico de Gestão do Projeto é
um dos momentos mais importantes da avaliação e deve
ser realizado com representantes de todas as
organizações responsáveis pela execução do projeto.
� É fundamental que o MLGP retrate o projeto como está
sendo executado na prática, e não como foi elaborado e
consta no papel.
3. Análise de Avaliabilidade
� É um processo que tem por objetivos: clarificar informações sobre o design do programa/ projeto, explorar sua realidade e ajudar a redefinir sua estrutura, antes que seja feita a avaliação de seus resultados.
� Ajuda a definir se o projeto pode ser efetivamente avaliado e se sua avaliação contribuiria para melhorar sua performance.
19/05/2010
84
As Etapas da Análise de AvaliabilidadeEtapa 1: Conhecendo o programa
Identificação e análise da teoria ou lógica do projeto para avaliar se as percepções dos stakeholders sobre como o projeto funciona são razoáveis.
Um método comum para analisar as diferentes percepções sobre o projeto é construir um Modelo Lógico de Gestão do Projeto (MLGP).
O processo de construção do MLGP pode revelar que os princípios conceituais do projeto são fracos ou inconsistentes. Neste caso, os gestores devem repensar o projeto e seu designantes de avaliá-lo.
� Etapa 2: Analisando o grau de implementação do projeto
Para isso, deve ser analisado:
� se as instalações do projeto já estão funcionando;
� se as equipes técnicas já foram treinadas;
� se as atividades estão sendo implementadas mais ou menos como foram planejadas;
� se o público-alvo do projeto é o que de fato vem sendo atendido;
� se o projeto já está em curso há tempo suficiente para produzir as transformações esperadas.
As Etapas da Análise de Avaliabilidade
Se falhas graves são encontradas, elas devem ser corrigidas antes que se
proceda a avaliação.
19/05/2010
85
Identificando os principais clientes
Clientes de Avaliação
Principais Clientes da Avaliação
� Os principais clientes de uma avaliação são as pessoas e grupos que:� são afetados pelos seus resultados,
� estão em posição de tomar decisões sobre a avaliação, e
� pretendem usar as informações sobre o processo e os resultados da avaliação para definir futuras ações.
� Os principais clientes de uma avaliação devem ser definidos no início do processo e o avaliador deve manter contato freqüente com eles para engajá-los e ter a certeza de que a avaliação respeita seus valores e atende às suas necessidades.
19/05/2010
86
Quem são os Clientes da Avaliação?
� São aqueles quem tem “vontade”, “autoridade” e “habilidade”
de usar os aprendizados do processo e resultados da
avaliação de alguma forma.
� É importante distinguir entre os clientes e a audiência de
uma avaliação.
� A audiência é um grupo interessado na avaliação, mas com uma
relação mais passiva com ela do que os principais clientes.
Identificando os clientes da avaliação1. Quem são os principais clientes da avaliação?
� Para quem estamos fazendo este trabalho?
2. Quem são as audiências-alvo desta avaliação � Quem tem interesse nas informações que ela levantará?
3. Que grupos e pessoas serão mais afetados pela avaliação?
4. Que grupos e pessoas estão em posição de tomar decisões sobre o projeto/programa a ser avaliado?
5. Quem terá suas ações e decisões mais influenciadas pelo seu engajamento no processo de avaliação e seus resultados?
19/05/2010
87
Pensando a estratégia
� Após identificar os principais clientes da avaliação é
hora de planejar a estratégia de atuação junto a eles.
� É hora de refletir sobre:
• Como os principais clientes da avaliação poderiam ser envolvidos
no processo?
• Que desafios e barreiras poderemos encontrar para identificar e
engajar esses clientes?
Para reflexão
Tentações que afastam do foco no cliente: os Sete Pecados Capitais (Patton, 1997)
� Os avaliadores fazerem deles próprios os principais clientes da avaliação;
� Identificar audiências vagas e passivas ao invés de pessoas reais como clientes;
� Selecionar organizações como clientes e não pessoas específicas;
� Focar nas decisões ao invés de nos tomadores de decisão;� Assumir que o financiador é automaticamente o principal cliente
da avaliação;� Esperar até ter os resultados da avaliação para então identificar
os clientes e futuros usos dela;� Colocar-se acima das questões pessoais e políticas.
19/05/2010
88
A importância de identificar os futuros usos da avaliação
� Enquanto a pergunta “quais são os futuros usos desta avaliação?” parece simples e direta ela é uma das questões mais críticas no planejamento de uma avaliação.
� A qualidade de muitos aspectos da avaliação depende do grau com que eles respondem a esta pergunta.
� Ao identificar e clarificar o futuro uso da avaliação para clientes dela, a tarefa complexa de planejar uma avaliação torna-se mais simples e com foco, e o processo de avaliação, mais efetivo.
Como definir os possíveis futuros usos de uma avaliação?
� A definição dos futuros usos de uma avaliação envolve uma negociação entre o avaliador (a pessoa que está conduzindo o processo de avaliação e que é também responsável por facilitar o seu uso) e os principais clientes.
� Na maioria dos casos, uma avaliação terá múltiplos usos.
� Ao envolver todos os principais clientes de uma avaliação no processo de definição do tipo de avaliação que é necessária, as várias perspectivas são consideradas e os clientes acabam por obter consenso sobre os principais futuros usos das informações coletadas.
19/05/2010
89
Perguntas para ajudar a identificar futuros usos da avaliação
1. Quais são suas expectativas quanto aos resultados deste processo de avaliação?
2. Como esta avaliação poderia contribuir para o aperfeiçoamento do projeto em questão?
3. Quais decisões os resultados da avaliação poderiam influenciar? Quem é o responsável por tomar essas decisões?
4. Que dados e informações são necessários para esta tomada de decisão?
5. Como nós poderemos saber no futuro se esta avaliação foi útil?
PLANEJAMENTO, MONITORAMENTO E AVALIAÇÃO DE PROJETOS SOCIAIS
Dia 8 – Construindo uma avaliação
19/05/2010
90
Perguntas avaliativas
Perguntas Avaliativas
“São as perguntas que dão direção, fundamento e foco à
avaliação. Especificam exatamente o que a avaliação vai
responder e guiam o projeto e o planejamento da avaliação”.(Worthen, 2004)
� A definição das perguntas avaliativas deverá ser feita a partir
da análise das perguntas trazidas pelos potenciais clientes e
considerando o que foi definido e acordado como as
principais finalidade da avaliação.
19/05/2010
91
Para Reflexão
“As perguntas avaliativas devem gerar as
informações necessárias para basear o
julgamento do valor de alguma coisa”. (Chianca, Marino e Schiesari, 2001)
Matriz de seleção de perguntas avaliativas (Chianca, 2001)
Critérios PA 1 PA 2 PA 3
É relevante para os principais clientes?
Contribui para diminuir dúvidas existentes, trata de informações que não estão disponíveis no momento?
Possibilita gerar informações importantes, que podem facilitar a tomada de decisão sobre o projeto?
Está centrada em elementos críticos do projeto, que serão de interesse constante das pessoas e não apenas de interesse momentâneo?
Os objetivos e a amplitude da avaliação seria seriamente comprometidos sem esta pergunta?
É possível responder com os recursos financeiros e de pessoal disponíveis?
É possível responder com os métodos e tecnologias disponíveis?
É possível responder dentro do tempo de que se dispõe?
Resultado Final (somatório de respostas positivas)
19/05/2010
92
Indicadores
O que são Indicadores
“Em projetos sociais, indicadores são parâmetros
qualificados e/ou quantificados que servem para
detalhar em que medida os objetivos de um projeto
foram alcançados, dentro de um prazo delimitado de
tempo e numa localidade específica”.(Valarelli, citado em Pogoda, Pires e Moretti, s.d.)
19/05/2010
93
O que são Indicadores
� São medidas quantitativas e/ou qualitativas que indicam o grau de alcance dos objetivos e metas de um projeto. Permitem analisar em que medida um resultado esperado está sendo alcançado.
� Como o próprio nome sugere, são uma espécie de “marca” ou sinalizador, que busca expressar algum aspecto da realidade sob uma forma que possamos observá-lo ou mensurá-lo.
� Eles indicam mas não são a própria realidade. Baseiam-se na identificação de uma variável, ou seja, algum aspecto que varia de estado ou situação, variação esta que consideramos capaz de expressar um fenômeno que nos interessa.
Exemplo
“O programa é a variável independente que se espera
cause alterações na variável dependente”. (Banco Mundial)
Variável: saúde
Indicador: temperatura do corpo
Unidade de medida: graus Celsius
Instrumento: termômetro
Parâmetro: 37,5º = boa saúde
19/05/2010
94
Características de um bom indicador
� Ser válido – que meça o que se supõe deve ser medido;� Ser confiável – que seja verificável;� Ser relevante – aos objetivos do programa;� Ser sensitivo – às mudanças da situação que é observada;� Ser aceitável – pela população em estudo e pelos principais
clientes da avaliação;� Ser específico – adaptado aos objetivos do programa;� Ser oportuno – que possa ser constituído e reportado em
tempo hábil;� Ser tecnicamente viável – que os dados requeridos
possam ser coletados e mensuráveis;� Ser custo-efetivo – que os dados requeridos possam ser
coletados a um custo razoável.
Para reflexão
“Indicadores são referências que ajudam a
responder às perguntas avaliativas”.
(Thomaz Chianca)
19/05/2010
95
Construindo a matriz avaliativa
Pergunta Avaliativa
Componentes do programa a serem
avaliados(no MLGP)
IndicadoresDescritores dos
IndicadoresFontes de
InformaçãoPeriodicidade da
Informação
PERGUNTA AVALIATIVA Qual o grau de alcance das metas e objetivos do programa?
Objetivo Específico: Ampliar e melhorar a oferta de água para os produtores.Estratégia: 1.1. Disponibilizar ponto de água confiável para grupos de 15 a 20 produtores.
COMPONENTES A SEREM AVALIADOS
INDICADORES DE PRODUTO
Descritor Periodicidade do Indicador
F.I.
1.1.1 Perfuração e recuperação de poços tubulares
1. Nº de poços instalados no período
2. Nº de produtores beneficiados/ comunidade/ município/ pólo
3. Produção potencial de geração de água disponível por poço instalado / comunidade / município / pólo
4. Produção efetiva de geração de água disponíbilizada por poço instalado/ comunidade / município / pólo
1. Nº de Sistemas Simplificados de Abastecimento de Água (SSAA) entregues à comunidade a partir de poços, em condições de oferecer água em quantidade e qualidade adequadas para consumo animal.
2. Produtores pertencentes às comunidades do programa beneficiados com os novos poços instalados.
3. Capacidade potencial de produção de água dos poços instalados, medida em m³/hora.
4. Capacidade real de produção de água dos poços instalados, medida por m³/hora.
1. Mensal
2. Mensal
3. Mensal (dos novos poços instalados)
4. Mensal (dos novos poços instalados
Técnicos da CERB
19/05/2010
96
Definindo os Parâmetros de AvaliaçãoEstes parâmetros, também chamados de padrões de referência ou benchmarks, podem ser de vários tipos:
� Padrão absoluto – as metas estabelecidas para o programa são o padrão a ser perseguido;
� Padrão histórico – o desempenho obtido em períodos anteriores são a referência adotada para comparação;
� Padrão normativo – compara o desempenho de um programa com o de outros similares, considerados bem sucedidos;
� Padrão teórico – determinado durante o planejamento do próprio programa, a partir de referências teóricas de situações consideradas ideais;
� Padrão “com/sem” – comparações do tipo com/sem o programa, a partir da criação de grupos de controle com pessoas com características semelhantes aos beneficiários do programa, mas em cuja realidade o programa não interviu.
(adaptado de Rodrigues, 1998)
Métodos de coleta de dados
19/05/2010
97
Métodos de Coleta de Dados
� Métodos quantitativos têm a vantagem de permitir mensuração, comparação e generalização das informações obtidas, no entanto os métodos qualitativos permitem análise mais aprofundada de questões específicas sobre as experiências estudadas.
� Métodos quantitativos possibilitam o levantamento de informações junto a um maior número de respondentes, a um menor custo. Além disso, permitem a realização de análises estatísticas, o que favorece a comparação e generalização dos resultados encontrados.
Métodos de Coleta de Dados
� Os métodos de coleta de dados quantitativos mais comumente utilizados são pesquisa de dados disponíveis em sistemas de acompanhamento e monitoramento do programa, e aplicação de questionários ou formulários junto aos beneficiários e atores intermediários da sua execução.
� No caso de abordagens qualitativas, os métodos de coleta de dados mais usados são entrevistas, grupos focais e observação direta.
19/05/2010
98
Comparativo de Métodos
Método de coleta de dados
Descrição Vantagens Desvantagens
Pesquisa de dados disponíveis
Pesquisa focada em registros administrativos, sistemas de acompanhamento, avaliações anteriores do programa, outros relatórios e documentos, dados de censos, etc.
- Baixo custo e rapidez na obtenção de informações.
- Os dados disponíveis podem não ser adequados, precisos, válidos ou confiáveis para o que se quer avaliar.
Pesquisa de campo Aplicação de questionários padronizados com perguntas abertas ou fechadas. O questionário pode ser auto-administrável ou não, ser aplicado em forma de entrevista pessoal ou por telefone.
- Questionários e entrevistas bem estruturados facilitam a tabulação e análise dos dados coletados.
- O desenvolvimento e a aplicação dos instrumentos requer bastante tempo.
Método de coleta de dados
Descrição Vantagens Desvantagens
Observação de casos Observação direta de um ambiente ou situação, com ou sem o conhecimento dos participantes.
- Adequada para compreender processos e formular hipóteses. - Proporciona descrição detalhada da realidade encontrada.
- Pouco adequada para a generalização dos resultados encontrados.- Parcialidade e subjetividade do observador.
Grupos focais Formação de grupos pequenos (de 6 a 12 pessoas) para debate sobre temas, obtenção de informações e sugestões sobre a execução do programa. É essencial a presença de um bom facilitador.
- São relativamente rápidos de se realizar.- Estimula a geração de novas idéias.- Permite o exame de diferentes perspectivas.- Contato direto com os beneficiários ou atores do programa.
- A tabulação é análise consome muito tempo.- Risco de parcialidade por parte dos participantes e do facilitador.- Necessidade de controlar participantes dominantes.
Comparativo de Métodos
19/05/2010
99
Métodos de coleta de dados
� A definição do tipo de abordagem e método de coleta de dados a ser utilizado depende das perguntas avaliativas que se quer responder e dos recursos disponíveis para a avaliação.
� Na maioria das vezes o mais adequado é a utilização mista de abordagens e métodos, o que proporciona uma perspectiva mais completa da realidade encontrada, e permite que as desvantagens de uma sejam balanceadas pelas vantagens de outra.
A importância do pré-teste
� Cada instrumento criado deverá ser pré-testado para análise de sua consistência e clareza, e avaliação da relevância e viabilidade dos dados por ele coletados.
� Uma simulação da tabulação e análise dos dados coletados no pré-teste também ajuda no aprimoramento do instrumento antes da sua aplicação generalizada.
19/05/2010
100
Trabalhando com amostras
“É importante comparar o perfil das
pessoas que responderam ao questionário,
ou que foram entrevistadas, com o perfil
geral da população que se quer estudar”.(Chianca, Marino e Schiesari, 2001)
Tipos de Amostragem
� Probabilística ou aleatória – aquela em que cada elemento da população tem uma chance igual de ser selecionado para compor a amostra. Deve ser representativa da população como um todo para que os resultados obtidos possam ser generalizados como verdadeiros para toda a população.
� Não-probabilística ou não aleatória – aquela em que a composição da amostra é intencional e seleção dos seus participantes depende ao menos em parte do julgamento do pesquisador. Limitada na capacidade de generalizar a informação para o todo da população estudada.
19/05/2010
101
Alerta
Quando a amostra é não-probabilística ou não aleatória
pode-se apenas relatar os resultados em termos de
porcentagem de entrevistados, sem generalizar para o
universo estudado.
Ex.: 60% dos jovens pesquisados afirmou estar satisfeito com seu
plano de saúde.
Análise de Dados
� Todos os dados devem ser tabulados, ou seja
organizados de maneira a facilitar a sua interpretação,
e analisados tendo em vista as perguntas avaliativas
que se quer responder.
19/05/2010
102
Análise de Dados Quantitativos
Dados quantitativos são normalmente analisados estatisticamente. As formas mais comuns de análise estatística utilizadas são:� Freqüência – número de vezes em que determinada resposta
foi dada (ex.: 20 participantes do curso tinham mais que 60 anos; ou, 25 dos 30 participantes disseram aprovar o conteúdo do curso).
� Porcentagem – expressa a informação como um percentual do todo (ex.: 83% dos participantes aprovou o conteúdo do curso).
Uma prática comum na apresentação de dados em porcentagem é
dizer o número total de casos a partir dos quais a porcentagem foi
calculada.
Análise de Dados Quantitativos
Medidas de tendência central – usadas para caracterizar o que é típico
para o grupo de respondentes. Normalmente calcula-se as três medidas e
se avalia qual a mais apropriada para relatar a situação avaliada.
� Média – uma das formas mais comuns de apresentação de dados, é calculada a partir da soma dos valores divididos pelo total de respostas.
� Quando há valores extremos na relação de respostas, a média fica distorcida.
� Moda – é a resposta ou valor mais freqüentemente obtido. É bastante usada quando há um número grande de respostas obtidas, pois não sofre distorção com valores extremos como acontece com a média.
� Mediana – é o valor do meio, quando listadas todas as respostas em ordem crescente.
� Quando a listagem de respostas obtidas apresenta valores extremos e destoantes da maioria, a mediana é mais precisa do que a média como valor representativo do todo.
19/05/2010
103
� Dados qualitativos são compostos de palavras e não
números, por isso sua análise deve ser diferenciada.
� Em uma avaliação, os textos e observações coletados vêm
de várias fontes como: respostas a perguntas abertas de
questionários, transcrições de grupos focais ou entrevistas,
roteiros de observação de casos, ou, ainda, resumos de
relatórios e documentos pesquisados.
Análise de Dados Qualitativos
Análise de Dados Qualitativos
“Agrupar as respostas em categorias específicas para calcular a
frequência de respostas para cada categoria é uma abordagem
comum para tratar dados pouco complexos, como as informações
geradas a partir de questionários com perguntas preestabelecidas”.
Quando os dados são mais densos e complexos, o grande desafio
é conseguir diminuir o volume de informação, identificar os temas
mais significativos e desenvolver uma estratégia para comunicar
aos diferentes interessados a essência do que os dados revelam”
(Chianca, Marino e Schiesari, 2001)
19/05/2010
104
Toda análise qualitativa é influenciada pela subjetividade da interpretação do pesquisador. Para diminuir sua interferência e aumentar a credibilidade dos resultados encontrados, alguns cuidados devem ser observados:
� Use várias fontes de informação – busque combinar, por exemplo, entrevistas individuais com grupos focais, de maneira a checar as informações obtidas e ter maior confiança nas suas conclusões.
Cuidados na Análise de Dados Qualitativos
Cuidados na Análise de Dados Qualitativos� Registre todos os passos do processo de análise – todas as escolhas
e procedimentos feitos devem ser registrados para que outros possam
entender como as conclusões finais foram obtidas.
� Evite fazer generalizações – o objetivo da análise qualitativa não é
obter informações generalizadas sobre toda a população estudada.
Ao contrário, sua finalidade é fornecer dados sobre o objeto avaliado
a partir da perspectiva dos respondentes.
� Identifique as limitações encontradas – todo estudo avaliativo tem
limitações que devem ser reportadas para facilitar o entendimento das
conclusões finais. Estas limitações podem ser de ordem
metodológica, ou relativas aos dados coletados.
19/05/2010
105
Apresentação dos resultados
Para Reflexão
“Processos e resultados da avaliação são úteis
quando contribuem para decisões informadas,
esclarecem as opções de tomada de decisão,
identificam pontos fortes e fracos, e fornecem
lições aprendidas e recomendações para
melhorar programas, políticas e estratégias”.
(Manuel Rojas Buvinich)
19/05/2010
106
Quando a avaliação não é útil
Apesar do uso dos resultados de uma avaliação ser sua
grande razão de existir e um dos pressupostos básicos
que devem nortear todo o seu processo de elaboração,
estudos demonstram que na maioria das organizações
há um aproveitamento muito pequeno das informações
fornecidas em um relatório de avaliação.
Algumas características das avaliações analisadas refletiram no seu mal aproveitamento como instrumento de gestão:
� A maioria das avaliações foram realizadas apenas para atender a interesses dos financiadores, sendo a disseminação de seus resultados bastante limitada dentro da organização gestora do programa;
� Os relatórios de avaliação eram muito longos, técnicos e de difícil entendimento;
� Algumas avaliações deixaram de analisar aspectos importantes da execução do programa;
� Muitos relatórios ficaram prontos depois que importantes decisões já haviam sido tomadas.
(adaptado de Hourton et al., 2003)
Quando a avaliação não é útil
19/05/2010
107
Boa comunicação de resultados
A comunicação dos resultados de uma avaliação pode ser
feita de forma oral ou escrita, mas deve sempre ser
simples, direta e livre de jargões.
A ênfase deve estar nos importantes resultados obtidos e
nas recomendações, sempre com o foco nos principais
clientes da avaliação, suas expectativas e necessidades
de informação.
Estrutura do Relatório de Avaliação
� Capa – título do relatório, autores, instituições patrocinadoras/ participantes, lugar e data.
� Índice – capítulos e sub-capítulos do relatório.
� Créditos – agradecimento a todas pessoas e instituições que fizeram o estudo possível.
� Resumo Executivo – apresentação do estudo e seus objetivos, metodologia adotada, principais resultados encontrados, conclusões/ recomendações. Deve ter no máximo 4 páginas.
� Introdução – contexto e antecedentes da avaliação: caracterização do problema, justificativa do estudo, finalidade da avaliação, perguntas avaliativas, circunstâncias especiais.
� Metodologia – desenho da avaliação: coleta e análise dos dados, limitações. Texto curto com maior detalhamento nos anexos (cópias dos instrumentos utilizados, cálculo de tamanho de amostra, etc.).
� Resultados – principais resultados encontrados apresentados em gráficos e tabelas com breve análise.
� Conclusões – síntese dos dados encontrados apresentados de maneira a responder às perguntas avaliativas.
� Recomendações – prescrição do que deve ser feito a partir das conclusões do estudo. O nível de detalhe das recomendações depende da finalidade da avaliação e do perfil dos seus clientes.
� Referências Bibliográficas – identificação de todo o aporte bibliográfico que norteou a avaliação.
� Anexos – instrumentos para coleta de dados utilizados, procedimentos metodológicos adotados, dados adicionais obtidos ou com maior desagregação, outros documentos relevantes.
19/05/2010
108
PLANEJAMENTO, MONITORAMENTO E AVALIAÇÃO DE PROJETOS SOCIAIS
Lycia Tramujas Vasconcellos NeumannOficina ministrada para técnicos da Prefeitura Municipal de Curitiba - 2010
Este material foi desenvolvido tendo como base as seguintes obras e documentos
Referências Bibliográficas
19/05/2010
109
Referências Bibliográficas
ActKnowledge; Aspen Institute Roundtable on Community Change. (2003). Theory of Change . Guided example: Project Superwomen. Disponível emwww.theoryofchange.org
Alberta Consultative Health Research Network. (2001-2002) .Evaluability Assessment . Disponível em http://www.achrn.org
Almeida, Maria Cristina Salomão. (s.d.). Roteiro para elaboração de projeto.Disponível em www.fibrj.com.br/projetos_sociais.htm
Bardach, Eugene. (2000). A practical guide for policy analysis: the eightfol d path to more effective problem solving . New York: Seven Bridges Press, LLC.
Borden, L.M.; Perkins, D.F. (1999). Assessing your collaboration: A self evaluation tool . Journal of Extension, Vol.37, No.2.
Buvinich, Manuel Rojas. (1999). Ferramentas para monitoramento e avaliação de programas e projetos sociais. Unicef.
Referências Bibliográficas
Canada. Federal/Provincial/Territorial Committee of Officials for the Federal/Provincial/Territorial Ministers Responsible for Seniors. The Seniors’ policy handbook: a guide for developing and evaluating pol icies and programs for seniors . Junho de 2009.
Chianca, Thomaz; Marino, Eduardo; Schiesari, Laura. (2001).Desenvolvendo a cultura de avaliação em organizações da sociedade civil . São Paulo: Editora Global.
Curitiba. Prefeitura Municipal. (2002). Modelo colaborativo: Experiência e aprendizados do desenvolvimento comunitário em Curitiba . Curitiba: Instituto Municipal de Administração Pública.
Frank, F.; Smith, A. (2000). The partnership handbook . Escrito para Human Resources Development Canada. Disponível em www.hrdc-drhc.gc.ca/common/partnr.shtml
GETS .Grupo de Estudos do Terceiro Setor; United Way of Canada – Centraide Canada. Facilitando oficinas: da teoria à prática . São Paulo, 2002.
19/05/2010
110
Hodges, S.; Nesman, T.; Hernandez, M. (1999). Promising practices: building collaboration in systems of care. Systems of Care: Promising Practices in Children’s Mental Health, 1998 Series, Volume VI. Washington, D.C.: Center for Effective Collaboration and Practice, American Institutes for Research.
Höfling, Eloisa de Mattos. Estado e políticas (públicas) sociais . Cadernos Cedes, ano XXI, nº 55, novembro/2001.
Hourton, Douglas et al. (2003). Evaluating capacity development: experiences from research and development organizations around the w orld. IDRC.
Instituto do Banco Mundial. (s.d.). Introdução ao monitoramento & avaliação:apostila do participante.
Instituto Ecoar para a Cidadania. (2010). Oficina de Futuro . Disponível em www.ecoar.org.br/website/edu_oficina.asp
Referências Bibliográficas
Referências Bibliográficas
International Development Research Centre.Identifying the Intended Use(s) of an Evaluation . Abril de 2004. Disponível em www.idrc.ca
_________. Identifying the Intended User(s) of an Evaluation . Março de 2004. Disponível em www.idrc.ca
Marino, Eduardo. (2001). Avaliação: a mudança do paradigma . Artigo parte do livro Desenvolvendo a Cultura da Avaliação em Organizações da Sociedade Civil. São Paulo: Instituto Fonte
Marino, Eduardo; Cancellier, Everton L. P. de Lorenzi. (2004). Ciclo de vida de projetos Sociais: um estudo dos projetos de Vitae – Apoio à Cultura, Educação e Promoção Social . Artigo escrito para o Programa de Liderança para o Desenvolvimento Local Sustentável no Nordeste.
McNamara, Carter. Basic Guide to Program Evaluation . (1999). Disponível em www.mapnp.org
Neumann, Lycia Tramujas Vasconcellos; Neumann, Rogerio Arns. (2004). Desenvolvimento comunitário baseado em talentos e r ecursos locais - ABCD . São Paulo: Editora Global.
19/05/2010
111
Neumann, Lycia Tramujas Vasconcellos; Neumann, Rogerio Arns. (2004). Repensando o investimento social: a importância do protagonism o comunitário . São Paulo: Editora Global.
Osborne,D., & Gaebler, T. (1993). Reinventing Government: How the Entrepreneurial Spirit is Transforming the Public S ector . New York: Plume.
Patton, Michael Quinn. (1997). Utilization-focused evaluation: the new century text. Londres: Sage Publications.
_________. (2000). Utilization-focused evaluation in Africa . Training sessions delivered to the Inaugural Conference of the African Evaluation Association.
Pereira, Elson Manoel. (2007). Políticas públicas: conceitos e condicionantes . Disponível em http://www.alesc.sc.gov.br
Pogoda, Cristina Fedato; Pires, João Teixeir; Moretti, Telma. (s.d.). Avaliação de resultados de programas e projetos sociais . Estudo de caso elaborado para o VI SEMEAD.
Referências Bibliográficas
Rodrigues, Maria Cecília Prates. (1998). Avaliação e monitoramento . Texto base para a disciplina de Monitoramento e Avaliação ministrada no âmbito do curso de Gerência de Programas Sociais, promovido pela FESP/ISAPE/CPG.
Rua, Maria das Graças. (2000). Avaliação de políticas e programas: notas introdutórias . Mimeo.
São Paulo (Estado). Secretaria do Meio Ambiente. Coordenadoria de Planejamento Ambiental Estratégico e Educação Ambiental. Manual para Elaboração, Administração e Avaliação de Projetos Socioambienta is. São Paulo: SMA / CPLEA, 2005.
Schlithler. Célia Regina Belizia. (2004). Redes de desenvolvimento comunitário: iniciativas para a transformação social . São Paulo: Editora Global.
Schuckar. Myriam. (2005). Captação de recursos para projetos sociais . Disponível em www.usc.br/assecom/encontropsm1.ppt
Silva, Marcos José Pereira da. (2010). Elaboração de projetos sociais . Artigo publicado na Revista Carta na Escola. Disponível em www.acaoeducativa.org.br.
Referências Bibliográficas
19/05/2010
112
Stephanou, Luis. (s.d). Projetos sociais: importância para a sustentabilida de. Disponível em www.me.org.br.
Stephanou, Luis; Muller, Lúcia Helena; Carvalho, Isabel Cristina de Moura. (2003). Guia para a elaboração de projetos sociais . Porto Alegre: Editora Sinodal e Fundação Luterana de Diaconia.
United Way of America. (1996). Measuring program outcomes: a practical approach .
Whitaker. Francisco (1993). Rede: uma estrutura alternativa de organização . Série Procurando entender – Textos para discussão.
W.K. Kellogg Foundation. (2001). Logic Model Development Guide: Using Logic Models to Bring Together Planning, Evaluation, & Ac tion.
Worthen, Blaine. (2004). Avaliação de programas: concepções e práticas . São Paulo: Editora Gente.
Wright, J.D. ; Rodal, A.B. (1997). Partnerships and Alliances. New Public Management and Public Administration in Canada.
Referências Bibliográficas
Contato:
LYCIA TRAMUJAS VASCONCELLOS NEUMANN
(41) 9674-7490