14
MANUAL DE MONITORAMENTO E AVALIAÇÃO Versão 2.0

MANUAL DE MONITORAMENTO E AVALIAÇÃO - …€¦ · Roberto Endrigo Rosa ... Ricardo Peres Demicheli ... A elaboração deste Manual tem como principal objetivo divulgar como a instituição

Embed Size (px)

Citation preview

Page 1: MANUAL DE MONITORAMENTO E AVALIAÇÃO - …€¦ · Roberto Endrigo Rosa ... Ricardo Peres Demicheli ... A elaboração deste Manual tem como principal objetivo divulgar como a instituição

0 | P á g i n a

MANUAL DE MONITORAMENTO E

AVALIAÇÃO

Versão 2.0

Page 2: MANUAL DE MONITORAMENTO E AVALIAÇÃO - …€¦ · Roberto Endrigo Rosa ... Ricardo Peres Demicheli ... A elaboração deste Manual tem como principal objetivo divulgar como a instituição

____________________________________________________________________________________

1 | P á g i n a

CONSELHO DE ADMINISTRAÇÃO DA ANATER

Presidente

Jefferson Coriatec

Secretaria Especial de Agricultura Familiar e do Desenvolvimento Agrário (SEAD)

Valmisoney Moreira Jardim

Presidente da Agência Nacional de Assistência Técnica e Extensão Rural (ANATER)

Maurício Antônio Lopes

Presidente da Empresa Brasileira de Pesquisa Agropecuária (EMBRAPA)

Juarez Távora de Freitas Junior – Titular

Ministério da Agricultura, Pecuária e Abastecimento (MAPA)

Roberto Endrigo Rosa – Titular

Ministério do Planejamento, Desenvolvimento e Gestão

Antoninho Rovaris - Titular

Confederação Nacional dos Trabalhadores na Agricultura (CONTAG)

Marcos Rochinski - Titular

Federação dos Trabalhadores e Trabalhadoras na Agricultura Familiar (CONTRAF-BRASIL)

Daniel Kluppel Carrara - Titular

Confederação da Agricultura e Pecuária do Brasil (CNA)

João Nicédio Alves Nogueira - Titular

Organização das Cooperativas Brasileiras (OCB)

Argileu Martins da Silva – Suplente

Conselho Nacional dos Secretários de Estado de Agricultura (CONSEAGRI)

Page 3: MANUAL DE MONITORAMENTO E AVALIAÇÃO - …€¦ · Roberto Endrigo Rosa ... Ricardo Peres Demicheli ... A elaboração deste Manual tem como principal objetivo divulgar como a instituição

____________________________________________________________________________________

2 | P á g i n a

DIRETORIA EXECUTIVA DA ANATER

Presidente

Valmisoney Moreira Jardim

Diretor Administrativo

Ricardo Peres Demicheli

Diretor Técnico

José Maria Pimenta Lima

Diretor de Transferência Tecnologia

Cleber Oliveira Soares

ELABORAÇÃO

Gerente de Planejamento, Monitoramento e Avaliação.

Alencar Libânio

Analista de Planejamento, Monitoramento e Avaliação.

Laryssa Nascimento

Revisão e Design Gráfico

Jerusia Xavier Arruda

Page 4: MANUAL DE MONITORAMENTO E AVALIAÇÃO - …€¦ · Roberto Endrigo Rosa ... Ricardo Peres Demicheli ... A elaboração deste Manual tem como principal objetivo divulgar como a instituição

____________________________________________________________________________________

3 | P á g i n a

SUMÁRIO

1 - INTRODUÇÃO ....................................................................................................................... 4

2- METODOLOGIA DO MARCO LÓGICO ........................................................................... 5

3- MENSURAÇÃO ....................................................................................................................... 7

4 –MONITORAMENTO E AVALIAÇÃO ................................................................................ 7

5– INSTRUMENTOS DO PROCESSO.................................................................................... 12

6– REFERÊNCIAS ..................................................................................................................... 13

Page 5: MANUAL DE MONITORAMENTO E AVALIAÇÃO - …€¦ · Roberto Endrigo Rosa ... Ricardo Peres Demicheli ... A elaboração deste Manual tem como principal objetivo divulgar como a instituição

____________________________________________________________________________________

4 | P á g i n a

1 - INTRODUÇÃO

A Agência Nacional de Assistência Técnica e Extensão Rural – ANATER, nasce com a

expectativa de contribuir para a qualificação dos serviços de assistência técnica e extensão rural

no Brasil, a disseminação de tecnologias apropriadas para o público rural.

A elaboração deste Manual tem como principal objetivo divulgar como a instituição controla os

processos que agregam valor para sua estratégia e realiza o acompanhamento da evolução das suas

metas dos principais processos finalísticos.

O Monitoramento e Avaliação são partes essenciais de qualquer projeto, pois ao realizar essas

ações podemos identificar o que será feito verificando se as áreas dos projetos que estão indo ao

encontro dos objetivos e metas almejados no início do projeto, com isso, temos a possibilidade de

identificar os aspectos de um projeto que precisam ser ajustados, mitigando riscos e atendendo as

expectativas das partes interessadas.

As informações obtidas a partir da análise do monitoramento podem ajudar na tomada de decisões

sobre objetivos e investimentos que serão realizados no próprio projeto ou em outros projetos

futuros. Além disso, os indicies de desempenhos alcançados serão utilizados para uma avaliação.

"O que pode ser medido, pode ser melhorado (Peter Drucker)."

A Anater é uma pessoa jurídica de direito privado sem fins lucrativos, de interesse coletivo e de

utilidade pública, foi instituída pelo Decreto n° 8.252, de 26 de maio de 2014, sob a forma de

Serviço Social Autônomo.

A Agência possui metas definidas pelo Governo Federal em seu o contrato de gestão e para realizar

uma gestão baseada em resultados faz uso da metodologia do marco lógico para a elaboração de

seus projetos.

O Manual de Monitoramento e Avaliação está classificado em:

Page 6: MANUAL DE MONITORAMENTO E AVALIAÇÃO - …€¦ · Roberto Endrigo Rosa ... Ricardo Peres Demicheli ... A elaboração deste Manual tem como principal objetivo divulgar como a instituição

____________________________________________________________________________________

5 | P á g i n a

Metodologia do Marco Lógico: Descreve a metodologia do marco lógico e a matriz

lógica com seus diferentes elementos considerando as etapas mais importantes de um

projeto que permitem a sua apresentação sistemática, lógica e sucinta.

Mensuração: Descreve o conceito de mensuração e sua relevância para o monitoramento

através de indicadores de esforço e resultado.

Operacionalização do Monitoramento e Avaliação: Descreve os principais conceitos

do monitoramento e avaliação e seu processo de gestão nas distintas fases do ciclo de

projetos.

Instrumentos para Monitoramento e Avaliação: Descreve os produtos gerados de

monitoramento e avaliação a serem aplicados durante as distintas fases do projeto.

Anexos: Descreve o glossário de termos utilizados em projetos de cooperação técnica e

as principais referências do documento.

2- METODOLOGIA DO MARCO LÓGICO

2.1 Metodologias do marco lógico

A metodologia do marco lógico caracteriza-se pela definição de uma estrutura com priorização de

objetivos a serem alcançados, associados aos indicadores e à estratégia da instituição, possibilita

um processo contínuo de avaliação e aprendizagem, considerando o planejamento, de forma que

atenda às realidades organizacionais em sua elaboração.

É fundamental que a matriz lógica descreva a linha de base, os indicadores e as metas, tornando

possível sua mensuração, que as metas definidas sejam alcançáveis, e definidas dentro de um limite

de tempo realista. Os indicadores devem possuir uma base mensurável para sua avaliação e mostrar

quantidade, qualidade e tempo em relação ao objetivo proposto.

2.2 Matriz lógica

A matriz lógica é o principal instrumento utilizado na aplicação da metodologia do marco lógico.

Consiste em um conjunto de conceitos interdependentes que descrevem, de modo operacional e

organizado numa matriz, os aspectos mais importantes de um projeto de intervenção.

Page 7: MANUAL DE MONITORAMENTO E AVALIAÇÃO - …€¦ · Roberto Endrigo Rosa ... Ricardo Peres Demicheli ... A elaboração deste Manual tem como principal objetivo divulgar como a instituição

_______________________________________________________________________________

6 | P á g i n a

Essa descrição permite, em primeiro lugar, verificar se um projeto está bem estruturado e, em segundo

lugar, o acompanhamento sistemático e uma avaliação mais fácil e mais objetiva.

Ações adotadas na metodologia do marco lógico:

Identificar e analisar os problemas: Através da comparação entre dados de desempenho e

os padrões estabelecidos;

Estabelecer os objetivos apropriados: Estabelecer padrões de desempenho que indiquem o

progresso rumo aos objetivos de longo prazo;

Identificar e descrever a linha de base: Identificar metas, cronogramas, planos de ações;

Definir os indicadores e as metas para medir o alcance dos resultados: Medir a evolução

dos resultados;

Descrever avanços: Monitorar os avanços obtidos;

Identificar as externalidades que são críticas para o projeto: Identificar os fatores críticos

que podem impedir a evolução do projeto.

Realizar o monitoramento e a avaliação do projeto: Consiste em acompanhar e avaliar a

execução da estratégia e metas estabelecidas.

A implantação da metodologia do marco lógico para elaboração de projetos fornece a base para o

desenvolvimento de ações de M&A, a partir da coleta de dados de qualidade a serem utilizados na

tomada de decisões, contribuindo para o alcance do propósito do projeto.

É fundamental que a matriz lógica descreva a linha de base, os indicadores e as metas, de forma a

possibilitar sua medição entre o que foi planejado e executado, para o alcance dos resultados. Os

indicadores devem possuir uma base mensurável para sua avaliação e mostrar quantidade. É a partir

dos indicadores que se registra o momento inicial do projeto (referências iniciais) para que seja possível

medir os avanços dos resultados ao seu término, para satisfazer as necessidades para as quais ele foi

iniciado comparando a situação inicial e final, verificando as mudanças ocorridas, a eficiência das

atividades implementadas e os possíveis impactos obtidos. Isso inclui planejamento, garantia e controle

de qualidade.

Page 8: MANUAL DE MONITORAMENTO E AVALIAÇÃO - …€¦ · Roberto Endrigo Rosa ... Ricardo Peres Demicheli ... A elaboração deste Manual tem como principal objetivo divulgar como a instituição

____________________________________________________________________________________

7 | P á g i n a

3- MENSURAÇÃO

3.1 Conceitos de Mensuração

Conceito de mensuração adotado pela Anater é definido pelo autor Douglas W Hubbard. O autor define

que a mensuração "é um conjunto de observações que reduzem a incerteza quando o resultado é

expresso como uma quantidade".

3.2 Mensuração e Monitoramento

Kaplan e Norton (1997) utilizam-se de um velho jargão da administração para justificar a importância

da atividade de monitoramento e controle: “O que não é medido não pode ser gerenciado”.

Esta afirmativa faz parte do princípio de que você só pode avaliar e saber, com certeza, se atingiu

determinado resultado a partir do momento em que possui um indicador para medir o resultado.

A Anater, atualmente, tem utilizado esse conceito adotando, inicialmente, a implantação dos

indicadores de resultado e esforço visando identificar a evolução do acompanhamento da sua estratégia

organizacional e controle dos seus processos finalísticos.

4 –MONITORAMENTO E AVALIAÇÃO

4.1 Monitoramento e Avaliação

O Monitoramento é uma ação contínua utilizada para acompanhar e tomar decisões corretivas na

gestão e informar as partes interessadas sobre a evolução dos resultados planejados. Utiliza a coleta e

a análise de dados, e os indicadores predeterminados de processo e resultado. O monitoramento é um

processo que deve ser periódico para apontar desvios, necessidade de atualizações e ajustes ao projeto,

identificando experiências exitosas e lições aprendidas que permitem aprimorar o processo.

A Avaliação consiste em uma análise objetiva e sistemática do desenvolvimento de um projeto, com

base nas necessidades da organização e análise da situação, avaliando a relevância, a eficácia, a

eficiência, o impacto e a sustentabilidade do projeto.

Com isso, será feita uma análise da situação e as necessidades da organização.

Necessidades da organização:

Declaração da situação do problema ou oportunidade a ser abordado, incluindo o valor

a ser entregue à organização;

Page 9: MANUAL DE MONITORAMENTO E AVALIAÇÃO - …€¦ · Roberto Endrigo Rosa ... Ricardo Peres Demicheli ... A elaboração deste Manual tem como principal objetivo divulgar como a instituição

____________________________________________________________________________________

8 | P á g i n a

Identificação das partes interessadas afetadas; e

Identificação do escopo.

Análise da situação:

Identificação de estratégias, metas e objetivos organizacionais;

Identificação de causas-raiz do problema ou principais contribuintes de uma

oportunidade;

Análise de lacunas (gaps) de capacidade necessárias para o projeto em relação

às capacidades existentes na organização;

Identificação dos riscos;

Identificação dos fatores críticos de sucesso;

Identificação dos critérios de decisão pelos quais os vários cursos de ação

podem ser avaliados.

4.2 Critérios de avaliação:

Relevância: verifica em que medida o propósito do projeto permanece consistente com as

necessidades dos beneficiários e das contrapartes, tendo em vista potenciais mudanças do

cenário do país.

Eficácia: verifica em que medida os resultados esperados avançaram ou foram alcançados,

contribuindo para o propósito do projeto.

Eficiência: mede a utilização dos recursos na implementação das atividades ou ações.

Impacto: mede os efeitos alcançados da finalidade do projeto em longo prazo. É o objetivo

final para o qual o projeto contribui.

Sustentabilidade: refere-se à continuação dos benefícios após a conclusão de um projeto. É

relacionada ao desenvolvimento de capacidades, recursos e a apropriação das atividades do

projeto pelos beneficiários e contrapartes.

Page 10: MANUAL DE MONITORAMENTO E AVALIAÇÃO - …€¦ · Roberto Endrigo Rosa ... Ricardo Peres Demicheli ... A elaboração deste Manual tem como principal objetivo divulgar como a instituição

____________________________________________________________________________________

9 | P á g i n a

Considerações sobre monitoramento e avaliação:

PARÂMETROS MONITORAMENTO AVALIAÇÃO

Frequência Contínuo, ao longo do projeto. Em um momento determinado (ex: post, em

médio prazo ou durante mudança de fase do

projeto).

Finalidade

básica

Orientar o projeto e fornecer

informações oportunas sobre os

progressos realizados.

Avaliar o desempenho do projeto e aprender com

o passado para melhorar futuras programações.

Foco de análise Coletar e analisar informações

pertinentes sobre atividades, processos

e produtos (sem esquecer o resultado

final).

Avaliar a relevância, eficácia, eficiência, impacto

e sustentabilidade do projeto.

Responsáveis

pela execução

Equipe do projeto e contrapartes. Equipe do projeto, contrapartes e outras partes

interessadas (internas e externas).

Público-alvo do

relatório

DIREX, Gerentes e todos os

envolvidos

Gerentes de projeto, equipe do projeto,

contrapartes, doadores e outras partes interessadas

(internas e externas).

As atividades de monitoramento e avaliação são complementares:

MONITORAMENTO AVALIAÇÃO

• Torna mais claros os resultados do projeto.

• Conecta as atividades e seus recursos aos objetivos.

• Traduz objetivos em indicadores de desempenho e

define metas.

• Faz uma coleta de rotina desses indicadores, compara

resultados atuais com as metas.

• Informa sobre o progresso aos Diretores, e os alerta de

potenciais problemas.

• Analisa por que os resultados esperados foram

ou não alcançados.

• Identifica potenciais desvios para o alcance dos

resultados.

• Mede o impacto e a sustentabilidade dos

resultados do projeto.

• Explora novos resultados não esperados.

• Fornece lições aprendidas, oferece

recomendações para melhoria.

• Possibilita conhecer as conclusões do projeto e

elaborar planos de ação.

Page 11: MANUAL DE MONITORAMENTO E AVALIAÇÃO - …€¦ · Roberto Endrigo Rosa ... Ricardo Peres Demicheli ... A elaboração deste Manual tem como principal objetivo divulgar como a instituição

____________________________________________________________________________________

10 | P á g i n a

4.3 Etapas do Monitoramento

São características das etapas de Monitoramento e Avaliação dos projetos:

Monitorar os desvios relacionados ao planejamento.

Adotar ações corretivas para harmonizar o executado com o planejado.

Avaliar as solicitações de alteração do projeto que envolvam escopo, prazo e custo.

Adequar os resultados do projeto, quando necessário.

Proceder aos ajustes necessários e obter a aprovação dos doadores do projeto.

4.4 Processos de Gestão do Monitoramento e Avaliação

Nos aspectos principais do monitoramento, podemos afirmar que o mesmo pode ser executado

seguindo algumas “etapas” ou, como afirma Shapiro (2002), as fases que envolvem o monitoramento.

Essas fases, se bem executadas, favorecem o sucesso da organização do monitoramento em planos,

programas ou projetos

Etapas do M &A

1. Análise: fase que consiste na identificação das necessidades em ATER que o projeto deverá abordar,

no planejamento, concepção e elaboração dos documentos do projeto, utilizando a metodologia do

marco lógico. O M&A deve ser iniciado a partir do momento em que são definidos os resultados a

serem alcançados no projeto e os indicadores, metas e linha de base que serão adotados para sua

medição. Nessa fase, é desenvolvida a Matriz Lógica, cujos elementos (em especial a linha de base e

os indicadores de resultado e suas metas) são fundamentais para uma execução realística e eficiente da

execução do projeto e para o desenvolvimento das atividades de M&A

2. Execução: nessa fase os resultados do projeto são entregues, os recursos são gerenciados e o

progresso é monitorado para manter os gestores informados e possibilitar a tomada de decisões. Nesse

momento, o processo de M&A ocorre com base no planejado, incluindo a coleta de informações sobre

o progresso, a análise de desempenho, a elaboração de relatórios do projeto e a disseminação de

informações.

3. Avaliação: fase que corresponde ao fim do ciclo de gestão de projetos, quando são utilizadas as

informações da etapa anterior para a realização da avaliação e análise do desempenho final do projeto

e de seu impacto, da sua sustentabilidade, da documentação de conclusões e da disseminação de lições

Page 12: MANUAL DE MONITORAMENTO E AVALIAÇÃO - …€¦ · Roberto Endrigo Rosa ... Ricardo Peres Demicheli ... A elaboração deste Manual tem como principal objetivo divulgar como a instituição

____________________________________________________________________________________

11 | P á g i n a

aprendidas. Essas conclusões serão utilizadas para a melhoria contínua de programas de cooperação

técnica, podendo servir, também, como insumos para avaliações independentes ou externas.

M&A no ciclo de gestão de projetos da cooperação técnica:

DESENHO EXECUÇÃO AVALIAÇÃO

• Desenvolver a matriz lógica

considerando as atividades de

M&A a serem incluídas nas

demais fases do projeto.

• Garantir que os critérios de

M&A sejam incorporados ao

projeto.

• Realizar atividades de M&A, aplicando

os instrumentos:

1. Relatório Técnico.

2. Relatório de Desempenho.

• Garantir que os critérios de M&A sejam

aplicados durante a execução dos

projetos.

• Realizar atividades de M&A ao

final do projeto, aplicando o

instrumento:

1. Relatório de Avaliação

Final.

• Documentar e disseminar as

lições identificadas para

fomentar uma melhoria

continuada.

Para as fases de execução e avaliação dos projetos, M&A considera o que fazer, como fazer, quando

fazer e quem tem que fazer.

Processo de Gestão do M&A:

FASE EXECUÇÃO AVALIAÇÃO

Instrumentos de

gestão Relatório Técnico Relatório de

Desempenho Relatório de Avaliação Final

Atividade Monitoramento do

projeto Avaliação parcial do projeto Avaliação final do projeto

Periodicidade Semestral Bianual A cada cinco anos

Executor Analistas Analista Analista - Anater

Aprovação Coordenador da

Unidade Coordenador da Unidade Presidência

Comunicação Intranet/Internet Site Intranet / Internet

Documento impresso

Page 13: MANUAL DE MONITORAMENTO E AVALIAÇÃO - …€¦ · Roberto Endrigo Rosa ... Ricardo Peres Demicheli ... A elaboração deste Manual tem como principal objetivo divulgar como a instituição

____________________________________________________________________________________

12 | P á g i n a

5– INSTRUMENTOS DO PROCESSO

Os instrumentos do processo de gestão de M&A dos TC são:

1. Relatório Técnico: instrumento para o monitoramento da execução dos Instrumentos Específicos

de Parceria, utilizado para coletar e consolidar as informações de gestão e os progressos realizados no

projeto. Por meio desse relatório é possível identificar necessidades de adequação para alcançar a meta.

2. Relatório de Desempenho: instrumento para a avaliação de desempenho dos TC, em que se revisa,

de forma crítica, o quanto se avançou para alcançar os resultados estabelecidos na sua matriz lógica,

em termos de relevância, eficácia, eficiência, impacto e sustentabilidade. A partir dessa análise,

avanços, resultados alcançados ou áreas que merecem intervenções para melhorar seu desempenho

podem ser identificados.

3. Relatório de Avaliação Final: instrumento que sintetiza as conclusões e lições aprendidas do

projeto. O objetivo do documento é dar uma visão da gestão do projeto e de como suas atividades

contribuíram para o alcance de seu propósito. Este deverá ser uma referência para a elaboração de um

plano de ação que contemple linhas estratégicas orientadoras para futuros projetos a serem elaborados

com as contrapartes.

As equipes de projeto precisam conhecer o que funcionou ou não, onde, com quem, em que

circunstâncias, e porquê, para tirar conclusões e identificar de lições aprendidas. Isso requer capacidade

de análise do contexto de execução do projeto.

Os resultados do M&A devem ser divulgados nos níveis político e institucional, e ao público em geral,

com o objetivo de potencializar o uso das avaliações nos processos de decisão política e de gestão dos

projetos e de aprofundar o conhecimento por meio do registro de conclusões e de evidências sobre as

temáticas avaliadas.

Page 14: MANUAL DE MONITORAMENTO E AVALIAÇÃO - …€¦ · Roberto Endrigo Rosa ... Ricardo Peres Demicheli ... A elaboração deste Manual tem como principal objetivo divulgar como a instituição

____________________________________________________________________________________

13 | P á g i n a

6– REFERÊNCIAS

1. Pfeiffer, P. (2006). O Quadro Lógico: Um método para planejar e gerenciar

mudanças. Planejamento e Orçamento governamental. Coletânea, Brasília: ENAP.

2. Pfeiffer, P. (2011). Gerenciamento de projetos de desenvolvimento. Conceitos,

instrumentos e aplicações. Colaboração: Giovana Magalhães. Rio de Janeiro: Editora

Brasport.

3. Project Management Institute. (2013a). A guide to the project management body of

knowledge (PMBOK® guide) – Fifth edition. Newtown Square, PA: Author.

4. Como mensurar qualquer coisa encontrando o valor do que é intangível nos

negócios/Douglas W Hubbard.