Upload
rui-m-c-pimenta
View
215
Download
0
Embed Size (px)
Citation preview
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
1/99
GUIA DE AVALIAO
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
2/99
Pgina 2 de 99
Ficha tcnica
Ttulo:Guia de Avaliao
Autores:Maria Manuela AfonsoMrio Ribeiro
Edio:
Gabinete de Avaliao e Auditoria InternaInstituto Portugus de Apoio ao DesenvolvimentoMinistrio dos Negcios Estrangeiros2 Edio: Janeiro de 2009
Contacto:Av. da Liberdade, 192, 1 1250-147 LisboaTel. (351) 21 317 67 00
Website:http://www.ipad.mne.gov.pt
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
3/99
Pgina 3 de 99
NDICEIntroduo............................................................................................................................................................ 4
A quem se destina este guia........................................................................................................................... 5
I Noes Bsicas.............................................................................................................................................. 7
1- Avaliao: definio e limites...................................................................................................................... 72 - A avaliao no ciclo do projecto ................................................................................................................ 83 O acompanhamento e a avaliao ........................................................................................................... 94 Finalidades e objectivos da avaliao .................................................................................................... 125 Critrios de avaliao.............................................................................................................................. 127 - Tipos de avaliao ................................................................................................................................... 148 Caractersticas de uma boa avaliao.................................................................................................... 189 tica/deontologia da avaliao ............................................................................................................... 21
II O processo de avaliao externa................................................................................................................ 25
1 - Planeamento da avaliao....................................................................................................................... 252 Elemento/grupo de acompanhamento.................................................................................................... 263 - Termos de Referncia (TdR) ................................................................................................................... 264 - Escolha dos avaliadores .......................................................................................................................... 275 - Plano de trabalho..................................................................................................................................... 296 - Fase documental ..................................................................................................................................... 327 - Trabalho de campo .................................................................................................................................. 348 - Relatrio final da avaliao...................................................................................................................... 359 - Publicao e disseminao ..................................................................................................................... 43
III A Auto-avaliao ........................................................................................................................................ 46
3.1 - Razes e objectivos.............................................................................................................................. 46
3.2 Quando se faz...................................................................................................................................... 473.3 Quem faz.............................................................................................................................................. 473.4 - Como se faz.......................................................................................................................................... 473.5 A quem se destinam os resultados...................................................................................................... 48
IV Mtodos e tcnicas de avaliao............................................................................................................... 53
4.1 A Recolha de dados............................................................................................................................. 534.2 A anlise dos dados............................................................................................................................. 564.3 Tcnicas e ferramentas........................................................................................................................ 57
4.3.1 - Abordagem do quadro lgico ........................................................................................................ 584.3.2 rvore de problemas .................................................................................................................... 594.3.3 rvore de objectivos e de efeitos ................................................................................................. 624.3.4 rvore de decises ....................................................................................................................... 65
4.3.5 Entrevistas .................................................................................................................................... 674.3.6 Inquritos/questionrios (Survey)................................................................................................. 714.3.7 Grupo de Discusso (Focus Group)............................................................................................. 754.3.8 - Avaliao dos efeitos e dos impactos ........................................................................................... 784.3.9 Painel de peritos ........................................................................................................................... 804.3.10 - Anlise custo-benefcio e anlise custo-eficcia......................................................................... 814.3.11 Estudos de caso ......................................................................................................................... 834.3.12 Anlise SWOT ............................................................................................................................ 854.3.13 - Mtodos Participativos ................................................................................................................ 874.3.14 Anlise multicritrios................................................................................................................... 904.3.15 - Anlise social e cultural ............................................................................................................... 924.3.16 - Mtodos de avaliao rpida....................................................................................................... 94
Bibliografia......................................................................................................................................................... 97
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
4/99
Pgina 4 de 99
Introduo
O sucesso das intervenes de desenvolvimento1 passa pela forma como as mesmas so
acompanhadas e avaliadas. Os resultados da avaliao desempenham um papel primordial na
tomada de decises no que se refere formulao de polticas, elaborao de estratgias,
afectao de recursos e exemplaridade de certas prticas. As lies tiradas atravs da experincia
permitem um acrscimo de eficcia e de eficincia da ajuda.
Para assegurar que a ajuda fornecida de forma eficaz e transparente, na linha das necessidades
dos pases parceiros e na ptica da reduo da pobreza, a avaliao essencial na medida em
que d conta do sucesso das intervenes e, ao mesmo tempo, permite que as lies aprendidas
possam ser incorporadas nas actividades de acompanhamento de intervenes em execuo e na
formulao e execuo de novas intervenes.
A avaliao permite no s dar conta dos resultados das actividades de cooperao e promover a
transparncia como tambm prestar contas perante os contribuintes, para alm de permitir, ainda,
responder s obrigaes perante a comunidade internacional do desenvolvimento. Os doadores
tm a obrigao de prestar contas aos parceiros e opinio pblica relativamente s aces
conduzidas e aos compromissos assumidos.
Numa ptica de gesto centrada nos resultados, a avaliao s til se as concluses e
recomendaes produzidas constiturem um valor acrescentado. A existncia de informao
credvel, pertinente e objectiva sobre os resultados das intervenes de desenvolvimento
fundamental para os resultados da avaliao e para se saber o que produz bons e menos bons
resultados e o que deve ser feito para os melhorar. As constataes, recomendaes e lies
aprendidas podem, e devem, ser integradas no processo de tomada de decises nos seus diversosnveis (do poltico ao operacional).
O Instituto Portugus de Apoio ao Desenvolvimento (IPAD) , na cooperao portuguesa, o rgo
central de coordenao da poltica de cooperao, competindo-lhe, dentro desta concepo
Proceder identificao, anlise, acompanhamento e avaliao dos resultados da execuo, dos
programas, projectos e aces de cooperao para o desenvolvimento, com vista a melhorar a
racionalidade, eficcia e eficincia da ajuda2. O processo de avaliao compete ao Gabinete de
1 Instrumento de Ajuda utilizado por um parceiro (doador ou no) com vista promoo do desenvolvimento.Por exemplo: projectos, programas, conselho ou parecer sobre polticas, etc.2 Art. 3, alnea h), Decreto-Lei n 120/2007, de 27 de Abril, DR 1 srie.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
5/99
Pgina 5 de 99
Avaliao e Auditoria Interna (GAAI)3 que deve, por isso, ser capaz de promover a avaliao da
cooperao portuguesa e difundir/disseminar os resultados dessa experincia.
No documento Uma Viso Estratgica para a Cooperao Portuguesa assumida a importncia
da avaliao no processo de tomada de deciso poltica e tcnica da Cooperao Portuguesa
sendo urgente recuperar o tempo perdido. A avaliao deve ser entendida como um mecanismo
transversal a toda a cooperao. assim fundamental criar uma cultura de avaliao e aumentar a
nossa capacidade tcnica nesta rea, conseguindo nomeadamente acelerar procedimentos que
permitam avaliar mais e melhor.4
A quem se destina este guia
A ausncia de documentos orientadores em lngua portuguesa sobre o papel e a importncia, bem
como sobre as metodologias da avaliao na cooperao para o desenvolvimento, a par da
ausncia de formao dos agentes da cooperao nesta rea, constituem importantes limitaes
ao desenvolvimento de trabalhos neste mbito, dificultando o entendimento e o dilogo sobre a
matria.
O presente guia foi elaborado para tentar responder s lacunas atrs referidas e contribuir para acriao de uma mais valia tcnica sobre a temtica, tentando sistematizar/organizar os principais
aspectos (os mais pertinentes) da avaliao da cooperao. Destina-se a todos aqueles que
trabalham em actividades de avaliao da Ajuda, quer dentro, quer fora do IPAD.
O guia tem como objectivo fornecer, a quem lida com esta rea, um conhecimento da terminologia,
dos princpios, abordagens e metodologias da avaliao, de forma a permitir uma gesto eficaz do
seu processo. Pretende, tambm, esclarecer os avaliadores externos contratados pelo IPAD sobre
o que se consideram ser as boas prticas da avaliao e o que o IPAD espera deles. Procura,assim, responder necessidade de produzir avaliaes com as caractersticas atrs anunciadas,
definir as regras a seguir bem como as normas e as exigncias fundamentais de uma avaliao
til, transparente e credvel.
Os princpios e boas prticas da avaliao realados neste guia devem fazer parte quer das auto-
avaliaes, quer das avaliaes externas. Contudo, no inteno do guia tratar de todas as
questes tcnicas que envolvem a avaliao. Por isso, as questes relativas recolha e anlise de
3 Art. 7, Portaria n 510/2007, de 30 de Abril, DR 1 srie.4 Uma Viso Estratgica para a Cooperao Portuguesa: pp. 54. Resoluo de Conselho de Ministros196/2005, de 22 de Dezembro.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
6/99
Pgina 6 de 99
dados, por serem da responsabilidade dos avaliadores, so tratados de forma menos aprofundada,
ainda que sejam includas algumas referncias bibliogrficas para o seu aprofundamento.
O guia est estruturado em 4 partes fundamentais: na primeira (captulo I) so apresentadas as
noes bsicas da avaliao; na segunda descrito o processo subjacente a uma avaliao
externa, o tipo de avaliao dominante na Cooperao Portuguesa; na terceira parte apresenta-se
o processo de auto-avaliao e, na quarta, so descritos os principais mtodos e tcnicas de
avaliao.
Este documento o resultado de um trabalho de pesquisa interno sobre a matria e, tambm, um
reflexo da experincia e do caminho que entretanto foi percorrido no que diz respeito avaliao.
Sintetiza o trabalho e a longa experincia desenvolvidos pelas agncias doadoras internacionais e
a experincia recente da cooperao portuguesa em matria de avaliao de intervenes de
desenvolvimento. No pretende ser um guia acabado mas antes um instrumento que ser
gradualmente aperfeioado medida que o conhecimento e a prtica de avaliao da Cooperao
Portuguesa se aprofundarem.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
7/99
Pgina 7 de 99
I Noes Bsicas
1- Avaliao: definio e limites
Avaliao um termo genrico utilizado em todas as prticas de avaliao, mas tambm tem um
significado especfico. Ele indica a relevncia, a eficcia, a eficincia, o impacto e a
sustentabilidade de um projecto ou programa. uma procura sistemtica de resposta sobre as
intervenes de desenvolvimento e pode ser realizada em diferentes momentos ao longo do ciclo
do projecto. Pode enfatizar muitas questes mas, independentemente de cada questo, implica
recolher, analisar, interpretar e disseminar informao.
A avaliao , normalmente, realizada aps a concluso de uma interveno de desenvolvimento,
por pessoas externas mesma. Contudo, muitas agncias de cooperao fazem exerccios de
avaliao a meio percurso para averiguar se os resultados das intervenes esto a ser os
previstos ou se necessrio proceder a correces para que os objectivos iniciais possam ser
alcanados.
De acordo com o CAD, a avaliao um processo to sistemtico e objectivo quanto possvel queconsiste em apreciar um projecto, programa ou poltica em curso ou j concludo, a sua concepo,
execuo e resultados. Destina-se a determinar a relevncia e grau de consecuo de objectivos,
bem como a eficincia, eficcia, impacto e sustentabilidade em termos de desenvolvimento. Uma
avaliao deve fornecer informaes credveis e teis, e permitir que as lies aprendidas sejam
incorporadas no processo de deciso dos beneficirios e dos doadores5.
Uma distino que fundamental fazer, dados os equvocos frequentes, a que diz respeito s
diferenas entre avaliao, auditoria e acompanhamento (quadro 1). No ponto 1.3 so abordadas
de forma mais aprofundada as relaes entre avaliao e acompanhamento, dada a sua
complementaridade e interaco.
Enquanto o acompanhamento/monitorizao pode explicar o que est a acontecer, a avaliao
permite explicar porque que isso est a acontecer e, ainda, aprender e partilhar lies
importantes.
5 OCDE, 1992, Princpios do CAD para uma Ajuda Eficaz: 156. Paris.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
8/99
Pgina 8 de 99
Quadro 1 Diferenas entre acompanhamento, auditoria e avaliaoAcompanhamento Auditoria Avaliao
Frequncia/ tempo Peridico, regular.Contnuo, durante aimplementao.
Episdica, anual ou final. Episdica, a meio percurso,no final.Ocasional, durante e/ou apsa implementao.
Aco principal Registo, superviso,comparao com o plano.
Controlo daconformidaderelativamente s normas.
Apreciao, medio dosefeitos, atribuio decausalidades.
Objectivos Melhorar a eficcia interna,modificar o plano deactividades ou a afectaode recursos.Recolha de informao paramelhorar a tomada de
decises sobre a gestoimediata das actividades queesto a ser acompanhadas.
Garantir o respeito dasnormas, acabar com asprticas no conformes.
Melhorar a eficcia externa,os efeitos, o impacto da futuraprogramao.Recolha de informao paradeterminar a relevncia,eficcia, eficincia, impacto e
sustentabilidade de umainterveno dedesenvolvimento.
Fontes deinformao
Informaes fornecidasregularmente pelo sistemade gesto.
Informaes deacompanhamento dagesto.
Informaes deacompanhamento, estudos,entrevistas, anlises,inquritos.
Entidade queencomenda
Chefe do projecto,responsvel da poltica.
Autoridades daorganizao ou suatutela.
Autoridades que decidemsobre a realizao do projectoou da poltica.
Quem efectua Equipa responsvel pelaexecuo do projecto ou dapoltica.
Auditores especialistas eacreditados (internos ouexternos).
Avaliadores exteriores aoprojecto ao poltica (internosou externos organizao)
com a participao, em certoscasos, da equipa do projecto(auto-avaliao).
Principais /utilizadores/destinatrios dorelatrio
Chefe do projecto, equipa deexecuo. Gestores internos.
Autoridades daorganizao ou suatutela.
Autoridades que tm quedecidir sobre a realizao doprojecto ou da poltica. Grupoalargado de decisores.Pblico em geral, opiniopblica, contribuintes.
A auditoria assegura que a execuo do projecto se efectua dentro do respeito pelas regras e
procedimentos da organizao. um controlo da legitimidade e da conformidade relativamente snormas de funcionamento definidas pela Lei, e pelos regulamentos, directivas, oramentos,
circulares, notas internas, etc. A auditoria cobre parcialmente a avaliao na medida em que
estuda a realizao de planos de trabalho propostos mas no se interessa nem pela pertinncia
nem pelo impacto das intervenes.
2 - A avaliao no ciclo do projecto
Na vida de um projecto ou programa de cooperao para o desenvolvimento a avaliao assume
diferentes formas, objectivos e funes, consoante o momento em que realizada, tornando-senecessrio clarific-las. Em funo da fase do ciclo do projecto fala-se em:
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
9/99
Pgina 9 de 99
Apreciao (appraisal): quando se faz a anlise do projecto, antes de ser tomada a deciso
sobre o seu financiamento. Este estudo de viabilidade e do mrito econmico do
projecto/programa pode ser feito pelos servios da entidade financiadora, ou atravs do recurso
a consultores externos, utilizando metodologias prprias que no se enquadram no actual guia.
Acompanhamento/monitorizao (monitoring): quando se faz a apreciao contnua sobre a
forma como os recursos esto a ser utilizados e o progresso das actividades, durante a
implementao do projecto. Visa verificar se o projecto est a ser implementado de acordo com
o planeado e, quando necessrio, faz recomendaes de correco. Esta tarefa normalmente
desempenhada por quem est directamente envolvido na gesto do projecto, pela entidade
financiadora e/ou executora, e pelos representantes locais da cooperao (Conselheiros/Adidos
para a Cooperao, no caso portugus).
Avaliao (evaluation): quando se faz uma apreciao no percurso (por exemplo, no final de
uma determinada fase), no fim ou aps a concluso do projecto, sobre os efeitos e resultados
do projecto ou programa, esperados ou no.
Os conceitos de apreciao, acompanhamento e avaliao devem, por isso, ser claramente
separados, distinguindo-se, entre outras razes, pelo momento da sua realizao, como a figura
ilustra.
Figura 1 Avaliao no ciclo do projectoApreciao Acompanhamento Avaliao
---------------------- eixo temporal--------------------------------------------------------- Avaliao
ideia do concepo formalizao; execuo fim do projecto
projecto incio do projecto do projecto
Quer a apreciao, quer o acompanhamento, so fundamentais para a avaliao na medida em
que a forma como o projecto concebido e a qualidade da informao produzida durante a suaexecuo, so a base para o seu xito. A avaliao pressupe a existncia de objectivos
suficientemente precisos para poderem ser rigorosamente confrontados com os resultados. Um
projecto mal elaborado ou uma deficiente/inexistente recolha de informao durante a vida do
projecto colocam em causa a possibilidade de realizar uma avaliao com sucesso.
3 O acompanhamento e a avaliao
Embora sejam tarefas distintas, a ligao entre avaliao e acompanhamento muito estreita e
complementar. O acompanhamento uma importante tarefa no ciclo do projecto e uma fonte chavede informao para a avaliao salientando, ao mesmo tempo, que as duas funes preenchem
diferentes objectivos e no podem ser tratadas como se fossem sinnimos.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
10/99
Pgina 10 de 99
O acompanhamento um termo que significa ver, descrever o que existe e captar o que realmente
acontece. fundamentalmente um processo interno, realizado pelos responsveis pela execuo
do projecto/programa e efectuado para apreciar o progresso em intervalos regulares na sua vida.
Pode, tambm, ser um processo contnuo de recolha e anlise de informao para responder
gesto imediata das actividades que esto a ser realizadas. Permite identificar a existncia de
desfasamentos entre o nvel de execuo e o previsto e rapidamente adoptar medidas correctivas.
Centra-se no estado de avano do projecto/programa e efectua o controle por comparao com o
planeado. Os indicadores e os mtodos para verificar o progresso so normalmente includos na
fase de concepo mas, para serem efectivos, necessitam de ser compreendidos e apropriados
pela equipa e pelos detentores de interesse da interveno de desenvolvimento.
A avaliao um processo ulterior de identificao e reflexo sobre os efeitos do que foi feito e
apreciao do seu valor. Preocupa-se com a relevncia, eficcia, eficincia, impacto e
sustentabilidade do que foi feito. Mais espordica que o acompanhamento, facilitada pelas
informaes e anlises do acompanhamento, mas utiliza fontes de informao suplementares.
Parte do princpio que questes especficas que dizem respeito eficcia e ao impacto no so
abordadas pelo acompanhamento. Alguns tipos de avaliao, particularmente a no percurso, a
auto-avaliao e as avaliaes no final de fases, so muito prximas do acompanhamento. Cada
vez mais se reconhece que as avaliaes ex-post e de impacto de certos tipos de intervenes de
desenvolvimento centradas nas populaes, so muito difceis de realizar se o sistema de
acompanhamento no tiver recolhido os dados de base necessrios. Reconhece-se tambm, de
forma crescente, o valor das avaliaes participativas que combinam as competncias e os pontos
de vista de todos os detentores de interesse nas intervenes a avaliar.
A problemtica da sustentabilidade e do impacto das intervenes vem colocar a questo sobrecomo que as actividades de acompanhamento e de avaliao so planeadas e implementadas.
H uma relao ntima entre estas duas actividades. Quanto mais recursos so afectos ao
acompanhamento, menos recursos so necessrios para as avaliaes tradicionais e maior nfase
se coloca nos estudos de impacto. Da mesma forma, quanto melhores so os mtodos de gesto
do ciclo do projecto, incluindo, claro, o acompanhamento, mais fcil a tarefa do avaliador,
porque os dados fundamentais sobre a realizao dos objectivos e os dados para os indicadores
de resultados foram recolhidos de forma rotineira.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
11/99
Pgina 11 de 99
Acompanhamento Questes aformular
Avaliao
Acompanhar olhar e ver, ouvir e escutar, constatar
e anotar, clarificar e fazer o relatrio.
O que ? Avaliar basear-se em todo o processo da
monitorizao mas avanar na reflexo sobre oque aconteceu, analisar os efeitos e, apreciar ovalor global do que foi feito.
O acompanhamento feito para assegurar quetodas as pessoas que necessitam de terconhecimento sobre uma interveno ou actividadede desenvolvimento so devidamente informadas.Tambm feito para que possam ser tomadas asmelhores decises de gesto diria e possam serprestadas contas de forma responsvel e rigorosasobre a forma como os recursos e as oportunidadesesto a ser usados.
Porqu? A avaliao feita para que as pessoasenvolvidas numa actividade possam reflectirsobre o que foi e o que no foi alcanado. Elaspodem descobrir as potencialidades e fraquezasde um programa, os sucessos e fracassos,chegar a uma apreciao sobre se a actividadecorrespondeu ao custo e esforo envolvidos eaprender com a experincia para o trabalhofuturo.
Os que so responsveis pela realizao dotrabalho precisam acompanhar o que fazem, ver seas coisas esto a ser executadas de acordo com oplaneado ou se necessitam de ser ajustadas.Tambm precisam de ter registos adequados erelatrios para outras pessoas ou organizaes quenecessitem saber o que est a acontecer e paraquem tem responsabilidades superiores sobre o queest a ser feito.
Quem faz? A avaliao pode ser feita por pessoasexteriores que tm competncias especficaspara apreciar a eficcia e eficincia de umaactividade. Tambm pode ser feita de formaparticipativa com os diversos detentores deinteresse, com ou sem o envolvimento deespecialistas externos.
O acompanhamento pode ser feito de formacontnua ou com determinada periodicidade, paraque qualquer problema ou oportunidade sejadescoberto sem atraso e se tomem as decises
acertadas para que as actividades produzam osobjectivos estabelecidos.
Quando? A avaliao tradicionalmente feita no final deum projecto, para produzir um relatrio sobre sefoi ou no um sucesso. Ela deve tambm serfeita durante a vida do projecto/programa, para
apreender em profundidade como est a evoluir,em tempo til, para rectificar quaisquerproblemas e aprender novas oportunidades.
O acompanhamento precisa de ser feito no localonde as actividades esto a ser executadas mas osresultados tambm precisam de ser transmitidos aoutros nveis das organizaes afectadas, para quetenha amplas implicaes.
Onde? Uma vez que a avaliao faz apreciaes devalor ela no pode ser feita remotamente doexterior por peritos que no percebem os valorese as prioridades locais. Por isso, uma avaliaoimplica processos de incluso das pessoasenvolvidas e afectadas pelas actividades emcausa.
O acompanhamento implica olhar, ouvir e aprender.Num projecto, actividades diversas requeremmtodos especficos e o processo deacompanhamento deve ser planeadocuidadosamente antes da interveno comear.
Como? H muitos mtodos que podem ser usados notrabalho de avaliao devendo ser equacionadosde forma realista e com antecedncia, complanos quanto ao tempo e recursos queimplicam.
O acompanhamento precisa de ter objectivos ecanais de comunicao previamente acordados seele pretende ser algo mais do que um meroprocedimento de rotina. Deve ser definido desde oincio com realismo e clareza quanto sresponsabilidades, volume de trabalho que envolvee resultados especficos que se espera queproduza.
Com queresultados?
A avaliao deve ser feita para aprender bemcomo para apreciar o valor do trabalho dopassado. Deve traduzir-se numa contribuiodecisiva para melhor planear o trabalho futuro depromoo do desenvolvimento e, tambm,prestar contas quanto s oportunidades erecursos usados no passado.
Fonte: Laurence Taylor 10/2001 /http://www.parcinfo.org
Mas, a relao inversa tambm existe. A avaliao pode dar contributos para o acompanhamento
na medida em que os estudos prvios (baseline studies) fornecem informao de base
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
12/99
Pgina 12 de 99
insubstituvel para a gesto e acompanhamento das intervenes bem como para uma eventual
avaliao. Um processo de avaliao promove ele prprio uma clarificao dos objectivos, melhora
a comunicao, aumenta o conhecimento e lana as bases para as actividades de
acompanhamento.
4 Finalidades e objectivos da avaliao
Os organismos pblicos devem prestar contas sobre a forma como utilizam os recursos
escassos e devem ter como principal preocupao a utilizao eficaz e eficiente desses fundos. A
avaliao constitui um instrumento de gesto que permite aprender lies com a experincia,
incorporar essas lies na concepo de novas intervenes para atingir os resultados desejados e
fornecer uma base para a responsabilizao dos agentes envolvidos e para a transparncia dos
processos.
A avaliao na cooperao portuguesa tem os seguintes objectivos centrais:
Aprender lies compreender por que determinadas actividades de ajuda so mais ou menos
bem sucedidas, de forma a melhorar o seu desempenho no futuro. As avaliaes permitem que
a cooperao portuguesa e os seus parceiros aprendam com a prpria experincia, e
incorporem os ensinamentos em futuras intervenes, melhorando por essa via a ajuda.
Prestar contas fornecer uma base objectiva para a prestao de contas aos principaisdetentores de interesse: governos e parlamentos parceiros, sociedade civil, contribuintes,
pessoas afectadas pelas intervenes. Prestar contas est sobretudo relacionado com a
transparncia da utilizao dos recursos, face aos contribuintes e beneficirios.
Mostrar resultados os resultados da avaliao podem dar um importante contributo para a
afectao dos recursos destinados cooperao, tanto na fase do planeamento como na da
tomada de decises e hierarquizao de prioridades, nomeadamente na definio do
oramento da cooperao. necessrio criar mecanismos de fcil e rpida difuso dos
resultados da avaliao para que os mesmos tenham utilidade. Estes resultados devem seramplamente difundidos junto do grande pblico, contribuindo deste modo para a transparncia
e credibilidade da cooperao.
Aumentar o conhecimento a avaliao contribui para uma melhor compreenso do processo
de desenvolvimento, aumenta o conhecimento sobre a Ajuda, as suas possibilidades e
limitaes como instrumento de mudana econmica e social.
5 Critrios de avaliao
Os critrios bsicos de qualquer avaliao so:
1. Relevncia Medida segundo a qual os objectivos de uma interveno de desenvolvimento
correspondem s expectativas dos beneficirios, s necessidades do pas, s prioridades
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
13/99
Pgina 13 de 99
globais, s polticas dos parceiros e dos doadores. Determina se as actividades e os resultados
da interveno esto em conformidade com os programas estabelecidos e correspondem de
forma adequada realizao dos objectivos e obteno dos resultados pretendidos. Os
objectivos e as actividades esto adaptados ao problema a tratar? Os meios e os recursos
(humanos e financeiros) so coerentes com os objectivos fixados?
2. Eficcia Medida segundo a qual os objectivos da interveno de desenvolvimento foram
atingidos, ou se espera serem alcanados, tendo em considerao a sua importncia relativa.
Mede em que medida a Ajuda atinge os seus objectivos. a relao entre os objectivos
pretendidos e os resultados alcanados (implica que os objectivos tenham sido previamente
definidos). Em que medida os resultados so devidos a esta interveno?
3. Eficincia Medida segundo a qual os recursos (fundos, peritos, tempo, etc.) so convertidos
em resultados de forma mais econmica. um termo econmico que visa medir se a Ajuda
utiliza os recursos menos caros para atingir um determinado objectivo. Mede a produtividade da
interveno ela eficiente se conseguir atingir os seus objectivos ao menor custo. Os
resultados obtidos tm correspondncia com os recursos mobilizados?
4. Impacto Efeitos a longo prazo, positivos e negativos, primrios e secundrios, induzidos por
uma interveno de desenvolvimento, directa ou indirectamente, previstos ou no. Mede asconsequncias da interveno, do ponto de vista tcnico, econmico, sociocultural, institucional
e ambiental. Quais so as consequncias globais do projecto, programa ou poltica sobre o
contexto em questo, tendo em conta os efeitos (esperados ou no) directos, indirectos,
multiplicadores, de curto, mdio e longo prazos?
5. Sustentabilidade Continuao dos benefcios resultantes de uma interveno de
desenvolvimento, aps a sua concluso. Probabilidade de os benefcios perdurarem a longo
prazo. Situao em que as vantagens lquidas so susceptveis de resistir aos riscos ao longodo tempo. Visa saber em que medida os objectivos da Ajuda podem continuar a ser atingidos
para alm do fim da mesma, isto , em que medida os grupos alvo podem e querem tomar a
seu prprio cargo o prosseguimento da realizao dos objectivos dessa ajuda. Qual a
probabilidade de os benefcios gerados se continuarem a fazer sentir depois de a interveno
ter sido concluda?
Para alm destes critrios, as avaliaes tendem a incluir outros critrios que passam pela
governao, envolvimento do sector privado, participao, equidade e ambiente sustentvel. Com
a reorientao das actividades de Ajuda, reforou-se a ateno prestada aos objectivos
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
14/99
Pgina 14 de 99
actualmente considerados primordiais: luta contra a pobreza, boa gesto dos assuntos pblicos
(eleies, papel da sociedade civil, direitos humanos), gnero e ambiente.
7 - Tipos de avaliao
A classificao das avaliaes varia segundo diferentes critrios. Os principais aspectos que as
diferenciam incluem:
7.1 Quem as realiza(diferencia entre avaliao independente e auto-avaliao)
A avaliao independente ou externa6 realizada por avaliadores que no tiveram
responsabilidade ou envolvimento nas actividades que esto a ser avaliadas. Os executores da
interveno e os beneficirios podem tambm ser envolvidos no processo, mas o principal
objectivo obter uma apreciao independente e dedicar-se, acima de tudo, s questes da
prestao de contas e da identificao de lies com ampla aplicabilidade. Cada vez mais as
avaliaes independentes, quer ao nvel do sector, quer ao nvel do pas, esto a ser
desencadeadas conjuntamente pelos governos doadores e parceiros7.
A auto-avaliao8, pelo contrrio, envolve os executores e os beneficirios que avaliam as suas
prprias actividades. Centra-se nas lies aprendidas para melhorar as actividades/acesimediatas.
7.2 Quando ocorrem(consoante a fase em que se encontra a interveno de desenvolvimento
meio percurso, no final ou ex-post)
A avaliao no percurso envolve, normalmente, uma apreciao externa sobre se a interveno
est a produzir os efeitos desejados e faz recomendaes de correco. Olha para os recursos
para verificar se os resultados esto a ser alcanados.
A avaliao finalolha de forma holstica para o que aconteceu como resultado da interveno e
pergunta porqu? e como? para que as lies possam ser aprendidas.
A avaliao ex-postfaz-se aps a interveno ter sido concluda. Deve ser feita alguns anos depois
de concluda a interveno para analisar de forma mais objectiva os resultados alcanados,
apreciando questes de impacto e de sustentabilidade a longo prazo. feita sobretudo para
benefcio dos detentores de interesse externos, que no esto directamente envolvidos na gesto
6 O processo de avaliao externa tratado no captulo II.7 O CAD produziu um excelente guia sobre planeamento e implementao de avaliaes conjuntas comoutros doadores e fez uma reviso da experincia em matria de avaliao de programas por pas.8 A auto-avaliao tratada no captulo III.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
15/99
Pgina 15 de 99
da interveno, realando-se a aplicabilidade a aces futuras semelhantes ou a optimizao da
afectao dos recursos.
Podemos, ainda neste contexto, falar em avaliaes formativas/informativas e avaliaes
sumativas. As avaliaes de projectos em execuo so tambm referidas como avaliaes
formativasna medida em que so realizadas, sobretudo, para benefcio dos que gerem o projecto,
com a sua ampla participao e centradas na melhoria do seu trabalho. Servem para saber como
esto a ser implementadas as intervenes e, se necessrio, introduzir correces na estratgia
e/ou metodologia, de forma a serem alcanados os resultados pretendidos.
As avaliaes sumativas so efectuadas numa fase avanada da implementao de uma
interveno de desenvolvimento, sobretudo no seu final ou aps a concluso, para analisar os
resultados alcanados, aprender lies, prestar contas/promover a transparncia e disseminar
ensinamentos.
7.3 Objecto da avaliao (da avaliao de projectos avaliao de outros instrumentos de
ajuda)
Avaliao de projectos a abordagem tradicional, que se centra num nico projecto, em todos os
aspectos com ele relacionados. Os resultados da avaliao podem ser muito importantes para a
gesto de projectos, pelo que a avaliao a projectos-piloto tem uma importncia particular.
Avaliao de programas cobre a avaliao de diversos projectos interligados e inter-relacionados
que contribuem para o mesmo objectivo global. A palavra programa tambm utilizada para outras
formas de Ajuda, nomeadamente o apoio ao ajustamento estrutural, os programas regionais, a
ajuda humanitria, programa sectorial, etc.
Avaliao de sector / sectorial avaliao da Ajuda a um determinado sector ou sub-sector, como
a sade ou a agricultura. Tal como com as avaliaes temticas, cobre uma srie de projectos e
programa pas. A avaliao a sectoresdiz respeito no s avaliao ao apoio sectorial a um pas
(projectos que contribuem para o mesmo objectivo global), mas tambm avaliao conjunta de
vrios programas dentro do mesmo sector (programas que tm diferentes objectivos globais, mas
que se destinam ao mesmo sector). A tnica colocada nos aspectos positivos e negativos das
diversas abordagens, modalidades e/ou estratgias para tratar os problemas sectoriais. Os critriosde avaliao utilizados so os habituais, ainda que possam existir algumas variaes em funo do
nvel de anlise: em cada interveno de forma individual e no sector no seu todo.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
16/99
Pgina 16 de 99
Avaliao temtica analisa questes transversais a diversas actividades, para alm do sector a
que dizem respeito. Inclui vrios projectos ou programas semelhantes ou do mesmo tipo,
normalmente em pases diferentes. Podem ser avaliaes que se centram em reas especficas e
em tpicos transversais. Os elementos chave destas avaliaes so, habitualmente, quatro:
erradicao da pobreza; gnero e desenvolvimento; sustentabilidade ambiental, e; fortalecimento
institucional. Podem, ainda, incidir sobre outros aspectos como, por exemplo, a promoo do sector
privado, o tratamento do HIV/SIDA, etc. As lies retiradas destas avaliaes tm a ver com a
melhoria do fornecimento de Ajuda nestas reas no futuro e na identificao dos meios mais
eficazes. A tnica colocada nos mesmos pontos da avaliao sectorial, mas centra-se num tema
que pode incluir vrios sectores. Por exemplo, possvel avaliar o tratamento das consideraes
de gnero num grupo de projectos que pertencem a diferentes sectores (sade, educao, etc.).
Avaliao de programa pas avaliao de todos os tipos de Ajuda (projecto e no-projecto) para
um pas. A avaliao pas tem um nvel de agregao mais elevado e consistem na avaliao de
todas as actividades de cooperao num determinado pas, num dado perodo de tempo (PIC, por
exemplo). As concluses e recomendaes destas avaliaes podem ser particularmente teis nas
fases de planeamento e programao da poltica de ajuda com um pas parceiro e apoiar a
definio dos Programas Indicativos de Cooperao.
Avaliao sntese/metavaliao sntese das constataes de um certo nmero de avaliaes de
projectos ou programas individuais.
Avaliao de polticas/estratgica avaliao de programas ou projectos agrupados que abordam
problemas de determinada poltica ao nvel sectorial ou temtico. Visa facilitar a reformulao das
polticas recomendando novas polticas ou a introduo de alteraes necessrias na poltica emvigor para alcanar os objectivos e os resultados sectoriais ou temticos. A tnica posta na
pertinncia, no impacto das polticas sobre os beneficirios, directos ou indirectos: custos e
vantagens; eficcia dos arranjos institucionais para aplicar as polticas ou controlar a sua aplicao.
A avaliao estratgica visa: aprofundar a compreenso de uma questo ou problema particular;
limitar a margem de incerteza ligada a diversas maneiras possveis de tratar o problema em
questo; ajudar os detentores de interesse a chegar a um acordo sobre decises em tempo til
sobre as questes tratadas. Exemplo: avaliao das modalidades de co-financiamento.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
17/99
Pgina 17 de 99
Avaliao de um instrumento de Ajuda avaliao, por exemplo, da cooperao tcnica9, da ajuda
humanitria e de emergncia10 ou do apoio ao oramento.
Avaliao de processo avaliao de um processo ou procedimento de ajuda, como o
concurso/seleco dos executores e o acompanhamento. Avaliao de projectos ou programas
agrupados para apreciar a eficincia e a eficcia de uma modalidade ou de um determinado
processo adoptado. Exemplo: avaliao da abordagem programa.
Avaliao de impacto11 embora o impacto seja um dos 5 critrios fundamentais de qualquer
avaliao, a avaliao centrada no impacto est a ganhar terreno na avaliao da cooperao para
o desenvolvimento (com especial incidncia nas questes do ambiente, gnero e pobreza), tendo
em considerao que muitas das crticas cooperao residem no facto de muitas intervenes
terem falhado exactamente no alcanar dos seus objectivos de longo prazo.
A avaliao de impacto habitualmente realizada algum tempo aps a concluso da interveno e
tem por objectivo determinar de uma forma geral se a Ajuda produziu os efeitos
9A avaliao da cooperao tcnicano deve basear-se nas percepes de quem a fornece ou de quem a
recebe directamente mas numa anlise das instituies, organizaes ou indivduos que so beneficiriosdesses recursos (o empregador no caso de um programa de formao, o utilizador da informao no caso deum projecto de investigao, a empresa ou organizao no caso de assessoria tcnica, etc.). Para emitir umaopinio sobre a cooperao tcnica pode ser conveniente fazer uma anlise custo-eficincia na medida emque difcil e dispendioso expressar os benefcios em unidades monetrias. H, ainda, que ter cuidado emno centrar a anlise nas prioridades do doador mas sim nas necessidades e polticas dos receptores. 10
A avaliao da ajuda de emergnciarequer, pelas suas caractersticas, ateno particular. medida queos conflitos se prolongam e agudizam a linha que separa a ajuda humanitria da cooperao para odesenvolvimento dilui-se o que faz com que a sua avaliao se aproxime da avaliao a projectos. Por isso,h que fazer uma primeira distino quanto s caractersticas da aco a ser avaliada, entre as que sedestinam a responder de forma imediata a uma catstrofe natural ou provocada pelo homem e as que devemser entendidas como uma actividade de reconstruo e desenvolvimento, regresso de deslocados oureintegrao de refugiados.
Na avaliao da ajuda de emergncia a eficcia e eficincia esto relacionadas de forma estreita com asdisposies de logstica que permitem que os bens e servios fornecidos chegam ao seu destinatrio ltimo.Por isso, deve considerar-se a quantidade fsica e a qualidade, os atrasos para a sua mobilizao, osmecanismos de transporte, armazenagem e distribuio, as possveis alternativas para a gesto dos bens eos custos de operao. Quanto pertinncia, ser prioritrio considerar se os bens e servios previstosforam adequados para as necessidades que se pretendia satisfazer e se foram entregues a tempo paraprevenir uma extenso do conflito ou das suas consequncias perniciosas. Pode ser til uma anlise docontexto, com causas e principais caractersticas do conflito, bem como um estudo poltico das partesenvolvidas. O impacto dever ser considerado no contexto da totalidade da ajuda prevista, tratando de definiro nvel de auto-suficincia que criou na populao receptora e os seus efeitos ambientais. Se existirammedidas de segurana excepcionais ou se foram includas foras militares nas operaes necessrioconsiderar os possveis efeitos no desejados da interveno.Na anlise ex-post da ajuda humanitria muito importante estudar os factores de desenvolvimento,
sobretudo as polticas de apoio, institucionais, socioculturais e de gnero. Os factores ambientais,tecnolgicos e econmico-financeiros podem tambm s-lo, de acordo com as circunstncias, sobretudo nareabilitao ps-conflito.11 Para um aprofundamento deste tipo de avaliao ver Banco Mundial: Avaliao do impacto dos projectosde desenvolvimento na pobreza.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
18/99
Pgina 18 de 99
esperados/desejados nas pessoas, lugares e instituies e se esses efeitos so atribuveis a essa
Ajuda. Tambm permitem analisar as consequncias no previstas, quer positivas, quer negativas.
de particular interesse saber se os benefcios chegaram aos pobres e que efeitos produziram no
seu bem-estar.
7.4 Metodologias utilizadas
Avaliao participativa Avaliao realizada com ou pelos principais detentores de interesse,
normalmente os beneficirios do projecto.
Avaliao conjunta avaliao promovida por vrias agncias parceiras (doadores e/ou
receptores). A realizao de avaliaes conjuntas com os parceiros possibilita a ambos partilhar as
percepes sobre os efeitos e os problemas da cooperao e tambm permite uma mais fcil
aprendizagem dos mtodos de avaliao bem como o desenvolvimento da capacidade de
avaliao dos pases parceiros. As avaliaes realizadas com outros doadores12 so eficazes na
medida em que permitem a ambos estudar mtodos de avaliao e fortalecer a colaborao, a
complementaridade e a harmonizao.
Normalmente, as avaliaes conjuntas so realizadas nas intervenes co-financiadas por dois ou
mais doadores. Na prtica, preciso ter em conta o facto de cada parte ter o seu prprio calendrio
e mecanismos de financiamento pelo que os imperativos e procedimentos muitas vezes so difceis
de conciliar.
As avaliaes conjuntas so necessrias no caso das organizaes multilaterais que beneficiam de
apoios financeiros e tcnicos de vrios doadores.
8 Caractersticas de uma boa avaliaoO valor de uma avaliao est relacionado com a qualidade dos seus resultados. A qualidade de
uma avaliao mede-se no apenas pelas suas concluses, lies aprendidas e recomendaes,
mas tambm pela forma como o avaliador chegou a elas. A qualidade depende da produo de
resultados credveis e fiveis adoptando procedimentos adaptados s circunstncias,
aprofundando a anlise dos factos e aplicando mtodos e tcnicas rigorosas.
Considera-se que uma avaliao boa pelo seu contributo para a tomada de decises
esclarecidas e para a aprendizagem, pela difuso de dados fiveis, factuais e credveis.
12 Nos ltimos anos tem sido intensificada a realizao de avaliaes conjunta, estando em curso vrias noquadro da Rede de Avaliao do CAD/OCDE. A concluda mais recentemente foi a do Apoio ao Oramento.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
19/99
Pgina 19 de 99
A medida em que os detentores de interesse se revem nos resultados da avaliao permite saber
se a avaliao foi bem realizada. Em princpio, se a sua participao em todas as fases da
avaliao tiver sido grande, as recomendaes e as lies apreendidas sero frutferas.
Os padres de qualidade de qualquer avaliao devem ser aplicados em todas as fases do
processo, desde os TdR s propostas metodolgicas e aos relatrios de avaliao, aspectos que
so abordados no Captulo II.
Numa tentativa de uniformizar a qualidade das avaliaes, tm sido desenvolvidos esforos no
quadro da Rede de Avaliao do CAD/OCDE. Um dos documentos mais recentes as Normas do
CAD de qualidade da avaliao13 que identificam os pilares chave necessrios para um processo
e um produto de avaliao de qualidade. As normas constituem um guia para as boas prticas o
qual visa melhorar a qualidade das avaliaes das intervenes de desenvolvimento. Procuram
contribuir para uma abordagem harmonizada da avaliao, em consonncia com os princpios da
Declarao de Paris sobre Eficcia da Ajuda.14
8.1 Imparcialidade, objectividade e independnciaA avaliao deve ser imparcial e independente do processo de tomada de decises ao nvel
poltico, do financiamento e da gesto da Ajuda. A imparcialidade e a objectividade contribuem
para credibilizar a avaliao e os resultados da mesma e so conseguidas atravs do permanente
respeito dos princpios de independncia, neutralidade, transparncia e justia durante todo o
processo de avaliao.
A independncia d legitimidade avaliao e reduz o potencial de conflito de interesses que
podem surgir, quer ao nvel dos decisores polticos, quer dos gestores e executores da Ajuda.
A imparcialidade e a independncia so conseguidas separando a funo avaliao das
actividades de planeamento e gesto da Ajuda, o que pode ser conseguido atravs da criao de
um servio responsvel pela avaliao.
13http://www.ipad.mne.gov.pt/images/stories/Avaliacao/normas_CAD.pdf
14 Declarao de Paris sobre a Eficcia da ajuda: Apropriao, Harmonizao, Alinhamento, Resultados ePrestao de Contas Mtua. http://www.oecd.org/dataoecd/11/41/34428351.pdf
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
20/99
Pgina 20 de 99
8.2 Credibilidade, transparncia e utilidade
A credibilidade da avaliao depende das competncias, da experincia e da independncia dos
avaliadores bem como do grau de transparncia e abrangncia do processo de avaliao. A
credibilidade requer que a avaliao relate quer os sucessos quer os fracassos. Os parceiros
devem, por norma, participar amplamente na avaliao de forma a promover a credibilidade e o
seu compromisso.
A transparncia do processo de avaliao crucial para a sua credibilidade e legitimidade. Para
assegurar a transparncia, o processo de avaliao deve ser o mais aberto possvel, com ampla
difuso dos resultados.
As avaliaes devem ser teis e reunir a informao necessria aos futuros utilizadores. Por isso,
devem ser precisas e rigorosas: (i) identificando e transmitindo informaes vlidas sobre o
essencial da interveno que est a ser avaliada e (ii) formulando recomendaes teis e
pragmticas e apresentando as lies aprendidas decorrentes do processo de avaliao.
Mais do que estudos cientficos, devem ser estudos orientados para a prtica. As concluses das
avaliaes devem, por isso, ser entendidas como relevantes e teis para o esforo da CooperaoPortuguesa de promoo do desenvolvimento dos pases parceiros. Devem ser apresentadas de
uma forma clara e concisa e reflectir os diferentes interesses e necessidades das partes envolvidas
na cooperao para o desenvolvimento. A sua fcil acessibilidade tambm crucial para a
utilidade, pelo que o processo de disseminao no pode ser negligenciado.
As avaliaes devem ser calendarizadas tendo em considerao que devem estar disponveis no
momento oportuno para o processo de tomada de decises e constituir valor acrescentado.
8.3 Satisfao das expectativas
As avaliaes devem identificar e transmitir informao vlida e segura sobre os factos que
determinam o valor/mrito da interveno de desenvolvimento que est a ser avaliada, colocando a
tnica nos objectivos e prioridades de interveno da Cooperao Portuguesa, tendo como pano
de fundo os ODM e os objectivos do pas parceiro.
As avaliaes devem respeitar as exigncias expostas no plano de trabalho e no contrato. Devem
aplicar as normas profissionais de acordo com as expectativas do IPAD, representar um valoracrescentado para a Cooperao Portuguesa e utilizar de forma sensata os recursos humanos,
financeiros e materiais.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
21/99
Pgina 21 de 99
9 tica/deontologia da avaliao
As avaliaes devem ser conduzidas de forma legal, tica e justa, velando pelo bem-estar de todos
os que esto envolvidos nesse processo, bem como pelos que so afectados pelos seus
resultados.
A deontologia da avaliao passa pela institucionalizao de normas de procedimentos entre as
quais se destacam:
1. Um dispositivo tipo com uma distino entre a entidade que acompanha a avaliao e o
avaliador que a deve realizar, de acordo com os TdR (ver Captulo II).
2. Um questionamento tipo que convide os avaliadores a analisar os resultados de uma
interveno em termos de relevncia, eficcia, eficincia, impacto e sustentabilidade (ver ponto
1.6 deste captulo).
3. Um procedimento tipo elaborao dos Termos de Referncia, escolha do avaliador,
acompanhamento dos trabalhos, recepo e discusso dos Relatrios, difuso dos resultados
(ver Captulo II).
4. Uma metodologia tipo para o avaliador que vai realizar a avaliao, composta de tcnicas
de recolha e anlise de informao, quer quantitativa quer qualitativa, bem como as utilizadasna rea das cincias sociais.
9.1 Princpios exigidos aos avaliadores
Todos os avaliadores devem aspirar a fornecer informaes e apreciaes pertinentes e conduzir o
processo de avaliao com elevada qualidade.
Os avaliadores no so apenas responsveis perante o IPAD. So tambm responsveis perante
as instituies, grupos e indivduos envolvidos, afectados ou interessados pela avaliao. A tica fundamental para dar credibilidade aos resultados da avaliao. Os seguintes padres ticos para
avaliadores fazem parte daquilo que normalmente exigido pelos doadores internacionais:
1. Rigor na aplicao dos mtodos de investigao
Fazer investigaes aprofundadas atravs de mtodos e tcnicas adequadas, respeitando
as normas tcnicas com o maior rigor;
Estabelecer a validade da informao atravs de medidas e fontes, nomeadamente os
detentores de interesse, que oportuno utilizar no quadro da avaliao.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
22/99
Pgina 22 de 99
2. Competncia
Saber lidar com as pessoas e os processos, com papis claramente definidos;
Velar para que a equipa de avaliao inclua pessoas que faam os estudos e possuam
conhecimentos, competncias e experincia necessrias para conduzir a avaliao;
Manter-se no interior dos limites da formao e da competncia profissionais;
Esforar-se por melhorar constantemente as suas competncias metodolgicas e
especializadas;
Dominar as tcnicas de concepo da avaliao, de pesquisa e recolha e tratamento de
dados e de redaco de relatrios;
No fazer avaliaes/apreciaes de indivduos.
3. Integridade
Fazer prova de honestidade quanto aos seus conhecimentos e competncias;
Informar rapidamente o IPAD sobre qualquer conflito de interesses ou sobre qualquer risco
de uma situao que no foi entendida como tal;
Assegurar que a avaliao independente, imparcial e exacta;
Fornecer os indicadores exactos sobre os mtodos, dados e resultados e velar para que
ningum possa fornecer indicaes errneas; Identificar todas as mudanas produzidas no decurso da avaliao ou nas ligaes que se
afastam do plano de trabalho, fornecendo as explicaes necessrias e informando o IPAD
e os principais detentores de interesse;
Informar o IPAD de todo e qualquer problema grave ou constatao importante que no
tenha relao directa com o quadro de referncia;
No divulgar ou distribuir os resultados da avaliao sem a autorizao prvia do IPAD. Os
avaliadores tm um compromisso perante o pblico e os participantes bem como um acordo
contratual com o IPAD. A responsabilidade pela distribuio do material publicado do
IPAD ou das suas delegaes, ainda que os sumrios e snteses informais possam ser
partilhados fora do IPAD.
4. Respeito
Garantir o carcter confidencial da informao fornecida e o anonimato;
Adoptar as estratgias necessrias para evitar que os avaliadores locais sejam vistos como
crticos da sua sociedade;
Aprender a conhecer as crenas, comportamentos e costumes das populaes dos pases
beneficirios para poder manifestar o respeito desejado em matria de crenas, prticas
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
23/99
Pgina 23 de 99
religiosas, relaes interpessoais, etc. intruso cultural assim como com os valores
internacionais relativamente a minorias e determinados grupos, como as mulheres;
Encontrar o equilbrio desejvel entre a necessidade de satisfazer certas exigncias
relativas gesto e a necessidade de recorrer a certas pessoas;
Compreender que as pessoas esto habitualmente muito ocupadas e podem no querer ser
envolvidas. Os avaliadores devem proporcionar o mximo de informao, minimizar pedidos
de tempo e respeitar os direitos das pessoas privacidade;
Respeitar os direitos das pessoas em fornecer informao confidencial e assegurar que
informaes sensveis no possam ser identificadas segundo a fonte.
5. Responsabilidade (individual e da equipa)
Produzir os documentos exigidos nos TdR;
Apresentar os resultados/prestar contas sobre o progresso da avaliao;
Fazer prova da prudncia e da honestidade em matria de decises financeiras;
Todos os membros da equipa tm oportunidade de se dissociar de julgamentos e
recomendaes particulares/individuais. Qualquer divergncia de opinio no resolvida
dentro da equipa deve ser dada a conhecer no relatrio.
6. Imparcialidade e independncia
As avaliaes devem ser equilibradas em termos de pontos fortes e fracos. No caso de haver
diferentes pontos de vista entre as partes envolvidas eles devem ser incorporados na avaliao.
Os avaliadores externos no podem ter qualquer envolvimento pessoal, directo ou indirecto,
nas actividades das intervenes a avaliar. As entidades envolvidas na preparao ou
implementao das actividades a serem avaliadas no so elegveis para a avaliao.
Uma das funes das avaliaes externas melhorar a transparncia/ responsabilidade da
prestao de contas, fornecendo uma base objectiva a partir da qual responsabiliza osprincipais detentores de interesse.
Informaes adicionais:
Acompanhamento e avaliao:
http://stone.undp.org/undpweb/eo/evalnet/docstore3/yellowbook/
http://www.unfpa.org/monitoring/toolkit.htm
Critrios de avaliao:
http://www.oecd.org/document/22/0,2340,en_2649_34435_2086550_1_1_1_1,00.html
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
24/99
Pgina 24 de 99
Caractersticas de uma boa avaliao:
http://www.ipad.mne.gov.pt/images/stories/Avaliacao/normas_cad.pdf
http://www.oecd.org/dataoecd/11/56/1902965.pdf
tica/Deontologia da avaliao:
http://www.aes.asn.au/about/guidelines_for_the_ethical_conduct_of_evaluations.pdf
http://www.eval.org/Publications/aea06.GPBrochure.pdf
http://www.evaluationcanada.ca/site.cgi?s=5&ss=4&_lang=an
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
25/99
Pgina 25 de 99
II O processo de avaliao externa
O processo de avaliao pode variar de caso para caso e de acordo com o tipo de avaliao, mas
h um procedimento comum para todas as avaliaes. O que se segue so as principais etapas do
processo de programao, preparao e realizao de avaliaes externas, na cooperao
portuguesa.
Ao GAAI/IPAD responsvel pelo planeamento, organizao e implementao das avaliaes.
Sistematiza os resultados, dissemina as lies apreendidas e faz o seguimento da suaincorporao na prtica da cooperao. Os avaliadores externos so responsveis pelo contedo
dessas avaliaes.
1 - Planeamento da avaliao
Existem dois nveis de planeamento. O primeiro diz respeito definio e aprovao de um plano
plurianual de avaliaes. O segundo tem a ver com a operacionalizao de cada avaliao.
No nvel superior, h que identificar e seleccionar as intervenes de desenvolvimento a avaliar,com base nas informaes/consultas dos diferentes actores da Cooperao Portuguesa e da base
de dados o que permite identificar as intervenes prioritrias e/ou aquelas que se encontram a
necessitar de avaliao. O plano de avaliaes que daqui resulta aprovado pela Direco do
IPAD.
A fase seguinte a da preparao/organizao de cada avaliao, tarefa que pode variar em
tempo e complexidade, de acordo com a natureza da interveno em causa, mas que essencial
para o sucesso da mesma.
Antes de elaborar os Termos de Referncia (TdR) fundamental dispor das seguintes
informaes:
1. Perceber o objectivo da avaliao, ou seja, saber as razes porque a avaliao foi pedida;
2. Fazer o levantamento da informao disponvel e documentao relevante (a interveno,
seu contexto, as hipteses de partida);
3. Identificar/definir as questes a que a avaliao dever responder (os critrios ou temas da
avaliao);
4. Identificar os financiadores, os executores e os principais detentores de interesse da
interveno;
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
26/99
Pgina 26 de 99
5. Definir o programa de trabalhos (calendrio e prazos a cumprir), e os recursos necessrios.
Estudar, eventualmente, vrias opes para seleccionar a melhor proposta;
6. Identificar eventuais conhecimentos especializados exigidos.
2 Elemento/grupo de acompanhamento
Cada avaliao encomendada pelo IPAD deve ter um elemento de acompanhamento do GAAI. O
papel deste elemento deve ser descrito nos TdR e explicado numa reunio equipa de avaliao.
Para avaliaes mais complexas poder/dever constituir-se um grupo de acompanhamento,
composto por pessoas directa ou indirectamente ligadas ao financiamento e/ou execuo da
interveno de desenvolvimento. As boas prticas sugerem que o grupo de acompanhamento deve
tambm incluir representantes dos principais detentores de interesse.
Quem acompanha a avaliao deve ter permanentemente em ateno que ela deve produzir dois
resultados essenciais:
1. Identificao clara de um conjunto de apreciaes, constataes, lies aprendidas e
recomendaes, bem fundamentadas na evidncia;
2. Informao til, factual, credvel e segura para apoiar os decisores ao nvel das polticas.
Por isso, este elemento/grupo de acompanhamento deve ajudar os avaliadores a manter o
equilbrio nas suas constataes e apreciaes, desempenhar um papel importante na
disseminao dos resultados e das lies e identificar formas de melhor incluir as recomendaes
na cultura, sistema e prtica da Cooperao Portuguesa e das organizaes envolvidas. Para o
efeito, promovem-se reunies iniciais para discutir, por exemplo, a documentao necessria, os
mecanismos de acompanhamento e difuso dos resultados da avaliao.
O elemento/grupo de acompanhamento e o avaliador devem procurar desenvolver uma boarelao de trabalho de forma a estabelecer um dilogo adequado a uma boa comunicao
interpessoal durante todo o processo de avaliao. Uma vez terminado o planeamento, as duas
partes devem ter a mesma ideia sobre a forma como o trabalho ser feito, os respectivos papis,
as tarefas a realizar e os prazos de apresentao dos documentos a produzir. Em qualquer das
fases da avaliao, o elemento/grupo de acompanhamento deve ser posto ao corrente do estado
de avano dos trabalhos e pode ser chamado a fornecer esclarecimentos.
3 - Termos de Referncia (TdR)Os TdR expem as necessidades e os objectivos da Cooperao Portuguesa relativamente a cada
avaliao, clarificando os detalhes e permitindo ao leitor visualizar claramente o seu quadro de
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
27/99
Pgina 27 de 99
referncia. Descrevem o que deve ser avaliado, a razo porque a avaliao encomendada e a
forma como ela deve ser feita.
Ao estabelecerem os parmetros gerais e os elementos essenciais, os TdR do uma viso
preliminar da avaliao e constituem o seu documento norteador, servindo para orientar todo o
processo e para estabelecer um plano de trabalho.
A extenso dos TdR e o seu carcter mais ou menos detalhado pode variar, em funo da
importncia e complexidade da avaliao, mas devem ser realistas acerca das apreciaes e
concluses que os avaliadores podero consubstanciar com "evidncias claras". A experincia diz
que dar ateno redobrada elaborao dos TdR essencial para o processo de avaliao
decorrer de forma expedita e produzir trabalho de qualidade.
Ao GAAI/IPAD compete elaborar um draft dos TdR para cada avaliao programada, de acordo
com os padres exigidos, incluindo um calendrio e um oramento indicativo de avaliao. Para o
efeito, consulta os servios considerados relevantes e outros organismos com interesse directo,
bem como as Delegaes locais da cooperao que os fazem circular para recolha de contributos
pelos parceiros locais, antes de os finalizar. Os principais detentores de interesse, em Portugal e
nos pases parceiros, devem concordar com o contedo dos TdR, os quais so posteriormente
aprovados pela Direco do IPAD.
Os TdR incluem:
- Uma descrio da interveno a avaliar e o seu contexto;
- A enunciao dos motivos invocados para justificar a avaliao;
- Um resumo do alcance da avaliao e do seu interesse;
- Uma exposio de como a avaliao ser feita;- Um calendrio e prazos;
- Um oramento indicativo.
Os TdR devem ter flexibilidade suficiente para que o avaliador possa decidir qual a melhor
abordagem para recolher e analisar os dados.
4 - Escolha dos avaliadores
As avaliaes so, normalmente, confiadas a uma equipa de avaliadores e a qualidade daavaliao depende muito da competncia e composio dessa equipa. Como regra geral, as
equipas devem conter formaes e qualificaes diversas, incluindo as seguintes caractersticas:
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
28/99
Pgina 28 de 99
Especialistas em reas que esto a ser avaliadas;
Experincia em avaliao, particularmente em avaliao da cooperao para o
desenvolvimento;
Conhecimento do pas/regio;
Conhecimentos e experincia em matria de desenvolvimento;
Competncias interdisciplinares (sociais, econmicas, institucionais);
Equilibrada em termos de gnero;
Independncia, ou seja, no ser parte interessada e/ou directa ou indirectamente
envolvida na interveno alvo de estudo;
Familiaridade com a cooperao portuguesa; Elemento(s) do pas/instituio parceiro;
Dimenso adequada ao trabalho a realizar.
A seleco de uma equipa com um lder experiente e competente particularmente importante. Ele
o principal responsvel por uma avaliao que responda aos padres de qualidade exigidos e
pela produo de relatrios de qualidade.
Quaisquer que sejam os conselhos e o acompanhamento exercido pelo GAAI/IPAD, se osavaliadores forem incapazes, por qualquer motivo que seja, de realizar as suas tarefas com o nvel
profissional desejado, surgiro problemas. Por isso, essencial investir o tempo e a energia
necessrios na seleco dos avaliadores. O IPAD privilegia o concurso para garantir a
transparncia do processo, a equidade e a igualdade de oportunidades. O recrutamento dos
consultores para realizar a avaliao feita com base na bolsa de avaliadores (que se encontra em
permanente actualizao), seguindo os trmites normais de seleco e contratao a legislao
que norteia este processo o Decreto-lei n. 18/2008, de 29 de Janeiro. O candidato escolhido
aquele que, possuindo as qualificaes exigidas, oferece a melhor relao qualidade/preo ao
IPAD.
A participao de avaliadores nacionais do pas parceiro na equipa de avaliao uma questo
essencial. poltica do IPAD fazer com que, sempre que possvel, consultores locais integrem e
trabalhem com a equipa de avaliao, facto que especificado nos TdR. Este envolvimento
promove no s a qualidade e a credibilidade local das concluses e constataes da avaliao
como contribui para o desenvolvimento de capacidades locais de avaliao. Contudo, isto no deve
pr em causa a independncia da avaliao.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
29/99
Pgina 29 de 99
Como se faz a seleco
Em geral, os consultores propem uma equipa de avaliao e apresentam uma proposta de
trabalho. O exame das candidaturas faz-se a partir da anlise das informaes que constam das
suas propostas (que descrevem a experincia e os conhecimentos especializados da equipa, bem
como os curricula das pessoas que a integram, em funo das exigncias especficas da
avaliao) e do plano de trabalho detalhado, com base nos TdR (ver ponto 5).
A seleco do avaliador inclui essencialmente 5 fases: 1) escolha do modo de seleco, de acordo
com o Decreto-lei n. 18/2008, de 29 de Janeiro; 2) abertura do processo; 3) seleco do candidato
que oferece a melhor relao qualidade/preo; 4) informao aos candidatos sobre o resultado da
seleco; 5) negociao e assinatura do contrato, com o avaliador escolhido.
O estabelecimento da melhor relao qualidade/preo
Como se escolhe o melhor candidato? Que qualidades o IPAD deve procurar?
A seleco dos avaliadores consiste em encontrar um avaliador competente, capaz de
desempenhar a sua tarefa e de responder s expectativas do IPAD, ao mesmo tempo que oferece
a melhor relao qualidade/preo. Quatro factores influenciam, normalmente, a escolha dos
avaliadores:
- As expectativas dos responsveis pela seleco e a sua apreciao;
- O grau de satisfao das exigncias estabelecidas nos TdR;
- A formao e qualidade dos candidatos;
- O preo proposto.
Quando vrios candidatos obtm a classificao mais elevada, escolhida aquela que apresenta
um menor custo. Se necessrio, a proposta de trabalho, o oramento e o calendrio sonegociados com a equipa seleccionada, antes da assinatura do contrato, a qual encerra o processo
de seleco.
5 - Plano de trabalho
O plano de trabalho preparado pelo avaliador e mais detalhado e preciso que os TdR. ,
normalmente, o primeiro documento produzido pelos avaliadores que, uma vez aprovado pelo
IPAD, se torna o principal instrumento de gesto e de orientao da avaliao, em funo dos
objectivos do IPAD em todas as etapas do processo. o documento base para a seleco daequipa de avaliao. Este documento deve dar uma descrio clara sobre o que a equipa vai fazer,
como, quando e porqu.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
30/99
Pgina 30 de 99
O plano de trabalho serve para:
Dar uma viso global da interveno a avaliar;
Descrever os objectivos do IPAD relativamente avaliao;
Apresentar os membros da equipa de avaliao;
Especificar os papis e responsabilidades de cada uma das partes;
Expor a metodologia adoptada;
Estabelecer as exigncias em matria de relatrios;
Fixar um calendrio de trabalho com prazos precisos;
Determinar o custo da avaliao.
Os TdR do IPAD fixam os objectivos e parmetros da avaliao. suposto o avaliador fazer o
ponto de partida para estabelecer o que realizvel. Trata-se de chegar a acordo com o
GAAI/IPAD sobre o plano de trabalho para que se alcancem os resultados previstos.
A avaliao inclui habitualmente uma visita ao pas parceiro para recolha de dados. As
modalidades quanto s deslocaes a prever devem ser fixadas no momento do planeamento.
Aspectos a ter em considerao no momento da preparao do plano de trabalho:
O plano de trabalho deve ser suficientemente detalhado para que a avaliao se faa com a
clareza que convm e satisfaa as necessidades enunciadas;
O plano de trabalho deve ser flexvel e adaptado situao favorecendo a inovao e a
criatividade. Se aprovado, as alteraes ou desvios relativamente ao planeado devem ser
acordados com o GAAI/IPAD;
O avaliador encorajado a investir na concepo da avaliao para que o IPAD possa
beneficiar do seu conhecimento e da sua experincia e para que a sua contribuio para o
desenvolvimento do quadro de referncia se traduza num valor acrescentado;
No momento de constituir a equipa de avaliao, necessrio ter em conta a capacidade
dos candidatos de trabalhar em conjunto e no apenas a sua experincia e conhecimento
individual. A equipa de avaliao deve possuir competncias tcnicas que a anlise de
temas transversais pertinentes exige;
Os resultados esperados da avaliao devem ser teis ao IPAD e atingveis no interior dos
limites impostos pelas realidades operacionais e os prazos previstos. importante fixar
objectivos realistas tendo em conta o contexto material e as dificuldades de trabalho
inerentes aos pases em desenvolvimento;
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
31/99
Pgina 31 de 99
necessrio ter conscincia de que certos efeitos e impactos podem no se fazer sentir
seno a longo prazo;
O plano de trabalho deve dar conta da necessidade de determinar eventuais resultados
imprevistos da interveno;
Embora no haja um nmero de pginas padro para o plano de trabalho, o avaliador deve
colocar a tnica na clareza, conciso e preciso.
Principais aspectos a tratar no plano de trabalho:
Introduo e enquadramento
Comea por descrever, de forma breve (uma ou duas pginas), a interveno a avaliar.Apresenta a estrutura da interveno e o contexto do pas em desenvolvimento, falando
sumariamente dos objectivos esperados. Deve colocar a tnica nos objectivos e prioridades da
cooperao portuguesa, nos resultados esperados (efeitos, impactos, etc.), na abrangncia,
mencionando os beneficirios, na importncia da interveno e na participao dos detentores
de interesse.
Objectivos da avaliao: porque se faz esta avaliao? O que que a Cooperao Portuguesa
espera desta avaliao?De uma forma geral, trata-se de clarificar certos pontos abordados nos TdR. A tnica deve ser
colocada: na anlise do progresso quanto aos resultados esperados e aos outros resultados no
plano do desenvolvimento e factores de sucesso; nas questes em que o IPAD tem um
interesse particular (reduo da pobreza, questes transversais, etc.); na importncia de extrair
lies a partir da experincia; em qualquer outro elemento de informao relativamente
interveno que o avaliador encarregue de produzir.
Equipa: papis e responsabilidadesNo plano de trabalho deve figurar o nome dos membros da equipa de avaliao e de quem tem
a responsabilidade principal bem como, em termos gerais, a descrio das responsabilidades
de cada um.
Metodologia
O avaliador deve apresentar a metodologia de acordo com as exigncias e objectivos
enunciados nos TdR. Trata-se de estabelecer a metodologia mais adaptada aos objectivos
estabelecidos tendo em conta a informao disponvel, os prazos e os recursos destinados avaliao. Uma metodologia de avaliao credvel permite estabelecer uma relao directa
entre os resultados e a interveno avaliada, e eliminar assim as outras explicaes possveis.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
32/99
Pgina 32 de 99
Por isso, no plano de trabalho deve incluir-se: uma justificao sobre a metodologia a adoptar;
o tipo de informao e respectivas fontes, os mtodos de recolha de dados e as tcnicas de
anlise necessrias.
Calendrio e oramento
O avaliador deve fixar um calendrio para os trabalhos propostos, com prazos precisos e
determinar o custo da avaliao.
6 - Fase documental
Aps a seleco dos avaliadores h uma reunio com o GAAI/IPAD. O principal resultado desta
reunio deve ser o acordo quanto s expectativas do IPAD relativamente avaliao e ao
processo atravs do qual os avaliadores iro desenvolver os trabalhos e produzir o primeiro
relatrio, o qual deve incluir um plano de trabalho para as fases seguintes, propor a abordagem
metodolgica e a estratgia de disseminao. Sempre que necessrio, pode e deve encontrar-se
com o elemento/grupo de acompanhamento para esclarecimentos e informao adicionais.
Os consultores iniciam o trabalho fazendo contactos directos com os Servios para a pesquisa
documental, incluindo a recolha de todos os documentos relevantes, o dilogo e eventuaisentrevistas (o GAAI/IPAD pode tambm ser solicitada). Entre as fontes teis destacam-se: a
documentao e os dossiers da interveno; o arquivo do IPAD e/ou dos executores da
interveno; as consultas (em pessoa, por telefone, fax, e-mail, etc.) ao pessoal da Cooperao
Portuguesa e aos detentores de interesse que, em Portugal, possuam conhecimentos teis.
Em geral, o chefe da equipa de avaliao deve liderar este processo. O grau de participao dos
outros elementos pode variar. Os avaliadores devem proceder a um exame detalhado de toda a
informao til para dispor de todos os elementos que lhes permitam preparar o primeiro relatrio eo plano de trabalho para as fases seguintes.
6.1 - Produo do primeiro relatrio
Todos os relatrios de avaliao da Cooperao Portuguesa devem ter um formato padro. So
escritos em portugus claro e sem erros, em formato word, arial 10, com espao e meio, devendo
ser entregues trs exemplares impressos e uma cpia em suporte magntico.
O mbito e detalhe deste primeiro relatrio devem ser identificado nos TdR e acordado na primeirareunio. Ambos podem variar de acordo com a dimenso e complexidade da avaliao.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
33/99
Pgina 33 de 99
Os avaliadores so aconselhados a centrar o trabalho inicial na recolha de dados sobre o contexto
geral e identificar em que medida esses dados j tm indicaes sobre o impacto e a eficcia. A
sua apreciao o ponto de partida para identificar a que questes da avaliao provvel
responder com os recursos disponveis. plausvel incluir, em forma de sntese, uma reviso do
documento central do projecto/programa/poltica para a avaliao, entrevistas iniciais com
entidades e Servios chave e uma anlise do material relevante de outros doadores e da
comunidade de investigao.
Esta anlise da documentao antes da fase de trabalho de campo essencial. Ela permite aos
avaliadores conhecer os diferentes aspectos da interveno ou da poltica e assim ser mais
eficazes no momento da recolha de informao no terreno.
O relatrio deve ser apresentado para discusso e aprovao pelo IPAD. Nele esto includos os
resultados desta primeira fase incluindo as concluses provisrias e a identificao das reas
que necessitam de recolha de mais documentao e informao. Com base nisso a equipa elabora
um plano detalhado para a fase de trabalho de campo e as propostas metodolgicas para as fases
seguintes (trabalho de campo e relatrio final).
Este relatrio deve conter:
Ttulo
Introduo
Enquadramento no plano do desenvolvimento e da avaliao. O avaliador deve, tambm, fazer o pontoda situao sobre a literatura especializada nesta matria.
Metodologia descrio dos indicadores de resultados que serviram para estabelecer em que medida osresultados esperados foram atingidos; das fontes de informao e dos mtodos e tcnicas aplicados paraa recolha e tratamento dos dados.
Resultados da fase documental partindo da descrio sobre a forma como os dados brutos foramtransformados para dar respostas teis e vlidas aos objectivos da Cooperao Portuguesa, o avaliadortransforma-os em elementos de prova credvel sobre a interveno e os seus resultados, e d umaprimeira resposta s questes colocadas nos TdR. Faz uma apresentao preliminar das constataes,lies aprendidas e recomendaes.
Plano de trabalho para as fases seguintes o primeiro relatrio inclui o planeamento e preparao dotrabalho de campo e do relatrio final. O avaliador deve completar, tanto quanto possvel, o trabalho dafase documental e as anlises preliminares antes da visita ao terreno porque:
Ter acesso a pessoas chave no pas por vezes difcil e o tempo que se vai utilizar com elas deves-lo de forma produtiva;
O tempo gasto no terreno caro. melhor criar uma equipa eficaz e identificar os problemas
antes da visita ao terreno, quando a oportunidade de os resolver ainda possvel; Alguns informadores chave, especialmente das organizaes doadoras, podem ter-se mudado.
Contact-los por vezes mais fcil a partir de Portugal do que no terreno e eles podem atidentificar outros informadores chave;
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
34/99
Pgina 34 de 99
O avaliador deve permitir aos principais detentores de interesse no terreno reagir s principaisconstataes e recomendaes antes do fim da visita. Isto s possvel se muita da preparaofor feita antes da visita ao pas, para permitir tempo para analisar os dados e produzir concluses
e recomendaes.
Anexos incluem os TdR, acrnimos, bibliografia, entidades consultadas, quadros e tabelascomplementares, etc.
O GAAI/IPAD deve fazer circular este relatrio pelos actores envolvidos e, se possvel, por outros
detentores de interesse, dentro e/ fora da Cooperao Portuguesa, para comentrios.
Uma vez discutido e aprovado, o primeiro relatrio deve constituir a base para comandar a
avaliao at ao fim. O IPAD faz saber Delegao no terreno o que se espera que ela faaquanto a preparativos para a fase de trabalho de campo.
7 - Trabalho de campo
O trabalho de campo constitui a principal fase da avaliao. A equipa de avaliao deve assegurar-
se, junto do GAAI/IPAD, que o planeamento est completo e chegar a acordo com os que esto no
terreno antes de partir.
Os consultores e o elemento de acompanhamento deslocam-se ao pas em causa, renem com aDelegao local e fazem as visitas de campo e outras pesquisas e reunies, no quadro do proposto
no primeiro relatrio.
As questes especficas a serem respondidas durante esta fase, bem como os mtodos a utilizar,
devem ter sido descritos no primeiro relatrio e aprovados pelo GAAI/IPAD. A experincia sugere
que a anlise e discusso das constataes preliminares, aspectos e questes levantadas com os
detentores de interesse locais devem ser discutidos com os mesmos no fim da visita. A equipa
deve apresentar uma sntese do relatrio, incluindo as constataes, concluses e recomendaes
preliminares, antes do fim da visita ao terreno, a qual serve de base para a discusso em
workshop.
O tempo gasto nesta fase facilita, frequentemente, a aceitao local e a utilidade das
recomendaes finais da avaliao. Da mesma forma, estas actividades so elementos chave da
estratgia de disseminao de uma avaliao e muitas vezes so um frum no qual aspectos que
so difceis de responder num documento publicado podem ser discutidos livremente por aqueles
que tm mais oportunidade para responder e de forma eficaz aos mesmos.
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
35/99
Pgina 35 de 99
O GAAI/IPAD pode estar presente nestas sesses, quer para apreciar a qualidade da participao
dos principais detentores de interesse na avaliao, quer para verificar o grau de aceitao das
constataes e recomendaes.
8 - Relatrio final da avaliao
O Relatrio final define o valor acrescentado da avaliao. O valor acrescentado determinado
pela(s):
Anlise da interveno de desenvolvimento feita pelo avaliador (ou seja, as respostas s
questes da avaliao e as concluses tiradas);
Lies retiradas da experincia;
Recomendaes, tendo em vista a melhoria de intervenes futuras.
O relatrio final serve, acima de tudo, para dar a conhecer Cooperao Portuguesa os resultados
da avaliao. A informao fornecida deve responder de forma detalhada aos objectivos
enunciados nos TdR e no plano de trabalho do avaliador e apresentar os resultados extrados das
constataes feitas, na sequncia da recolha e anlise dos dados. O principal objectivo produzir
resultados credveis e teis, de acordo com o exame que o avaliador fez da interveno em causa.
O relatrio final deve ser breve e conciso, com apresentao clara e ajustada ao grupo alvo.
Depois da leitura do relatrio final, os leitores no devero ter dvidas quanto razo porque a
avaliao foi feita, em que consistiu, quais os resultados e as recomendaes e lies tiradas para
o futuro. Os resultados devem ser apresentados segundo uma ordem lgica credvel e basear-se
em factos e concluses extradas dos dados recolhidos. O relatrio deve ter um bom padro de
qualidade profissional quanto preciso, equilbrio, perspiccia e realismo, redaco clara e sem
erros.
O avaliador prepara o relatrio segundo o formato proposto nos TdR, ainda que a estrutura possa
oscilar em funo de circunstncias especficas. O relatrio deve incluir um sumrio executivo onde
so apresentados os principais resultados da avaliao. Para facilitar a disseminao dos
resultados, o sumrio executivo deve, tambm, ser apresentado em ingls.
A apresentao dos resultados num relatrio final reduz o risco de estes serem mal interpretados.
Quando o relatrio escrito de forma clara e concisa e os grandes pontos so bem explicados, os
resultados so melhor compreendidos e mais eficazes. Ao preparar o relatrio final os avaliadoresdevem ter em conta o facto de as diferentes audincias no possurem todas os mesmos
conhecimentos e no necessitarem do mesmo tipo de informao. Os leitores cujo conhecimento
7/29/2019 GUIA DE AVALIAO [IPAD - 2009]
36/99
Pgina 36 de 99
tcnico limitado, por vezes mesmo inexistente, no devem ter dificuldade em compreender o
relatrio.
Deve, tal como os restantes, ser escrito em portugus, de forma clara, concisa e sem erros, em
formato word, arial10, devendo ser entregues trs exemplares impressos e uma cpia em suporte
magntico. A extenso do relatrio final, que oscila entre 35 e 85 pginas (sem contar com os
anexos) varia de acordo com a complexidade e extenso da avaliao. Embora a qualidade nada
tenha a ver com a extenso, os relatrios devem ser concisos na medida em que os leitores chave
no tm muito tempo para dedicar leitura de relatrios longos.
Formular os resultados de uma avaliao no tarefa fcil. O avaliador chamado a olhar para
todas as constataes feitas com o objectivo de avaliar os resultados de forma justa, objectiva e
exacta, e decidir como enunciar as recomendaes. Os resultados so extrados da informao
recolhida durante a avaliao. essencial que o exame seja exaustivo que as concluses sejam
plenamente justificadas e o raciocnio seg