GUIA DE AVALIAÇÃO [IPAD - 2009]

Embed Size (px)

Citation preview

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    1/99

    GUIA DE AVALIAO

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    2/99

    Pgina 2 de 99

    Ficha tcnica

    Ttulo:Guia de Avaliao

    Autores:Maria Manuela AfonsoMrio Ribeiro

    Edio:

    Gabinete de Avaliao e Auditoria InternaInstituto Portugus de Apoio ao DesenvolvimentoMinistrio dos Negcios Estrangeiros2 Edio: Janeiro de 2009

    Contacto:Av. da Liberdade, 192, 1 1250-147 LisboaTel. (351) 21 317 67 00

    Website:http://www.ipad.mne.gov.pt

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    3/99

    Pgina 3 de 99

    NDICEIntroduo............................................................................................................................................................ 4

    A quem se destina este guia........................................................................................................................... 5

    I Noes Bsicas.............................................................................................................................................. 7

    1- Avaliao: definio e limites...................................................................................................................... 72 - A avaliao no ciclo do projecto ................................................................................................................ 83 O acompanhamento e a avaliao ........................................................................................................... 94 Finalidades e objectivos da avaliao .................................................................................................... 125 Critrios de avaliao.............................................................................................................................. 127 - Tipos de avaliao ................................................................................................................................... 148 Caractersticas de uma boa avaliao.................................................................................................... 189 tica/deontologia da avaliao ............................................................................................................... 21

    II O processo de avaliao externa................................................................................................................ 25

    1 - Planeamento da avaliao....................................................................................................................... 252 Elemento/grupo de acompanhamento.................................................................................................... 263 - Termos de Referncia (TdR) ................................................................................................................... 264 - Escolha dos avaliadores .......................................................................................................................... 275 - Plano de trabalho..................................................................................................................................... 296 - Fase documental ..................................................................................................................................... 327 - Trabalho de campo .................................................................................................................................. 348 - Relatrio final da avaliao...................................................................................................................... 359 - Publicao e disseminao ..................................................................................................................... 43

    III A Auto-avaliao ........................................................................................................................................ 46

    3.1 - Razes e objectivos.............................................................................................................................. 46

    3.2 Quando se faz...................................................................................................................................... 473.3 Quem faz.............................................................................................................................................. 473.4 - Como se faz.......................................................................................................................................... 473.5 A quem se destinam os resultados...................................................................................................... 48

    IV Mtodos e tcnicas de avaliao............................................................................................................... 53

    4.1 A Recolha de dados............................................................................................................................. 534.2 A anlise dos dados............................................................................................................................. 564.3 Tcnicas e ferramentas........................................................................................................................ 57

    4.3.1 - Abordagem do quadro lgico ........................................................................................................ 584.3.2 rvore de problemas .................................................................................................................... 594.3.3 rvore de objectivos e de efeitos ................................................................................................. 624.3.4 rvore de decises ....................................................................................................................... 65

    4.3.5 Entrevistas .................................................................................................................................... 674.3.6 Inquritos/questionrios (Survey)................................................................................................. 714.3.7 Grupo de Discusso (Focus Group)............................................................................................. 754.3.8 - Avaliao dos efeitos e dos impactos ........................................................................................... 784.3.9 Painel de peritos ........................................................................................................................... 804.3.10 - Anlise custo-benefcio e anlise custo-eficcia......................................................................... 814.3.11 Estudos de caso ......................................................................................................................... 834.3.12 Anlise SWOT ............................................................................................................................ 854.3.13 - Mtodos Participativos ................................................................................................................ 874.3.14 Anlise multicritrios................................................................................................................... 904.3.15 - Anlise social e cultural ............................................................................................................... 924.3.16 - Mtodos de avaliao rpida....................................................................................................... 94

    Bibliografia......................................................................................................................................................... 97

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    4/99

    Pgina 4 de 99

    Introduo

    O sucesso das intervenes de desenvolvimento1 passa pela forma como as mesmas so

    acompanhadas e avaliadas. Os resultados da avaliao desempenham um papel primordial na

    tomada de decises no que se refere formulao de polticas, elaborao de estratgias,

    afectao de recursos e exemplaridade de certas prticas. As lies tiradas atravs da experincia

    permitem um acrscimo de eficcia e de eficincia da ajuda.

    Para assegurar que a ajuda fornecida de forma eficaz e transparente, na linha das necessidades

    dos pases parceiros e na ptica da reduo da pobreza, a avaliao essencial na medida em

    que d conta do sucesso das intervenes e, ao mesmo tempo, permite que as lies aprendidas

    possam ser incorporadas nas actividades de acompanhamento de intervenes em execuo e na

    formulao e execuo de novas intervenes.

    A avaliao permite no s dar conta dos resultados das actividades de cooperao e promover a

    transparncia como tambm prestar contas perante os contribuintes, para alm de permitir, ainda,

    responder s obrigaes perante a comunidade internacional do desenvolvimento. Os doadores

    tm a obrigao de prestar contas aos parceiros e opinio pblica relativamente s aces

    conduzidas e aos compromissos assumidos.

    Numa ptica de gesto centrada nos resultados, a avaliao s til se as concluses e

    recomendaes produzidas constiturem um valor acrescentado. A existncia de informao

    credvel, pertinente e objectiva sobre os resultados das intervenes de desenvolvimento

    fundamental para os resultados da avaliao e para se saber o que produz bons e menos bons

    resultados e o que deve ser feito para os melhorar. As constataes, recomendaes e lies

    aprendidas podem, e devem, ser integradas no processo de tomada de decises nos seus diversosnveis (do poltico ao operacional).

    O Instituto Portugus de Apoio ao Desenvolvimento (IPAD) , na cooperao portuguesa, o rgo

    central de coordenao da poltica de cooperao, competindo-lhe, dentro desta concepo

    Proceder identificao, anlise, acompanhamento e avaliao dos resultados da execuo, dos

    programas, projectos e aces de cooperao para o desenvolvimento, com vista a melhorar a

    racionalidade, eficcia e eficincia da ajuda2. O processo de avaliao compete ao Gabinete de

    1 Instrumento de Ajuda utilizado por um parceiro (doador ou no) com vista promoo do desenvolvimento.Por exemplo: projectos, programas, conselho ou parecer sobre polticas, etc.2 Art. 3, alnea h), Decreto-Lei n 120/2007, de 27 de Abril, DR 1 srie.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    5/99

    Pgina 5 de 99

    Avaliao e Auditoria Interna (GAAI)3 que deve, por isso, ser capaz de promover a avaliao da

    cooperao portuguesa e difundir/disseminar os resultados dessa experincia.

    No documento Uma Viso Estratgica para a Cooperao Portuguesa assumida a importncia

    da avaliao no processo de tomada de deciso poltica e tcnica da Cooperao Portuguesa

    sendo urgente recuperar o tempo perdido. A avaliao deve ser entendida como um mecanismo

    transversal a toda a cooperao. assim fundamental criar uma cultura de avaliao e aumentar a

    nossa capacidade tcnica nesta rea, conseguindo nomeadamente acelerar procedimentos que

    permitam avaliar mais e melhor.4

    A quem se destina este guia

    A ausncia de documentos orientadores em lngua portuguesa sobre o papel e a importncia, bem

    como sobre as metodologias da avaliao na cooperao para o desenvolvimento, a par da

    ausncia de formao dos agentes da cooperao nesta rea, constituem importantes limitaes

    ao desenvolvimento de trabalhos neste mbito, dificultando o entendimento e o dilogo sobre a

    matria.

    O presente guia foi elaborado para tentar responder s lacunas atrs referidas e contribuir para acriao de uma mais valia tcnica sobre a temtica, tentando sistematizar/organizar os principais

    aspectos (os mais pertinentes) da avaliao da cooperao. Destina-se a todos aqueles que

    trabalham em actividades de avaliao da Ajuda, quer dentro, quer fora do IPAD.

    O guia tem como objectivo fornecer, a quem lida com esta rea, um conhecimento da terminologia,

    dos princpios, abordagens e metodologias da avaliao, de forma a permitir uma gesto eficaz do

    seu processo. Pretende, tambm, esclarecer os avaliadores externos contratados pelo IPAD sobre

    o que se consideram ser as boas prticas da avaliao e o que o IPAD espera deles. Procura,assim, responder necessidade de produzir avaliaes com as caractersticas atrs anunciadas,

    definir as regras a seguir bem como as normas e as exigncias fundamentais de uma avaliao

    til, transparente e credvel.

    Os princpios e boas prticas da avaliao realados neste guia devem fazer parte quer das auto-

    avaliaes, quer das avaliaes externas. Contudo, no inteno do guia tratar de todas as

    questes tcnicas que envolvem a avaliao. Por isso, as questes relativas recolha e anlise de

    3 Art. 7, Portaria n 510/2007, de 30 de Abril, DR 1 srie.4 Uma Viso Estratgica para a Cooperao Portuguesa: pp. 54. Resoluo de Conselho de Ministros196/2005, de 22 de Dezembro.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    6/99

    Pgina 6 de 99

    dados, por serem da responsabilidade dos avaliadores, so tratados de forma menos aprofundada,

    ainda que sejam includas algumas referncias bibliogrficas para o seu aprofundamento.

    O guia est estruturado em 4 partes fundamentais: na primeira (captulo I) so apresentadas as

    noes bsicas da avaliao; na segunda descrito o processo subjacente a uma avaliao

    externa, o tipo de avaliao dominante na Cooperao Portuguesa; na terceira parte apresenta-se

    o processo de auto-avaliao e, na quarta, so descritos os principais mtodos e tcnicas de

    avaliao.

    Este documento o resultado de um trabalho de pesquisa interno sobre a matria e, tambm, um

    reflexo da experincia e do caminho que entretanto foi percorrido no que diz respeito avaliao.

    Sintetiza o trabalho e a longa experincia desenvolvidos pelas agncias doadoras internacionais e

    a experincia recente da cooperao portuguesa em matria de avaliao de intervenes de

    desenvolvimento. No pretende ser um guia acabado mas antes um instrumento que ser

    gradualmente aperfeioado medida que o conhecimento e a prtica de avaliao da Cooperao

    Portuguesa se aprofundarem.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    7/99

    Pgina 7 de 99

    I Noes Bsicas

    1- Avaliao: definio e limites

    Avaliao um termo genrico utilizado em todas as prticas de avaliao, mas tambm tem um

    significado especfico. Ele indica a relevncia, a eficcia, a eficincia, o impacto e a

    sustentabilidade de um projecto ou programa. uma procura sistemtica de resposta sobre as

    intervenes de desenvolvimento e pode ser realizada em diferentes momentos ao longo do ciclo

    do projecto. Pode enfatizar muitas questes mas, independentemente de cada questo, implica

    recolher, analisar, interpretar e disseminar informao.

    A avaliao , normalmente, realizada aps a concluso de uma interveno de desenvolvimento,

    por pessoas externas mesma. Contudo, muitas agncias de cooperao fazem exerccios de

    avaliao a meio percurso para averiguar se os resultados das intervenes esto a ser os

    previstos ou se necessrio proceder a correces para que os objectivos iniciais possam ser

    alcanados.

    De acordo com o CAD, a avaliao um processo to sistemtico e objectivo quanto possvel queconsiste em apreciar um projecto, programa ou poltica em curso ou j concludo, a sua concepo,

    execuo e resultados. Destina-se a determinar a relevncia e grau de consecuo de objectivos,

    bem como a eficincia, eficcia, impacto e sustentabilidade em termos de desenvolvimento. Uma

    avaliao deve fornecer informaes credveis e teis, e permitir que as lies aprendidas sejam

    incorporadas no processo de deciso dos beneficirios e dos doadores5.

    Uma distino que fundamental fazer, dados os equvocos frequentes, a que diz respeito s

    diferenas entre avaliao, auditoria e acompanhamento (quadro 1). No ponto 1.3 so abordadas

    de forma mais aprofundada as relaes entre avaliao e acompanhamento, dada a sua

    complementaridade e interaco.

    Enquanto o acompanhamento/monitorizao pode explicar o que est a acontecer, a avaliao

    permite explicar porque que isso est a acontecer e, ainda, aprender e partilhar lies

    importantes.

    5 OCDE, 1992, Princpios do CAD para uma Ajuda Eficaz: 156. Paris.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    8/99

    Pgina 8 de 99

    Quadro 1 Diferenas entre acompanhamento, auditoria e avaliaoAcompanhamento Auditoria Avaliao

    Frequncia/ tempo Peridico, regular.Contnuo, durante aimplementao.

    Episdica, anual ou final. Episdica, a meio percurso,no final.Ocasional, durante e/ou apsa implementao.

    Aco principal Registo, superviso,comparao com o plano.

    Controlo daconformidaderelativamente s normas.

    Apreciao, medio dosefeitos, atribuio decausalidades.

    Objectivos Melhorar a eficcia interna,modificar o plano deactividades ou a afectaode recursos.Recolha de informao paramelhorar a tomada de

    decises sobre a gestoimediata das actividades queesto a ser acompanhadas.

    Garantir o respeito dasnormas, acabar com asprticas no conformes.

    Melhorar a eficcia externa,os efeitos, o impacto da futuraprogramao.Recolha de informao paradeterminar a relevncia,eficcia, eficincia, impacto e

    sustentabilidade de umainterveno dedesenvolvimento.

    Fontes deinformao

    Informaes fornecidasregularmente pelo sistemade gesto.

    Informaes deacompanhamento dagesto.

    Informaes deacompanhamento, estudos,entrevistas, anlises,inquritos.

    Entidade queencomenda

    Chefe do projecto,responsvel da poltica.

    Autoridades daorganizao ou suatutela.

    Autoridades que decidemsobre a realizao do projectoou da poltica.

    Quem efectua Equipa responsvel pelaexecuo do projecto ou dapoltica.

    Auditores especialistas eacreditados (internos ouexternos).

    Avaliadores exteriores aoprojecto ao poltica (internosou externos organizao)

    com a participao, em certoscasos, da equipa do projecto(auto-avaliao).

    Principais /utilizadores/destinatrios dorelatrio

    Chefe do projecto, equipa deexecuo. Gestores internos.

    Autoridades daorganizao ou suatutela.

    Autoridades que tm quedecidir sobre a realizao doprojecto ou da poltica. Grupoalargado de decisores.Pblico em geral, opiniopblica, contribuintes.

    A auditoria assegura que a execuo do projecto se efectua dentro do respeito pelas regras e

    procedimentos da organizao. um controlo da legitimidade e da conformidade relativamente snormas de funcionamento definidas pela Lei, e pelos regulamentos, directivas, oramentos,

    circulares, notas internas, etc. A auditoria cobre parcialmente a avaliao na medida em que

    estuda a realizao de planos de trabalho propostos mas no se interessa nem pela pertinncia

    nem pelo impacto das intervenes.

    2 - A avaliao no ciclo do projecto

    Na vida de um projecto ou programa de cooperao para o desenvolvimento a avaliao assume

    diferentes formas, objectivos e funes, consoante o momento em que realizada, tornando-senecessrio clarific-las. Em funo da fase do ciclo do projecto fala-se em:

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    9/99

    Pgina 9 de 99

    Apreciao (appraisal): quando se faz a anlise do projecto, antes de ser tomada a deciso

    sobre o seu financiamento. Este estudo de viabilidade e do mrito econmico do

    projecto/programa pode ser feito pelos servios da entidade financiadora, ou atravs do recurso

    a consultores externos, utilizando metodologias prprias que no se enquadram no actual guia.

    Acompanhamento/monitorizao (monitoring): quando se faz a apreciao contnua sobre a

    forma como os recursos esto a ser utilizados e o progresso das actividades, durante a

    implementao do projecto. Visa verificar se o projecto est a ser implementado de acordo com

    o planeado e, quando necessrio, faz recomendaes de correco. Esta tarefa normalmente

    desempenhada por quem est directamente envolvido na gesto do projecto, pela entidade

    financiadora e/ou executora, e pelos representantes locais da cooperao (Conselheiros/Adidos

    para a Cooperao, no caso portugus).

    Avaliao (evaluation): quando se faz uma apreciao no percurso (por exemplo, no final de

    uma determinada fase), no fim ou aps a concluso do projecto, sobre os efeitos e resultados

    do projecto ou programa, esperados ou no.

    Os conceitos de apreciao, acompanhamento e avaliao devem, por isso, ser claramente

    separados, distinguindo-se, entre outras razes, pelo momento da sua realizao, como a figura

    ilustra.

    Figura 1 Avaliao no ciclo do projectoApreciao Acompanhamento Avaliao

    ---------------------- eixo temporal--------------------------------------------------------- Avaliao

    ideia do concepo formalizao; execuo fim do projecto

    projecto incio do projecto do projecto

    Quer a apreciao, quer o acompanhamento, so fundamentais para a avaliao na medida em

    que a forma como o projecto concebido e a qualidade da informao produzida durante a suaexecuo, so a base para o seu xito. A avaliao pressupe a existncia de objectivos

    suficientemente precisos para poderem ser rigorosamente confrontados com os resultados. Um

    projecto mal elaborado ou uma deficiente/inexistente recolha de informao durante a vida do

    projecto colocam em causa a possibilidade de realizar uma avaliao com sucesso.

    3 O acompanhamento e a avaliao

    Embora sejam tarefas distintas, a ligao entre avaliao e acompanhamento muito estreita e

    complementar. O acompanhamento uma importante tarefa no ciclo do projecto e uma fonte chavede informao para a avaliao salientando, ao mesmo tempo, que as duas funes preenchem

    diferentes objectivos e no podem ser tratadas como se fossem sinnimos.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    10/99

    Pgina 10 de 99

    O acompanhamento um termo que significa ver, descrever o que existe e captar o que realmente

    acontece. fundamentalmente um processo interno, realizado pelos responsveis pela execuo

    do projecto/programa e efectuado para apreciar o progresso em intervalos regulares na sua vida.

    Pode, tambm, ser um processo contnuo de recolha e anlise de informao para responder

    gesto imediata das actividades que esto a ser realizadas. Permite identificar a existncia de

    desfasamentos entre o nvel de execuo e o previsto e rapidamente adoptar medidas correctivas.

    Centra-se no estado de avano do projecto/programa e efectua o controle por comparao com o

    planeado. Os indicadores e os mtodos para verificar o progresso so normalmente includos na

    fase de concepo mas, para serem efectivos, necessitam de ser compreendidos e apropriados

    pela equipa e pelos detentores de interesse da interveno de desenvolvimento.

    A avaliao um processo ulterior de identificao e reflexo sobre os efeitos do que foi feito e

    apreciao do seu valor. Preocupa-se com a relevncia, eficcia, eficincia, impacto e

    sustentabilidade do que foi feito. Mais espordica que o acompanhamento, facilitada pelas

    informaes e anlises do acompanhamento, mas utiliza fontes de informao suplementares.

    Parte do princpio que questes especficas que dizem respeito eficcia e ao impacto no so

    abordadas pelo acompanhamento. Alguns tipos de avaliao, particularmente a no percurso, a

    auto-avaliao e as avaliaes no final de fases, so muito prximas do acompanhamento. Cada

    vez mais se reconhece que as avaliaes ex-post e de impacto de certos tipos de intervenes de

    desenvolvimento centradas nas populaes, so muito difceis de realizar se o sistema de

    acompanhamento no tiver recolhido os dados de base necessrios. Reconhece-se tambm, de

    forma crescente, o valor das avaliaes participativas que combinam as competncias e os pontos

    de vista de todos os detentores de interesse nas intervenes a avaliar.

    A problemtica da sustentabilidade e do impacto das intervenes vem colocar a questo sobrecomo que as actividades de acompanhamento e de avaliao so planeadas e implementadas.

    H uma relao ntima entre estas duas actividades. Quanto mais recursos so afectos ao

    acompanhamento, menos recursos so necessrios para as avaliaes tradicionais e maior nfase

    se coloca nos estudos de impacto. Da mesma forma, quanto melhores so os mtodos de gesto

    do ciclo do projecto, incluindo, claro, o acompanhamento, mais fcil a tarefa do avaliador,

    porque os dados fundamentais sobre a realizao dos objectivos e os dados para os indicadores

    de resultados foram recolhidos de forma rotineira.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    11/99

    Pgina 11 de 99

    Acompanhamento Questes aformular

    Avaliao

    Acompanhar olhar e ver, ouvir e escutar, constatar

    e anotar, clarificar e fazer o relatrio.

    O que ? Avaliar basear-se em todo o processo da

    monitorizao mas avanar na reflexo sobre oque aconteceu, analisar os efeitos e, apreciar ovalor global do que foi feito.

    O acompanhamento feito para assegurar quetodas as pessoas que necessitam de terconhecimento sobre uma interveno ou actividadede desenvolvimento so devidamente informadas.Tambm feito para que possam ser tomadas asmelhores decises de gesto diria e possam serprestadas contas de forma responsvel e rigorosasobre a forma como os recursos e as oportunidadesesto a ser usados.

    Porqu? A avaliao feita para que as pessoasenvolvidas numa actividade possam reflectirsobre o que foi e o que no foi alcanado. Elaspodem descobrir as potencialidades e fraquezasde um programa, os sucessos e fracassos,chegar a uma apreciao sobre se a actividadecorrespondeu ao custo e esforo envolvidos eaprender com a experincia para o trabalhofuturo.

    Os que so responsveis pela realizao dotrabalho precisam acompanhar o que fazem, ver seas coisas esto a ser executadas de acordo com oplaneado ou se necessitam de ser ajustadas.Tambm precisam de ter registos adequados erelatrios para outras pessoas ou organizaes quenecessitem saber o que est a acontecer e paraquem tem responsabilidades superiores sobre o queest a ser feito.

    Quem faz? A avaliao pode ser feita por pessoasexteriores que tm competncias especficaspara apreciar a eficcia e eficincia de umaactividade. Tambm pode ser feita de formaparticipativa com os diversos detentores deinteresse, com ou sem o envolvimento deespecialistas externos.

    O acompanhamento pode ser feito de formacontnua ou com determinada periodicidade, paraque qualquer problema ou oportunidade sejadescoberto sem atraso e se tomem as decises

    acertadas para que as actividades produzam osobjectivos estabelecidos.

    Quando? A avaliao tradicionalmente feita no final deum projecto, para produzir um relatrio sobre sefoi ou no um sucesso. Ela deve tambm serfeita durante a vida do projecto/programa, para

    apreender em profundidade como est a evoluir,em tempo til, para rectificar quaisquerproblemas e aprender novas oportunidades.

    O acompanhamento precisa de ser feito no localonde as actividades esto a ser executadas mas osresultados tambm precisam de ser transmitidos aoutros nveis das organizaes afectadas, para quetenha amplas implicaes.

    Onde? Uma vez que a avaliao faz apreciaes devalor ela no pode ser feita remotamente doexterior por peritos que no percebem os valorese as prioridades locais. Por isso, uma avaliaoimplica processos de incluso das pessoasenvolvidas e afectadas pelas actividades emcausa.

    O acompanhamento implica olhar, ouvir e aprender.Num projecto, actividades diversas requeremmtodos especficos e o processo deacompanhamento deve ser planeadocuidadosamente antes da interveno comear.

    Como? H muitos mtodos que podem ser usados notrabalho de avaliao devendo ser equacionadosde forma realista e com antecedncia, complanos quanto ao tempo e recursos queimplicam.

    O acompanhamento precisa de ter objectivos ecanais de comunicao previamente acordados seele pretende ser algo mais do que um meroprocedimento de rotina. Deve ser definido desde oincio com realismo e clareza quanto sresponsabilidades, volume de trabalho que envolvee resultados especficos que se espera queproduza.

    Com queresultados?

    A avaliao deve ser feita para aprender bemcomo para apreciar o valor do trabalho dopassado. Deve traduzir-se numa contribuiodecisiva para melhor planear o trabalho futuro depromoo do desenvolvimento e, tambm,prestar contas quanto s oportunidades erecursos usados no passado.

    Fonte: Laurence Taylor 10/2001 /http://www.parcinfo.org

    Mas, a relao inversa tambm existe. A avaliao pode dar contributos para o acompanhamento

    na medida em que os estudos prvios (baseline studies) fornecem informao de base

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    12/99

    Pgina 12 de 99

    insubstituvel para a gesto e acompanhamento das intervenes bem como para uma eventual

    avaliao. Um processo de avaliao promove ele prprio uma clarificao dos objectivos, melhora

    a comunicao, aumenta o conhecimento e lana as bases para as actividades de

    acompanhamento.

    4 Finalidades e objectivos da avaliao

    Os organismos pblicos devem prestar contas sobre a forma como utilizam os recursos

    escassos e devem ter como principal preocupao a utilizao eficaz e eficiente desses fundos. A

    avaliao constitui um instrumento de gesto que permite aprender lies com a experincia,

    incorporar essas lies na concepo de novas intervenes para atingir os resultados desejados e

    fornecer uma base para a responsabilizao dos agentes envolvidos e para a transparncia dos

    processos.

    A avaliao na cooperao portuguesa tem os seguintes objectivos centrais:

    Aprender lies compreender por que determinadas actividades de ajuda so mais ou menos

    bem sucedidas, de forma a melhorar o seu desempenho no futuro. As avaliaes permitem que

    a cooperao portuguesa e os seus parceiros aprendam com a prpria experincia, e

    incorporem os ensinamentos em futuras intervenes, melhorando por essa via a ajuda.

    Prestar contas fornecer uma base objectiva para a prestao de contas aos principaisdetentores de interesse: governos e parlamentos parceiros, sociedade civil, contribuintes,

    pessoas afectadas pelas intervenes. Prestar contas est sobretudo relacionado com a

    transparncia da utilizao dos recursos, face aos contribuintes e beneficirios.

    Mostrar resultados os resultados da avaliao podem dar um importante contributo para a

    afectao dos recursos destinados cooperao, tanto na fase do planeamento como na da

    tomada de decises e hierarquizao de prioridades, nomeadamente na definio do

    oramento da cooperao. necessrio criar mecanismos de fcil e rpida difuso dos

    resultados da avaliao para que os mesmos tenham utilidade. Estes resultados devem seramplamente difundidos junto do grande pblico, contribuindo deste modo para a transparncia

    e credibilidade da cooperao.

    Aumentar o conhecimento a avaliao contribui para uma melhor compreenso do processo

    de desenvolvimento, aumenta o conhecimento sobre a Ajuda, as suas possibilidades e

    limitaes como instrumento de mudana econmica e social.

    5 Critrios de avaliao

    Os critrios bsicos de qualquer avaliao so:

    1. Relevncia Medida segundo a qual os objectivos de uma interveno de desenvolvimento

    correspondem s expectativas dos beneficirios, s necessidades do pas, s prioridades

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    13/99

    Pgina 13 de 99

    globais, s polticas dos parceiros e dos doadores. Determina se as actividades e os resultados

    da interveno esto em conformidade com os programas estabelecidos e correspondem de

    forma adequada realizao dos objectivos e obteno dos resultados pretendidos. Os

    objectivos e as actividades esto adaptados ao problema a tratar? Os meios e os recursos

    (humanos e financeiros) so coerentes com os objectivos fixados?

    2. Eficcia Medida segundo a qual os objectivos da interveno de desenvolvimento foram

    atingidos, ou se espera serem alcanados, tendo em considerao a sua importncia relativa.

    Mede em que medida a Ajuda atinge os seus objectivos. a relao entre os objectivos

    pretendidos e os resultados alcanados (implica que os objectivos tenham sido previamente

    definidos). Em que medida os resultados so devidos a esta interveno?

    3. Eficincia Medida segundo a qual os recursos (fundos, peritos, tempo, etc.) so convertidos

    em resultados de forma mais econmica. um termo econmico que visa medir se a Ajuda

    utiliza os recursos menos caros para atingir um determinado objectivo. Mede a produtividade da

    interveno ela eficiente se conseguir atingir os seus objectivos ao menor custo. Os

    resultados obtidos tm correspondncia com os recursos mobilizados?

    4. Impacto Efeitos a longo prazo, positivos e negativos, primrios e secundrios, induzidos por

    uma interveno de desenvolvimento, directa ou indirectamente, previstos ou no. Mede asconsequncias da interveno, do ponto de vista tcnico, econmico, sociocultural, institucional

    e ambiental. Quais so as consequncias globais do projecto, programa ou poltica sobre o

    contexto em questo, tendo em conta os efeitos (esperados ou no) directos, indirectos,

    multiplicadores, de curto, mdio e longo prazos?

    5. Sustentabilidade Continuao dos benefcios resultantes de uma interveno de

    desenvolvimento, aps a sua concluso. Probabilidade de os benefcios perdurarem a longo

    prazo. Situao em que as vantagens lquidas so susceptveis de resistir aos riscos ao longodo tempo. Visa saber em que medida os objectivos da Ajuda podem continuar a ser atingidos

    para alm do fim da mesma, isto , em que medida os grupos alvo podem e querem tomar a

    seu prprio cargo o prosseguimento da realizao dos objectivos dessa ajuda. Qual a

    probabilidade de os benefcios gerados se continuarem a fazer sentir depois de a interveno

    ter sido concluda?

    Para alm destes critrios, as avaliaes tendem a incluir outros critrios que passam pela

    governao, envolvimento do sector privado, participao, equidade e ambiente sustentvel. Com

    a reorientao das actividades de Ajuda, reforou-se a ateno prestada aos objectivos

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    14/99

    Pgina 14 de 99

    actualmente considerados primordiais: luta contra a pobreza, boa gesto dos assuntos pblicos

    (eleies, papel da sociedade civil, direitos humanos), gnero e ambiente.

    7 - Tipos de avaliao

    A classificao das avaliaes varia segundo diferentes critrios. Os principais aspectos que as

    diferenciam incluem:

    7.1 Quem as realiza(diferencia entre avaliao independente e auto-avaliao)

    A avaliao independente ou externa6 realizada por avaliadores que no tiveram

    responsabilidade ou envolvimento nas actividades que esto a ser avaliadas. Os executores da

    interveno e os beneficirios podem tambm ser envolvidos no processo, mas o principal

    objectivo obter uma apreciao independente e dedicar-se, acima de tudo, s questes da

    prestao de contas e da identificao de lies com ampla aplicabilidade. Cada vez mais as

    avaliaes independentes, quer ao nvel do sector, quer ao nvel do pas, esto a ser

    desencadeadas conjuntamente pelos governos doadores e parceiros7.

    A auto-avaliao8, pelo contrrio, envolve os executores e os beneficirios que avaliam as suas

    prprias actividades. Centra-se nas lies aprendidas para melhorar as actividades/acesimediatas.

    7.2 Quando ocorrem(consoante a fase em que se encontra a interveno de desenvolvimento

    meio percurso, no final ou ex-post)

    A avaliao no percurso envolve, normalmente, uma apreciao externa sobre se a interveno

    est a produzir os efeitos desejados e faz recomendaes de correco. Olha para os recursos

    para verificar se os resultados esto a ser alcanados.

    A avaliao finalolha de forma holstica para o que aconteceu como resultado da interveno e

    pergunta porqu? e como? para que as lies possam ser aprendidas.

    A avaliao ex-postfaz-se aps a interveno ter sido concluda. Deve ser feita alguns anos depois

    de concluda a interveno para analisar de forma mais objectiva os resultados alcanados,

    apreciando questes de impacto e de sustentabilidade a longo prazo. feita sobretudo para

    benefcio dos detentores de interesse externos, que no esto directamente envolvidos na gesto

    6 O processo de avaliao externa tratado no captulo II.7 O CAD produziu um excelente guia sobre planeamento e implementao de avaliaes conjuntas comoutros doadores e fez uma reviso da experincia em matria de avaliao de programas por pas.8 A auto-avaliao tratada no captulo III.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    15/99

    Pgina 15 de 99

    da interveno, realando-se a aplicabilidade a aces futuras semelhantes ou a optimizao da

    afectao dos recursos.

    Podemos, ainda neste contexto, falar em avaliaes formativas/informativas e avaliaes

    sumativas. As avaliaes de projectos em execuo so tambm referidas como avaliaes

    formativasna medida em que so realizadas, sobretudo, para benefcio dos que gerem o projecto,

    com a sua ampla participao e centradas na melhoria do seu trabalho. Servem para saber como

    esto a ser implementadas as intervenes e, se necessrio, introduzir correces na estratgia

    e/ou metodologia, de forma a serem alcanados os resultados pretendidos.

    As avaliaes sumativas so efectuadas numa fase avanada da implementao de uma

    interveno de desenvolvimento, sobretudo no seu final ou aps a concluso, para analisar os

    resultados alcanados, aprender lies, prestar contas/promover a transparncia e disseminar

    ensinamentos.

    7.3 Objecto da avaliao (da avaliao de projectos avaliao de outros instrumentos de

    ajuda)

    Avaliao de projectos a abordagem tradicional, que se centra num nico projecto, em todos os

    aspectos com ele relacionados. Os resultados da avaliao podem ser muito importantes para a

    gesto de projectos, pelo que a avaliao a projectos-piloto tem uma importncia particular.

    Avaliao de programas cobre a avaliao de diversos projectos interligados e inter-relacionados

    que contribuem para o mesmo objectivo global. A palavra programa tambm utilizada para outras

    formas de Ajuda, nomeadamente o apoio ao ajustamento estrutural, os programas regionais, a

    ajuda humanitria, programa sectorial, etc.

    Avaliao de sector / sectorial avaliao da Ajuda a um determinado sector ou sub-sector, como

    a sade ou a agricultura. Tal como com as avaliaes temticas, cobre uma srie de projectos e

    programa pas. A avaliao a sectoresdiz respeito no s avaliao ao apoio sectorial a um pas

    (projectos que contribuem para o mesmo objectivo global), mas tambm avaliao conjunta de

    vrios programas dentro do mesmo sector (programas que tm diferentes objectivos globais, mas

    que se destinam ao mesmo sector). A tnica colocada nos aspectos positivos e negativos das

    diversas abordagens, modalidades e/ou estratgias para tratar os problemas sectoriais. Os critriosde avaliao utilizados so os habituais, ainda que possam existir algumas variaes em funo do

    nvel de anlise: em cada interveno de forma individual e no sector no seu todo.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    16/99

    Pgina 16 de 99

    Avaliao temtica analisa questes transversais a diversas actividades, para alm do sector a

    que dizem respeito. Inclui vrios projectos ou programas semelhantes ou do mesmo tipo,

    normalmente em pases diferentes. Podem ser avaliaes que se centram em reas especficas e

    em tpicos transversais. Os elementos chave destas avaliaes so, habitualmente, quatro:

    erradicao da pobreza; gnero e desenvolvimento; sustentabilidade ambiental, e; fortalecimento

    institucional. Podem, ainda, incidir sobre outros aspectos como, por exemplo, a promoo do sector

    privado, o tratamento do HIV/SIDA, etc. As lies retiradas destas avaliaes tm a ver com a

    melhoria do fornecimento de Ajuda nestas reas no futuro e na identificao dos meios mais

    eficazes. A tnica colocada nos mesmos pontos da avaliao sectorial, mas centra-se num tema

    que pode incluir vrios sectores. Por exemplo, possvel avaliar o tratamento das consideraes

    de gnero num grupo de projectos que pertencem a diferentes sectores (sade, educao, etc.).

    Avaliao de programa pas avaliao de todos os tipos de Ajuda (projecto e no-projecto) para

    um pas. A avaliao pas tem um nvel de agregao mais elevado e consistem na avaliao de

    todas as actividades de cooperao num determinado pas, num dado perodo de tempo (PIC, por

    exemplo). As concluses e recomendaes destas avaliaes podem ser particularmente teis nas

    fases de planeamento e programao da poltica de ajuda com um pas parceiro e apoiar a

    definio dos Programas Indicativos de Cooperao.

    Avaliao sntese/metavaliao sntese das constataes de um certo nmero de avaliaes de

    projectos ou programas individuais.

    Avaliao de polticas/estratgica avaliao de programas ou projectos agrupados que abordam

    problemas de determinada poltica ao nvel sectorial ou temtico. Visa facilitar a reformulao das

    polticas recomendando novas polticas ou a introduo de alteraes necessrias na poltica emvigor para alcanar os objectivos e os resultados sectoriais ou temticos. A tnica posta na

    pertinncia, no impacto das polticas sobre os beneficirios, directos ou indirectos: custos e

    vantagens; eficcia dos arranjos institucionais para aplicar as polticas ou controlar a sua aplicao.

    A avaliao estratgica visa: aprofundar a compreenso de uma questo ou problema particular;

    limitar a margem de incerteza ligada a diversas maneiras possveis de tratar o problema em

    questo; ajudar os detentores de interesse a chegar a um acordo sobre decises em tempo til

    sobre as questes tratadas. Exemplo: avaliao das modalidades de co-financiamento.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    17/99

    Pgina 17 de 99

    Avaliao de um instrumento de Ajuda avaliao, por exemplo, da cooperao tcnica9, da ajuda

    humanitria e de emergncia10 ou do apoio ao oramento.

    Avaliao de processo avaliao de um processo ou procedimento de ajuda, como o

    concurso/seleco dos executores e o acompanhamento. Avaliao de projectos ou programas

    agrupados para apreciar a eficincia e a eficcia de uma modalidade ou de um determinado

    processo adoptado. Exemplo: avaliao da abordagem programa.

    Avaliao de impacto11 embora o impacto seja um dos 5 critrios fundamentais de qualquer

    avaliao, a avaliao centrada no impacto est a ganhar terreno na avaliao da cooperao para

    o desenvolvimento (com especial incidncia nas questes do ambiente, gnero e pobreza), tendo

    em considerao que muitas das crticas cooperao residem no facto de muitas intervenes

    terem falhado exactamente no alcanar dos seus objectivos de longo prazo.

    A avaliao de impacto habitualmente realizada algum tempo aps a concluso da interveno e

    tem por objectivo determinar de uma forma geral se a Ajuda produziu os efeitos

    9A avaliao da cooperao tcnicano deve basear-se nas percepes de quem a fornece ou de quem a

    recebe directamente mas numa anlise das instituies, organizaes ou indivduos que so beneficiriosdesses recursos (o empregador no caso de um programa de formao, o utilizador da informao no caso deum projecto de investigao, a empresa ou organizao no caso de assessoria tcnica, etc.). Para emitir umaopinio sobre a cooperao tcnica pode ser conveniente fazer uma anlise custo-eficincia na medida emque difcil e dispendioso expressar os benefcios em unidades monetrias. H, ainda, que ter cuidado emno centrar a anlise nas prioridades do doador mas sim nas necessidades e polticas dos receptores. 10

    A avaliao da ajuda de emergnciarequer, pelas suas caractersticas, ateno particular. medida queos conflitos se prolongam e agudizam a linha que separa a ajuda humanitria da cooperao para odesenvolvimento dilui-se o que faz com que a sua avaliao se aproxime da avaliao a projectos. Por isso,h que fazer uma primeira distino quanto s caractersticas da aco a ser avaliada, entre as que sedestinam a responder de forma imediata a uma catstrofe natural ou provocada pelo homem e as que devemser entendidas como uma actividade de reconstruo e desenvolvimento, regresso de deslocados oureintegrao de refugiados.

    Na avaliao da ajuda de emergncia a eficcia e eficincia esto relacionadas de forma estreita com asdisposies de logstica que permitem que os bens e servios fornecidos chegam ao seu destinatrio ltimo.Por isso, deve considerar-se a quantidade fsica e a qualidade, os atrasos para a sua mobilizao, osmecanismos de transporte, armazenagem e distribuio, as possveis alternativas para a gesto dos bens eos custos de operao. Quanto pertinncia, ser prioritrio considerar se os bens e servios previstosforam adequados para as necessidades que se pretendia satisfazer e se foram entregues a tempo paraprevenir uma extenso do conflito ou das suas consequncias perniciosas. Pode ser til uma anlise docontexto, com causas e principais caractersticas do conflito, bem como um estudo poltico das partesenvolvidas. O impacto dever ser considerado no contexto da totalidade da ajuda prevista, tratando de definiro nvel de auto-suficincia que criou na populao receptora e os seus efeitos ambientais. Se existirammedidas de segurana excepcionais ou se foram includas foras militares nas operaes necessrioconsiderar os possveis efeitos no desejados da interveno.Na anlise ex-post da ajuda humanitria muito importante estudar os factores de desenvolvimento,

    sobretudo as polticas de apoio, institucionais, socioculturais e de gnero. Os factores ambientais,tecnolgicos e econmico-financeiros podem tambm s-lo, de acordo com as circunstncias, sobretudo nareabilitao ps-conflito.11 Para um aprofundamento deste tipo de avaliao ver Banco Mundial: Avaliao do impacto dos projectosde desenvolvimento na pobreza.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    18/99

    Pgina 18 de 99

    esperados/desejados nas pessoas, lugares e instituies e se esses efeitos so atribuveis a essa

    Ajuda. Tambm permitem analisar as consequncias no previstas, quer positivas, quer negativas.

    de particular interesse saber se os benefcios chegaram aos pobres e que efeitos produziram no

    seu bem-estar.

    7.4 Metodologias utilizadas

    Avaliao participativa Avaliao realizada com ou pelos principais detentores de interesse,

    normalmente os beneficirios do projecto.

    Avaliao conjunta avaliao promovida por vrias agncias parceiras (doadores e/ou

    receptores). A realizao de avaliaes conjuntas com os parceiros possibilita a ambos partilhar as

    percepes sobre os efeitos e os problemas da cooperao e tambm permite uma mais fcil

    aprendizagem dos mtodos de avaliao bem como o desenvolvimento da capacidade de

    avaliao dos pases parceiros. As avaliaes realizadas com outros doadores12 so eficazes na

    medida em que permitem a ambos estudar mtodos de avaliao e fortalecer a colaborao, a

    complementaridade e a harmonizao.

    Normalmente, as avaliaes conjuntas so realizadas nas intervenes co-financiadas por dois ou

    mais doadores. Na prtica, preciso ter em conta o facto de cada parte ter o seu prprio calendrio

    e mecanismos de financiamento pelo que os imperativos e procedimentos muitas vezes so difceis

    de conciliar.

    As avaliaes conjuntas so necessrias no caso das organizaes multilaterais que beneficiam de

    apoios financeiros e tcnicos de vrios doadores.

    8 Caractersticas de uma boa avaliaoO valor de uma avaliao est relacionado com a qualidade dos seus resultados. A qualidade de

    uma avaliao mede-se no apenas pelas suas concluses, lies aprendidas e recomendaes,

    mas tambm pela forma como o avaliador chegou a elas. A qualidade depende da produo de

    resultados credveis e fiveis adoptando procedimentos adaptados s circunstncias,

    aprofundando a anlise dos factos e aplicando mtodos e tcnicas rigorosas.

    Considera-se que uma avaliao boa pelo seu contributo para a tomada de decises

    esclarecidas e para a aprendizagem, pela difuso de dados fiveis, factuais e credveis.

    12 Nos ltimos anos tem sido intensificada a realizao de avaliaes conjunta, estando em curso vrias noquadro da Rede de Avaliao do CAD/OCDE. A concluda mais recentemente foi a do Apoio ao Oramento.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    19/99

    Pgina 19 de 99

    A medida em que os detentores de interesse se revem nos resultados da avaliao permite saber

    se a avaliao foi bem realizada. Em princpio, se a sua participao em todas as fases da

    avaliao tiver sido grande, as recomendaes e as lies apreendidas sero frutferas.

    Os padres de qualidade de qualquer avaliao devem ser aplicados em todas as fases do

    processo, desde os TdR s propostas metodolgicas e aos relatrios de avaliao, aspectos que

    so abordados no Captulo II.

    Numa tentativa de uniformizar a qualidade das avaliaes, tm sido desenvolvidos esforos no

    quadro da Rede de Avaliao do CAD/OCDE. Um dos documentos mais recentes as Normas do

    CAD de qualidade da avaliao13 que identificam os pilares chave necessrios para um processo

    e um produto de avaliao de qualidade. As normas constituem um guia para as boas prticas o

    qual visa melhorar a qualidade das avaliaes das intervenes de desenvolvimento. Procuram

    contribuir para uma abordagem harmonizada da avaliao, em consonncia com os princpios da

    Declarao de Paris sobre Eficcia da Ajuda.14

    8.1 Imparcialidade, objectividade e independnciaA avaliao deve ser imparcial e independente do processo de tomada de decises ao nvel

    poltico, do financiamento e da gesto da Ajuda. A imparcialidade e a objectividade contribuem

    para credibilizar a avaliao e os resultados da mesma e so conseguidas atravs do permanente

    respeito dos princpios de independncia, neutralidade, transparncia e justia durante todo o

    processo de avaliao.

    A independncia d legitimidade avaliao e reduz o potencial de conflito de interesses que

    podem surgir, quer ao nvel dos decisores polticos, quer dos gestores e executores da Ajuda.

    A imparcialidade e a independncia so conseguidas separando a funo avaliao das

    actividades de planeamento e gesto da Ajuda, o que pode ser conseguido atravs da criao de

    um servio responsvel pela avaliao.

    13http://www.ipad.mne.gov.pt/images/stories/Avaliacao/normas_CAD.pdf

    14 Declarao de Paris sobre a Eficcia da ajuda: Apropriao, Harmonizao, Alinhamento, Resultados ePrestao de Contas Mtua. http://www.oecd.org/dataoecd/11/41/34428351.pdf

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    20/99

    Pgina 20 de 99

    8.2 Credibilidade, transparncia e utilidade

    A credibilidade da avaliao depende das competncias, da experincia e da independncia dos

    avaliadores bem como do grau de transparncia e abrangncia do processo de avaliao. A

    credibilidade requer que a avaliao relate quer os sucessos quer os fracassos. Os parceiros

    devem, por norma, participar amplamente na avaliao de forma a promover a credibilidade e o

    seu compromisso.

    A transparncia do processo de avaliao crucial para a sua credibilidade e legitimidade. Para

    assegurar a transparncia, o processo de avaliao deve ser o mais aberto possvel, com ampla

    difuso dos resultados.

    As avaliaes devem ser teis e reunir a informao necessria aos futuros utilizadores. Por isso,

    devem ser precisas e rigorosas: (i) identificando e transmitindo informaes vlidas sobre o

    essencial da interveno que est a ser avaliada e (ii) formulando recomendaes teis e

    pragmticas e apresentando as lies aprendidas decorrentes do processo de avaliao.

    Mais do que estudos cientficos, devem ser estudos orientados para a prtica. As concluses das

    avaliaes devem, por isso, ser entendidas como relevantes e teis para o esforo da CooperaoPortuguesa de promoo do desenvolvimento dos pases parceiros. Devem ser apresentadas de

    uma forma clara e concisa e reflectir os diferentes interesses e necessidades das partes envolvidas

    na cooperao para o desenvolvimento. A sua fcil acessibilidade tambm crucial para a

    utilidade, pelo que o processo de disseminao no pode ser negligenciado.

    As avaliaes devem ser calendarizadas tendo em considerao que devem estar disponveis no

    momento oportuno para o processo de tomada de decises e constituir valor acrescentado.

    8.3 Satisfao das expectativas

    As avaliaes devem identificar e transmitir informao vlida e segura sobre os factos que

    determinam o valor/mrito da interveno de desenvolvimento que est a ser avaliada, colocando a

    tnica nos objectivos e prioridades de interveno da Cooperao Portuguesa, tendo como pano

    de fundo os ODM e os objectivos do pas parceiro.

    As avaliaes devem respeitar as exigncias expostas no plano de trabalho e no contrato. Devem

    aplicar as normas profissionais de acordo com as expectativas do IPAD, representar um valoracrescentado para a Cooperao Portuguesa e utilizar de forma sensata os recursos humanos,

    financeiros e materiais.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    21/99

    Pgina 21 de 99

    9 tica/deontologia da avaliao

    As avaliaes devem ser conduzidas de forma legal, tica e justa, velando pelo bem-estar de todos

    os que esto envolvidos nesse processo, bem como pelos que so afectados pelos seus

    resultados.

    A deontologia da avaliao passa pela institucionalizao de normas de procedimentos entre as

    quais se destacam:

    1. Um dispositivo tipo com uma distino entre a entidade que acompanha a avaliao e o

    avaliador que a deve realizar, de acordo com os TdR (ver Captulo II).

    2. Um questionamento tipo que convide os avaliadores a analisar os resultados de uma

    interveno em termos de relevncia, eficcia, eficincia, impacto e sustentabilidade (ver ponto

    1.6 deste captulo).

    3. Um procedimento tipo elaborao dos Termos de Referncia, escolha do avaliador,

    acompanhamento dos trabalhos, recepo e discusso dos Relatrios, difuso dos resultados

    (ver Captulo II).

    4. Uma metodologia tipo para o avaliador que vai realizar a avaliao, composta de tcnicas

    de recolha e anlise de informao, quer quantitativa quer qualitativa, bem como as utilizadasna rea das cincias sociais.

    9.1 Princpios exigidos aos avaliadores

    Todos os avaliadores devem aspirar a fornecer informaes e apreciaes pertinentes e conduzir o

    processo de avaliao com elevada qualidade.

    Os avaliadores no so apenas responsveis perante o IPAD. So tambm responsveis perante

    as instituies, grupos e indivduos envolvidos, afectados ou interessados pela avaliao. A tica fundamental para dar credibilidade aos resultados da avaliao. Os seguintes padres ticos para

    avaliadores fazem parte daquilo que normalmente exigido pelos doadores internacionais:

    1. Rigor na aplicao dos mtodos de investigao

    Fazer investigaes aprofundadas atravs de mtodos e tcnicas adequadas, respeitando

    as normas tcnicas com o maior rigor;

    Estabelecer a validade da informao atravs de medidas e fontes, nomeadamente os

    detentores de interesse, que oportuno utilizar no quadro da avaliao.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    22/99

    Pgina 22 de 99

    2. Competncia

    Saber lidar com as pessoas e os processos, com papis claramente definidos;

    Velar para que a equipa de avaliao inclua pessoas que faam os estudos e possuam

    conhecimentos, competncias e experincia necessrias para conduzir a avaliao;

    Manter-se no interior dos limites da formao e da competncia profissionais;

    Esforar-se por melhorar constantemente as suas competncias metodolgicas e

    especializadas;

    Dominar as tcnicas de concepo da avaliao, de pesquisa e recolha e tratamento de

    dados e de redaco de relatrios;

    No fazer avaliaes/apreciaes de indivduos.

    3. Integridade

    Fazer prova de honestidade quanto aos seus conhecimentos e competncias;

    Informar rapidamente o IPAD sobre qualquer conflito de interesses ou sobre qualquer risco

    de uma situao que no foi entendida como tal;

    Assegurar que a avaliao independente, imparcial e exacta;

    Fornecer os indicadores exactos sobre os mtodos, dados e resultados e velar para que

    ningum possa fornecer indicaes errneas; Identificar todas as mudanas produzidas no decurso da avaliao ou nas ligaes que se

    afastam do plano de trabalho, fornecendo as explicaes necessrias e informando o IPAD

    e os principais detentores de interesse;

    Informar o IPAD de todo e qualquer problema grave ou constatao importante que no

    tenha relao directa com o quadro de referncia;

    No divulgar ou distribuir os resultados da avaliao sem a autorizao prvia do IPAD. Os

    avaliadores tm um compromisso perante o pblico e os participantes bem como um acordo

    contratual com o IPAD. A responsabilidade pela distribuio do material publicado do

    IPAD ou das suas delegaes, ainda que os sumrios e snteses informais possam ser

    partilhados fora do IPAD.

    4. Respeito

    Garantir o carcter confidencial da informao fornecida e o anonimato;

    Adoptar as estratgias necessrias para evitar que os avaliadores locais sejam vistos como

    crticos da sua sociedade;

    Aprender a conhecer as crenas, comportamentos e costumes das populaes dos pases

    beneficirios para poder manifestar o respeito desejado em matria de crenas, prticas

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    23/99

    Pgina 23 de 99

    religiosas, relaes interpessoais, etc. intruso cultural assim como com os valores

    internacionais relativamente a minorias e determinados grupos, como as mulheres;

    Encontrar o equilbrio desejvel entre a necessidade de satisfazer certas exigncias

    relativas gesto e a necessidade de recorrer a certas pessoas;

    Compreender que as pessoas esto habitualmente muito ocupadas e podem no querer ser

    envolvidas. Os avaliadores devem proporcionar o mximo de informao, minimizar pedidos

    de tempo e respeitar os direitos das pessoas privacidade;

    Respeitar os direitos das pessoas em fornecer informao confidencial e assegurar que

    informaes sensveis no possam ser identificadas segundo a fonte.

    5. Responsabilidade (individual e da equipa)

    Produzir os documentos exigidos nos TdR;

    Apresentar os resultados/prestar contas sobre o progresso da avaliao;

    Fazer prova da prudncia e da honestidade em matria de decises financeiras;

    Todos os membros da equipa tm oportunidade de se dissociar de julgamentos e

    recomendaes particulares/individuais. Qualquer divergncia de opinio no resolvida

    dentro da equipa deve ser dada a conhecer no relatrio.

    6. Imparcialidade e independncia

    As avaliaes devem ser equilibradas em termos de pontos fortes e fracos. No caso de haver

    diferentes pontos de vista entre as partes envolvidas eles devem ser incorporados na avaliao.

    Os avaliadores externos no podem ter qualquer envolvimento pessoal, directo ou indirecto,

    nas actividades das intervenes a avaliar. As entidades envolvidas na preparao ou

    implementao das actividades a serem avaliadas no so elegveis para a avaliao.

    Uma das funes das avaliaes externas melhorar a transparncia/ responsabilidade da

    prestao de contas, fornecendo uma base objectiva a partir da qual responsabiliza osprincipais detentores de interesse.

    Informaes adicionais:

    Acompanhamento e avaliao:

    http://stone.undp.org/undpweb/eo/evalnet/docstore3/yellowbook/

    http://www.unfpa.org/monitoring/toolkit.htm

    Critrios de avaliao:

    http://www.oecd.org/document/22/0,2340,en_2649_34435_2086550_1_1_1_1,00.html

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    24/99

    Pgina 24 de 99

    Caractersticas de uma boa avaliao:

    http://www.ipad.mne.gov.pt/images/stories/Avaliacao/normas_cad.pdf

    http://www.oecd.org/dataoecd/11/56/1902965.pdf

    tica/Deontologia da avaliao:

    http://www.aes.asn.au/about/guidelines_for_the_ethical_conduct_of_evaluations.pdf

    http://www.eval.org/Publications/aea06.GPBrochure.pdf

    http://www.evaluationcanada.ca/site.cgi?s=5&ss=4&_lang=an

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    25/99

    Pgina 25 de 99

    II O processo de avaliao externa

    O processo de avaliao pode variar de caso para caso e de acordo com o tipo de avaliao, mas

    h um procedimento comum para todas as avaliaes. O que se segue so as principais etapas do

    processo de programao, preparao e realizao de avaliaes externas, na cooperao

    portuguesa.

    Ao GAAI/IPAD responsvel pelo planeamento, organizao e implementao das avaliaes.

    Sistematiza os resultados, dissemina as lies apreendidas e faz o seguimento da suaincorporao na prtica da cooperao. Os avaliadores externos so responsveis pelo contedo

    dessas avaliaes.

    1 - Planeamento da avaliao

    Existem dois nveis de planeamento. O primeiro diz respeito definio e aprovao de um plano

    plurianual de avaliaes. O segundo tem a ver com a operacionalizao de cada avaliao.

    No nvel superior, h que identificar e seleccionar as intervenes de desenvolvimento a avaliar,com base nas informaes/consultas dos diferentes actores da Cooperao Portuguesa e da base

    de dados o que permite identificar as intervenes prioritrias e/ou aquelas que se encontram a

    necessitar de avaliao. O plano de avaliaes que daqui resulta aprovado pela Direco do

    IPAD.

    A fase seguinte a da preparao/organizao de cada avaliao, tarefa que pode variar em

    tempo e complexidade, de acordo com a natureza da interveno em causa, mas que essencial

    para o sucesso da mesma.

    Antes de elaborar os Termos de Referncia (TdR) fundamental dispor das seguintes

    informaes:

    1. Perceber o objectivo da avaliao, ou seja, saber as razes porque a avaliao foi pedida;

    2. Fazer o levantamento da informao disponvel e documentao relevante (a interveno,

    seu contexto, as hipteses de partida);

    3. Identificar/definir as questes a que a avaliao dever responder (os critrios ou temas da

    avaliao);

    4. Identificar os financiadores, os executores e os principais detentores de interesse da

    interveno;

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    26/99

    Pgina 26 de 99

    5. Definir o programa de trabalhos (calendrio e prazos a cumprir), e os recursos necessrios.

    Estudar, eventualmente, vrias opes para seleccionar a melhor proposta;

    6. Identificar eventuais conhecimentos especializados exigidos.

    2 Elemento/grupo de acompanhamento

    Cada avaliao encomendada pelo IPAD deve ter um elemento de acompanhamento do GAAI. O

    papel deste elemento deve ser descrito nos TdR e explicado numa reunio equipa de avaliao.

    Para avaliaes mais complexas poder/dever constituir-se um grupo de acompanhamento,

    composto por pessoas directa ou indirectamente ligadas ao financiamento e/ou execuo da

    interveno de desenvolvimento. As boas prticas sugerem que o grupo de acompanhamento deve

    tambm incluir representantes dos principais detentores de interesse.

    Quem acompanha a avaliao deve ter permanentemente em ateno que ela deve produzir dois

    resultados essenciais:

    1. Identificao clara de um conjunto de apreciaes, constataes, lies aprendidas e

    recomendaes, bem fundamentadas na evidncia;

    2. Informao til, factual, credvel e segura para apoiar os decisores ao nvel das polticas.

    Por isso, este elemento/grupo de acompanhamento deve ajudar os avaliadores a manter o

    equilbrio nas suas constataes e apreciaes, desempenhar um papel importante na

    disseminao dos resultados e das lies e identificar formas de melhor incluir as recomendaes

    na cultura, sistema e prtica da Cooperao Portuguesa e das organizaes envolvidas. Para o

    efeito, promovem-se reunies iniciais para discutir, por exemplo, a documentao necessria, os

    mecanismos de acompanhamento e difuso dos resultados da avaliao.

    O elemento/grupo de acompanhamento e o avaliador devem procurar desenvolver uma boarelao de trabalho de forma a estabelecer um dilogo adequado a uma boa comunicao

    interpessoal durante todo o processo de avaliao. Uma vez terminado o planeamento, as duas

    partes devem ter a mesma ideia sobre a forma como o trabalho ser feito, os respectivos papis,

    as tarefas a realizar e os prazos de apresentao dos documentos a produzir. Em qualquer das

    fases da avaliao, o elemento/grupo de acompanhamento deve ser posto ao corrente do estado

    de avano dos trabalhos e pode ser chamado a fornecer esclarecimentos.

    3 - Termos de Referncia (TdR)Os TdR expem as necessidades e os objectivos da Cooperao Portuguesa relativamente a cada

    avaliao, clarificando os detalhes e permitindo ao leitor visualizar claramente o seu quadro de

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    27/99

    Pgina 27 de 99

    referncia. Descrevem o que deve ser avaliado, a razo porque a avaliao encomendada e a

    forma como ela deve ser feita.

    Ao estabelecerem os parmetros gerais e os elementos essenciais, os TdR do uma viso

    preliminar da avaliao e constituem o seu documento norteador, servindo para orientar todo o

    processo e para estabelecer um plano de trabalho.

    A extenso dos TdR e o seu carcter mais ou menos detalhado pode variar, em funo da

    importncia e complexidade da avaliao, mas devem ser realistas acerca das apreciaes e

    concluses que os avaliadores podero consubstanciar com "evidncias claras". A experincia diz

    que dar ateno redobrada elaborao dos TdR essencial para o processo de avaliao

    decorrer de forma expedita e produzir trabalho de qualidade.

    Ao GAAI/IPAD compete elaborar um draft dos TdR para cada avaliao programada, de acordo

    com os padres exigidos, incluindo um calendrio e um oramento indicativo de avaliao. Para o

    efeito, consulta os servios considerados relevantes e outros organismos com interesse directo,

    bem como as Delegaes locais da cooperao que os fazem circular para recolha de contributos

    pelos parceiros locais, antes de os finalizar. Os principais detentores de interesse, em Portugal e

    nos pases parceiros, devem concordar com o contedo dos TdR, os quais so posteriormente

    aprovados pela Direco do IPAD.

    Os TdR incluem:

    - Uma descrio da interveno a avaliar e o seu contexto;

    - A enunciao dos motivos invocados para justificar a avaliao;

    - Um resumo do alcance da avaliao e do seu interesse;

    - Uma exposio de como a avaliao ser feita;- Um calendrio e prazos;

    - Um oramento indicativo.

    Os TdR devem ter flexibilidade suficiente para que o avaliador possa decidir qual a melhor

    abordagem para recolher e analisar os dados.

    4 - Escolha dos avaliadores

    As avaliaes so, normalmente, confiadas a uma equipa de avaliadores e a qualidade daavaliao depende muito da competncia e composio dessa equipa. Como regra geral, as

    equipas devem conter formaes e qualificaes diversas, incluindo as seguintes caractersticas:

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    28/99

    Pgina 28 de 99

    Especialistas em reas que esto a ser avaliadas;

    Experincia em avaliao, particularmente em avaliao da cooperao para o

    desenvolvimento;

    Conhecimento do pas/regio;

    Conhecimentos e experincia em matria de desenvolvimento;

    Competncias interdisciplinares (sociais, econmicas, institucionais);

    Equilibrada em termos de gnero;

    Independncia, ou seja, no ser parte interessada e/ou directa ou indirectamente

    envolvida na interveno alvo de estudo;

    Familiaridade com a cooperao portuguesa; Elemento(s) do pas/instituio parceiro;

    Dimenso adequada ao trabalho a realizar.

    A seleco de uma equipa com um lder experiente e competente particularmente importante. Ele

    o principal responsvel por uma avaliao que responda aos padres de qualidade exigidos e

    pela produo de relatrios de qualidade.

    Quaisquer que sejam os conselhos e o acompanhamento exercido pelo GAAI/IPAD, se osavaliadores forem incapazes, por qualquer motivo que seja, de realizar as suas tarefas com o nvel

    profissional desejado, surgiro problemas. Por isso, essencial investir o tempo e a energia

    necessrios na seleco dos avaliadores. O IPAD privilegia o concurso para garantir a

    transparncia do processo, a equidade e a igualdade de oportunidades. O recrutamento dos

    consultores para realizar a avaliao feita com base na bolsa de avaliadores (que se encontra em

    permanente actualizao), seguindo os trmites normais de seleco e contratao a legislao

    que norteia este processo o Decreto-lei n. 18/2008, de 29 de Janeiro. O candidato escolhido

    aquele que, possuindo as qualificaes exigidas, oferece a melhor relao qualidade/preo ao

    IPAD.

    A participao de avaliadores nacionais do pas parceiro na equipa de avaliao uma questo

    essencial. poltica do IPAD fazer com que, sempre que possvel, consultores locais integrem e

    trabalhem com a equipa de avaliao, facto que especificado nos TdR. Este envolvimento

    promove no s a qualidade e a credibilidade local das concluses e constataes da avaliao

    como contribui para o desenvolvimento de capacidades locais de avaliao. Contudo, isto no deve

    pr em causa a independncia da avaliao.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    29/99

    Pgina 29 de 99

    Como se faz a seleco

    Em geral, os consultores propem uma equipa de avaliao e apresentam uma proposta de

    trabalho. O exame das candidaturas faz-se a partir da anlise das informaes que constam das

    suas propostas (que descrevem a experincia e os conhecimentos especializados da equipa, bem

    como os curricula das pessoas que a integram, em funo das exigncias especficas da

    avaliao) e do plano de trabalho detalhado, com base nos TdR (ver ponto 5).

    A seleco do avaliador inclui essencialmente 5 fases: 1) escolha do modo de seleco, de acordo

    com o Decreto-lei n. 18/2008, de 29 de Janeiro; 2) abertura do processo; 3) seleco do candidato

    que oferece a melhor relao qualidade/preo; 4) informao aos candidatos sobre o resultado da

    seleco; 5) negociao e assinatura do contrato, com o avaliador escolhido.

    O estabelecimento da melhor relao qualidade/preo

    Como se escolhe o melhor candidato? Que qualidades o IPAD deve procurar?

    A seleco dos avaliadores consiste em encontrar um avaliador competente, capaz de

    desempenhar a sua tarefa e de responder s expectativas do IPAD, ao mesmo tempo que oferece

    a melhor relao qualidade/preo. Quatro factores influenciam, normalmente, a escolha dos

    avaliadores:

    - As expectativas dos responsveis pela seleco e a sua apreciao;

    - O grau de satisfao das exigncias estabelecidas nos TdR;

    - A formao e qualidade dos candidatos;

    - O preo proposto.

    Quando vrios candidatos obtm a classificao mais elevada, escolhida aquela que apresenta

    um menor custo. Se necessrio, a proposta de trabalho, o oramento e o calendrio sonegociados com a equipa seleccionada, antes da assinatura do contrato, a qual encerra o processo

    de seleco.

    5 - Plano de trabalho

    O plano de trabalho preparado pelo avaliador e mais detalhado e preciso que os TdR. ,

    normalmente, o primeiro documento produzido pelos avaliadores que, uma vez aprovado pelo

    IPAD, se torna o principal instrumento de gesto e de orientao da avaliao, em funo dos

    objectivos do IPAD em todas as etapas do processo. o documento base para a seleco daequipa de avaliao. Este documento deve dar uma descrio clara sobre o que a equipa vai fazer,

    como, quando e porqu.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    30/99

    Pgina 30 de 99

    O plano de trabalho serve para:

    Dar uma viso global da interveno a avaliar;

    Descrever os objectivos do IPAD relativamente avaliao;

    Apresentar os membros da equipa de avaliao;

    Especificar os papis e responsabilidades de cada uma das partes;

    Expor a metodologia adoptada;

    Estabelecer as exigncias em matria de relatrios;

    Fixar um calendrio de trabalho com prazos precisos;

    Determinar o custo da avaliao.

    Os TdR do IPAD fixam os objectivos e parmetros da avaliao. suposto o avaliador fazer o

    ponto de partida para estabelecer o que realizvel. Trata-se de chegar a acordo com o

    GAAI/IPAD sobre o plano de trabalho para que se alcancem os resultados previstos.

    A avaliao inclui habitualmente uma visita ao pas parceiro para recolha de dados. As

    modalidades quanto s deslocaes a prever devem ser fixadas no momento do planeamento.

    Aspectos a ter em considerao no momento da preparao do plano de trabalho:

    O plano de trabalho deve ser suficientemente detalhado para que a avaliao se faa com a

    clareza que convm e satisfaa as necessidades enunciadas;

    O plano de trabalho deve ser flexvel e adaptado situao favorecendo a inovao e a

    criatividade. Se aprovado, as alteraes ou desvios relativamente ao planeado devem ser

    acordados com o GAAI/IPAD;

    O avaliador encorajado a investir na concepo da avaliao para que o IPAD possa

    beneficiar do seu conhecimento e da sua experincia e para que a sua contribuio para o

    desenvolvimento do quadro de referncia se traduza num valor acrescentado;

    No momento de constituir a equipa de avaliao, necessrio ter em conta a capacidade

    dos candidatos de trabalhar em conjunto e no apenas a sua experincia e conhecimento

    individual. A equipa de avaliao deve possuir competncias tcnicas que a anlise de

    temas transversais pertinentes exige;

    Os resultados esperados da avaliao devem ser teis ao IPAD e atingveis no interior dos

    limites impostos pelas realidades operacionais e os prazos previstos. importante fixar

    objectivos realistas tendo em conta o contexto material e as dificuldades de trabalho

    inerentes aos pases em desenvolvimento;

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    31/99

    Pgina 31 de 99

    necessrio ter conscincia de que certos efeitos e impactos podem no se fazer sentir

    seno a longo prazo;

    O plano de trabalho deve dar conta da necessidade de determinar eventuais resultados

    imprevistos da interveno;

    Embora no haja um nmero de pginas padro para o plano de trabalho, o avaliador deve

    colocar a tnica na clareza, conciso e preciso.

    Principais aspectos a tratar no plano de trabalho:

    Introduo e enquadramento

    Comea por descrever, de forma breve (uma ou duas pginas), a interveno a avaliar.Apresenta a estrutura da interveno e o contexto do pas em desenvolvimento, falando

    sumariamente dos objectivos esperados. Deve colocar a tnica nos objectivos e prioridades da

    cooperao portuguesa, nos resultados esperados (efeitos, impactos, etc.), na abrangncia,

    mencionando os beneficirios, na importncia da interveno e na participao dos detentores

    de interesse.

    Objectivos da avaliao: porque se faz esta avaliao? O que que a Cooperao Portuguesa

    espera desta avaliao?De uma forma geral, trata-se de clarificar certos pontos abordados nos TdR. A tnica deve ser

    colocada: na anlise do progresso quanto aos resultados esperados e aos outros resultados no

    plano do desenvolvimento e factores de sucesso; nas questes em que o IPAD tem um

    interesse particular (reduo da pobreza, questes transversais, etc.); na importncia de extrair

    lies a partir da experincia; em qualquer outro elemento de informao relativamente

    interveno que o avaliador encarregue de produzir.

    Equipa: papis e responsabilidadesNo plano de trabalho deve figurar o nome dos membros da equipa de avaliao e de quem tem

    a responsabilidade principal bem como, em termos gerais, a descrio das responsabilidades

    de cada um.

    Metodologia

    O avaliador deve apresentar a metodologia de acordo com as exigncias e objectivos

    enunciados nos TdR. Trata-se de estabelecer a metodologia mais adaptada aos objectivos

    estabelecidos tendo em conta a informao disponvel, os prazos e os recursos destinados avaliao. Uma metodologia de avaliao credvel permite estabelecer uma relao directa

    entre os resultados e a interveno avaliada, e eliminar assim as outras explicaes possveis.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    32/99

    Pgina 32 de 99

    Por isso, no plano de trabalho deve incluir-se: uma justificao sobre a metodologia a adoptar;

    o tipo de informao e respectivas fontes, os mtodos de recolha de dados e as tcnicas de

    anlise necessrias.

    Calendrio e oramento

    O avaliador deve fixar um calendrio para os trabalhos propostos, com prazos precisos e

    determinar o custo da avaliao.

    6 - Fase documental

    Aps a seleco dos avaliadores h uma reunio com o GAAI/IPAD. O principal resultado desta

    reunio deve ser o acordo quanto s expectativas do IPAD relativamente avaliao e ao

    processo atravs do qual os avaliadores iro desenvolver os trabalhos e produzir o primeiro

    relatrio, o qual deve incluir um plano de trabalho para as fases seguintes, propor a abordagem

    metodolgica e a estratgia de disseminao. Sempre que necessrio, pode e deve encontrar-se

    com o elemento/grupo de acompanhamento para esclarecimentos e informao adicionais.

    Os consultores iniciam o trabalho fazendo contactos directos com os Servios para a pesquisa

    documental, incluindo a recolha de todos os documentos relevantes, o dilogo e eventuaisentrevistas (o GAAI/IPAD pode tambm ser solicitada). Entre as fontes teis destacam-se: a

    documentao e os dossiers da interveno; o arquivo do IPAD e/ou dos executores da

    interveno; as consultas (em pessoa, por telefone, fax, e-mail, etc.) ao pessoal da Cooperao

    Portuguesa e aos detentores de interesse que, em Portugal, possuam conhecimentos teis.

    Em geral, o chefe da equipa de avaliao deve liderar este processo. O grau de participao dos

    outros elementos pode variar. Os avaliadores devem proceder a um exame detalhado de toda a

    informao til para dispor de todos os elementos que lhes permitam preparar o primeiro relatrio eo plano de trabalho para as fases seguintes.

    6.1 - Produo do primeiro relatrio

    Todos os relatrios de avaliao da Cooperao Portuguesa devem ter um formato padro. So

    escritos em portugus claro e sem erros, em formato word, arial 10, com espao e meio, devendo

    ser entregues trs exemplares impressos e uma cpia em suporte magntico.

    O mbito e detalhe deste primeiro relatrio devem ser identificado nos TdR e acordado na primeirareunio. Ambos podem variar de acordo com a dimenso e complexidade da avaliao.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    33/99

    Pgina 33 de 99

    Os avaliadores so aconselhados a centrar o trabalho inicial na recolha de dados sobre o contexto

    geral e identificar em que medida esses dados j tm indicaes sobre o impacto e a eficcia. A

    sua apreciao o ponto de partida para identificar a que questes da avaliao provvel

    responder com os recursos disponveis. plausvel incluir, em forma de sntese, uma reviso do

    documento central do projecto/programa/poltica para a avaliao, entrevistas iniciais com

    entidades e Servios chave e uma anlise do material relevante de outros doadores e da

    comunidade de investigao.

    Esta anlise da documentao antes da fase de trabalho de campo essencial. Ela permite aos

    avaliadores conhecer os diferentes aspectos da interveno ou da poltica e assim ser mais

    eficazes no momento da recolha de informao no terreno.

    O relatrio deve ser apresentado para discusso e aprovao pelo IPAD. Nele esto includos os

    resultados desta primeira fase incluindo as concluses provisrias e a identificao das reas

    que necessitam de recolha de mais documentao e informao. Com base nisso a equipa elabora

    um plano detalhado para a fase de trabalho de campo e as propostas metodolgicas para as fases

    seguintes (trabalho de campo e relatrio final).

    Este relatrio deve conter:

    Ttulo

    Introduo

    Enquadramento no plano do desenvolvimento e da avaliao. O avaliador deve, tambm, fazer o pontoda situao sobre a literatura especializada nesta matria.

    Metodologia descrio dos indicadores de resultados que serviram para estabelecer em que medida osresultados esperados foram atingidos; das fontes de informao e dos mtodos e tcnicas aplicados paraa recolha e tratamento dos dados.

    Resultados da fase documental partindo da descrio sobre a forma como os dados brutos foramtransformados para dar respostas teis e vlidas aos objectivos da Cooperao Portuguesa, o avaliadortransforma-os em elementos de prova credvel sobre a interveno e os seus resultados, e d umaprimeira resposta s questes colocadas nos TdR. Faz uma apresentao preliminar das constataes,lies aprendidas e recomendaes.

    Plano de trabalho para as fases seguintes o primeiro relatrio inclui o planeamento e preparao dotrabalho de campo e do relatrio final. O avaliador deve completar, tanto quanto possvel, o trabalho dafase documental e as anlises preliminares antes da visita ao terreno porque:

    Ter acesso a pessoas chave no pas por vezes difcil e o tempo que se vai utilizar com elas deves-lo de forma produtiva;

    O tempo gasto no terreno caro. melhor criar uma equipa eficaz e identificar os problemas

    antes da visita ao terreno, quando a oportunidade de os resolver ainda possvel; Alguns informadores chave, especialmente das organizaes doadoras, podem ter-se mudado.

    Contact-los por vezes mais fcil a partir de Portugal do que no terreno e eles podem atidentificar outros informadores chave;

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    34/99

    Pgina 34 de 99

    O avaliador deve permitir aos principais detentores de interesse no terreno reagir s principaisconstataes e recomendaes antes do fim da visita. Isto s possvel se muita da preparaofor feita antes da visita ao pas, para permitir tempo para analisar os dados e produzir concluses

    e recomendaes.

    Anexos incluem os TdR, acrnimos, bibliografia, entidades consultadas, quadros e tabelascomplementares, etc.

    O GAAI/IPAD deve fazer circular este relatrio pelos actores envolvidos e, se possvel, por outros

    detentores de interesse, dentro e/ fora da Cooperao Portuguesa, para comentrios.

    Uma vez discutido e aprovado, o primeiro relatrio deve constituir a base para comandar a

    avaliao at ao fim. O IPAD faz saber Delegao no terreno o que se espera que ela faaquanto a preparativos para a fase de trabalho de campo.

    7 - Trabalho de campo

    O trabalho de campo constitui a principal fase da avaliao. A equipa de avaliao deve assegurar-

    se, junto do GAAI/IPAD, que o planeamento est completo e chegar a acordo com os que esto no

    terreno antes de partir.

    Os consultores e o elemento de acompanhamento deslocam-se ao pas em causa, renem com aDelegao local e fazem as visitas de campo e outras pesquisas e reunies, no quadro do proposto

    no primeiro relatrio.

    As questes especficas a serem respondidas durante esta fase, bem como os mtodos a utilizar,

    devem ter sido descritos no primeiro relatrio e aprovados pelo GAAI/IPAD. A experincia sugere

    que a anlise e discusso das constataes preliminares, aspectos e questes levantadas com os

    detentores de interesse locais devem ser discutidos com os mesmos no fim da visita. A equipa

    deve apresentar uma sntese do relatrio, incluindo as constataes, concluses e recomendaes

    preliminares, antes do fim da visita ao terreno, a qual serve de base para a discusso em

    workshop.

    O tempo gasto nesta fase facilita, frequentemente, a aceitao local e a utilidade das

    recomendaes finais da avaliao. Da mesma forma, estas actividades so elementos chave da

    estratgia de disseminao de uma avaliao e muitas vezes so um frum no qual aspectos que

    so difceis de responder num documento publicado podem ser discutidos livremente por aqueles

    que tm mais oportunidade para responder e de forma eficaz aos mesmos.

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    35/99

    Pgina 35 de 99

    O GAAI/IPAD pode estar presente nestas sesses, quer para apreciar a qualidade da participao

    dos principais detentores de interesse na avaliao, quer para verificar o grau de aceitao das

    constataes e recomendaes.

    8 - Relatrio final da avaliao

    O Relatrio final define o valor acrescentado da avaliao. O valor acrescentado determinado

    pela(s):

    Anlise da interveno de desenvolvimento feita pelo avaliador (ou seja, as respostas s

    questes da avaliao e as concluses tiradas);

    Lies retiradas da experincia;

    Recomendaes, tendo em vista a melhoria de intervenes futuras.

    O relatrio final serve, acima de tudo, para dar a conhecer Cooperao Portuguesa os resultados

    da avaliao. A informao fornecida deve responder de forma detalhada aos objectivos

    enunciados nos TdR e no plano de trabalho do avaliador e apresentar os resultados extrados das

    constataes feitas, na sequncia da recolha e anlise dos dados. O principal objectivo produzir

    resultados credveis e teis, de acordo com o exame que o avaliador fez da interveno em causa.

    O relatrio final deve ser breve e conciso, com apresentao clara e ajustada ao grupo alvo.

    Depois da leitura do relatrio final, os leitores no devero ter dvidas quanto razo porque a

    avaliao foi feita, em que consistiu, quais os resultados e as recomendaes e lies tiradas para

    o futuro. Os resultados devem ser apresentados segundo uma ordem lgica credvel e basear-se

    em factos e concluses extradas dos dados recolhidos. O relatrio deve ter um bom padro de

    qualidade profissional quanto preciso, equilbrio, perspiccia e realismo, redaco clara e sem

    erros.

    O avaliador prepara o relatrio segundo o formato proposto nos TdR, ainda que a estrutura possa

    oscilar em funo de circunstncias especficas. O relatrio deve incluir um sumrio executivo onde

    so apresentados os principais resultados da avaliao. Para facilitar a disseminao dos

    resultados, o sumrio executivo deve, tambm, ser apresentado em ingls.

    A apresentao dos resultados num relatrio final reduz o risco de estes serem mal interpretados.

    Quando o relatrio escrito de forma clara e concisa e os grandes pontos so bem explicados, os

    resultados so melhor compreendidos e mais eficazes. Ao preparar o relatrio final os avaliadoresdevem ter em conta o facto de as diferentes audincias no possurem todas os mesmos

    conhecimentos e no necessitarem do mesmo tipo de informao. Os leitores cujo conhecimento

  • 7/29/2019 GUIA DE AVALIAO [IPAD - 2009]

    36/99

    Pgina 36 de 99

    tcnico limitado, por vezes mesmo inexistente, no devem ter dificuldade em compreender o

    relatrio.

    Deve, tal como os restantes, ser escrito em portugus, de forma clara, concisa e sem erros, em

    formato word, arial10, devendo ser entregues trs exemplares impressos e uma cpia em suporte

    magntico. A extenso do relatrio final, que oscila entre 35 e 85 pginas (sem contar com os

    anexos) varia de acordo com a complexidade e extenso da avaliao. Embora a qualidade nada

    tenha a ver com a extenso, os relatrios devem ser concisos na medida em que os leitores chave

    no tm muito tempo para dedicar leitura de relatrios longos.

    Formular os resultados de uma avaliao no tarefa fcil. O avaliador chamado a olhar para

    todas as constataes feitas com o objectivo de avaliar os resultados de forma justa, objectiva e

    exacta, e decidir como enunciar as recomendaes. Os resultados so extrados da informao

    recolhida durante a avaliao. essencial que o exame seja exaustivo que as concluses sejam

    plenamente justificadas e o raciocnio seg